cat-shark/vrsub
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
31 Commits 3 Branches 0 Tags
c063aed1f16fe431c0e6fd4fa40c8d395c87be4f
Commit Graph
11 Commits
Author SHA1 Message Date
cat-shark c063aed1f1 fix: 批量任务残留PENDING仍误标COMPLETED——置完成前校验无残留+崩溃恢复批量任务 
事故（batch_969fabe74b83 等 3 个任务实测）：批量引擎串行处理到 9.9GB
大视频时中断，_run_job 无条件收尾把任务置 COMPLETED，留下"N 个 PENDING
待处理却已完成"的僵尸状态——3 个任务遗留的 PENDING 完全相同（kiwvr-887/
mdvr-413/savr-1077 共 10 个大视频），且均卡在大文件前从未被真正处理。

- batch.py: _run_job 置 COMPLETED 前校验全部非 SKIPPED 视频已结束
  （无 PENDING/PAUSED 残留），否则保持 RUNNING 交引擎下一轮续跑
- db.py/main.py: 新增 recover_interrupted_batch_jobs，重启时把 RUNNING
  批量任务恢复 QUEUED（否则停在 RUNNING 永远不会被再次拾起）
- tests: 新增 2 条 TDD 回归（残留 PENDING 不置 COMPLETED、批量崩溃恢复）
- scripts/fix_zombie_batch_jobs.py: 历史僵尸数据修复脚本（置回 QUEUED 续跑）
- AGENTS.md: 补充完成任务判定与崩溃恢复约定
 2026-09-07 11:25:33 +08:00
cat-shark 4d2a1912da feat: VR字幕默认MarginV改为700并统一历史字幕样式 
- srt-to-dual-eye-ass: 默认顶部安全边距 margin_top 120→700(2026-09),
  120落在画面最顶需抬头看,700为实测合适值、视线自然可读
- nodes/ass.py: 样式定义抽为单一事实来源(DEFAULT_MARGIN_TOP/颜色常量
  +ass_header/style_row/dialogue_line),新生成字幕与历史统一脚本共用同一
  出口,以后调样式只改一处、两边永不漂移
- 新增scripts/unify_ass_style.py: 解析旧文件分辨率与全部Dialogue后经
  ass_header/dialogue_line重建,把媒体库历史样式(底部an2实心白1200/
  半透明1020/顶部120)原地统一为an8顶部对齐+70%透明+MarginV=700;
  默认dry-run预览,--apply写盘;非VR字幕自动跳过
- /mnt/fnOS/123 库401个.CN_dual_eye.ass已全部改写(0失败),269764条
  字幕事件无an2残留,二次运行幂等
- 测试: ass默认值断言120→700,新增invoke默认700用例;新增
  tests/test_unify_ass_style.py(历史三世代收敛/与write_ass逐字节一致/
  幂等/CLI dry-run与apply)
 2026-09-06 18:02:31 +08:00
cat-shark 52512c26e5 fix: 批量任务进度实时汇总，暂停/中断时前端不再显示 0/总数 0% 
batch_jobs.done 此前只在任务整体完成时一次性汇总，处理中途（尤其被暂停）
恒为 0，导致前端显示 "0/431 完成 0%" 而实际已处理多个视频
（回归 batch_fee668175444：已处理 15 个仍显示 0/431）。

- db: 新增 sync_batch_job_progress（按明细实时重算 done=COMPLETED+SKIPPED、
  failed=FAILED 并落库）与 refresh_batch_job（对齐后返回最新任务）
- batch 引擎: 暂停返回、SKIPPED/COMPLETED continue、视频缺失、单视频异常后、
  任务收尾等边界统一调用实时对齐，替代收尾一次性 sum
- routers/batch: 列表/详情读取前实时对齐，即使引擎不在运行也返回真实进度
- tests: 新增 6 条 TDD 回归测试覆盖 db 助手、引擎暂停、SKIPPED、API 读取侧

同时按用户要求：移除 100% 行覆盖率强制门槛（pytest 不再 --cov-fail-under），
约定小改动只跑相关测试、保证功能可用即可（AGENTS.md 与 pyproject.toml）。
 2026-09-06 16:57:05 +08:00
cat-shark 2e8bbb15a4 feat: ASS字幕移到顶部安全区并加透明度(零视差不变) 
- srt-to-dual-eye-ass: an2底部→an8顶部对齐,MarginV改为可配margin_top(默认120),
  字幕避开画面中央人脸高发区(B-1顶部安全区)
- 文字填充&H80FFFFFF→&HB3FFFFFF(约70%透明),描边纯黑→&H80000000半透明黑
- A-1零视差保持不变:左右眼水平相对位置一致,字幕固定屏幕平面
- 新增3条测试(顶部对齐/自定义margin_top/invoke读参数),ass节点覆盖率100%
- 新增docs/调查报告:双目视觉景深原理、字幕深度配置公式与遮挡解决方案
 2026-09-05 21:03:55 +08:00
cat-shark d1557eca46 feat: 批量处理重做——视频旁已有字幕即跳过、产物对齐 CN 命名并清理过程文件 
- 创建批量任务时一次性定位视频：视频所在目录存在文件名含视频名的字幕文件
  （.srt/.ass/.ssa/.vtt）直接记 SKIPPED，不触发流水线；运行时只消费已定位
  的明细，不再重新扫描文件夹。
- 视频完成后把最终产物放到视频旁，命名对齐媒体库约定：中文字幕存为
  <视频名>.CN.srt、双目字幕存为 <视频名>.CN_dual_eye.ass；其余扩展名产物
  保留原文件名。
- 收尾删除 run 记录与过程工作空间；工作空间改到应用私有目录
  storage/batch/<job_id>/<bv_id>/，与用户媒体库隔离，防止媒体库把切片数据
  当视频入库。
- 批量 API 产物清单/下载改为解析视频旁字幕文件，旧版 batch.done.json 语义
  别名保持兼容；删除任务时清理私有工作空间。
- 前端说明与创建提示同步；测试按新语义重写并补覆盖（278 passed，100% 行覆盖率）。
 2026-09-03 08:22:42 +08:00
cat-shark ec8c8d7dcd docs: 更新 AGENTS.md（批量处理/断点存档/环境变量） 2026-08-23 16:25:22 +08:00
cat-shark b16e0e9f3c feat: 任务断点续跑/暂停中断/LLM 过滤优化与调度容错 
调度与状态机：
- 修复 PAUSED 任务被拾起后复活执行（点击暂停反而开始任务）：next_queued_run
  只取 QUEUED，execute_run 以 PAUSED 进入直接返回，暂停必须显式 resume
- 重启恢复：启动时 recover_interrupted_runs 把遗留 RUNNING 置 QUEUED（保留产物）
- 暂停信号 paused.flag：暂停接口写、继续/重试清除，OCR 逐帧检查秒级中断，
  节点内被暂停保持 PAUSED 不误报 FAILED
- 调度轮询容错：_loop 异常不杀死线程（曾致任务永久停留 QUEUED）

subtitle-ocr 节点级断点：
- ocr_partial.jsonl 逐帧存档，重启/暂停后只处理未处理帧，产物与一次跑完一致
- 进度日志携带窗口平均耗时与线程数；取消后抑制进度日志井喷

llm-filter 过滤质量与限流自适应：
- 上下文净化：喂给 LLM 的是过滤后的字幕（规则层垃圾从上下文剔除）
- 正则确定性过滤：裸网址域名、HTML/水印模式直接删除
- 429/5xx 指数退避重试；worker 限流错误 report_failure 内存临时降最大线程数
  并缩容（无错误窗口回升），失败条目降并发后重试一轮
- 保留长文本保护（noise 不删 ≥min_keep_len 文本，LLM 判定不稳的必要兜底）

前端：
- 工作流编排页支持选择工作流编辑（加载最新/历史版本）、版本历史面板、
  新建/编辑双模式；管理后台编辑跳转 workflow.html?edit=<id>

工作流：ocr-subtitle v7（filter pool_max_workers=20、pool_fast_threshold=1）
 2026-08-19 01:27:41 +08:00
cat-shark 4ebbfc5198 test: 多线程字幕顺序验证（全量真实数据夹具）+ 文档更新 
- 新增 TestSubtitleOcrOrderThreading：模拟真实 vlm-ocr API 返回（不走真实
  OCR），全量 14236 帧真实数据 + 种子化可变延迟（约 8% 慢帧，模拟真实 OCR
  延迟波动），验证 4/16 线程产物与单线程确认结果逐字节一致、并发真实发生、
  完成顺序乱序但输出保序、时间轴严格递增、每条字幕与起始时刻帧文本对齐
- 全量夹具：frames_manifest_full.json + ocr_frames_full.json（真实任务
  run_ac7f480a3ccb 全部 14236 帧），常驻测试不跳过
- AGENTS.md：更新 llm-filter 参数说明与测试资产清单
 2026-08-17 23:20:20 +08:00
cat-shark f9ba96ef3a docs: 记录提交规则（未经用户许可禁止 commit/push） 2026-08-17 00:06:14 +08:00
cat-shark 63858bdc4f docs: 记录 frame-extract 抽帧进度日志 2026-08-17 00:04:20 +08:00
cat-shark 4746e0363f feat: VRSub 单体应用（WOV 单机版）初始提交 
为视频生成 VR 双眼字幕的单体实现：FastAPI 后端、调度器与全部节点
（提音/转写/翻译/ASS/抽帧/OCR/LLM 过滤）在单进程内运行。

- 节点协议（wov_sdk 数据模型）与分布式版保持一致，预留回退桥梁
- 工作流即数据：DAG 存于 workflows/*.json，模型/链路改动只改数据
- 调度器：拓扑顺序执行、断点续跑（产物重建）、任务暂停/继续
- 抽帧按帧间隔（select 按帧号精确取帧），VLM OCR 与 LLM 过滤使用
  自适应线程池弹性并发，并打印数据处理速度进度日志
- 100% 行覆盖率（pytest --cov-fail-under=100）
 2026-08-16 23:58:25 +08:00