cat-shark/vrsub
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
59 Commits 3 Branches 0 Tags
fix/review-improvements
Commit Graph
6 Commits
Author SHA1 Message Date
cat-shark 171b088e7c feat: 批量流水线按 GPU 资源调度（非 GPU 阶段并行、GPU 阶段互斥） 
此前组内阶段是串行的（先全部提音、再全部转写、再全部翻译），LLM 走线上端点时
翻译阶段不占显存、GPU 全程空转——实测占整轮挂钟约 40%（19.6W / 272MiB）。

- `_run_job` 改为按组启动在途流水线：每个视频独立推进自己的阶段，最多
  `WOV_BATCH_PIPELINE_WORKERS`（默认 4）个阶段在途。
- 派发只看资源：`stage_gpu_need_mb` 为 0 的阶段（提音、线上翻译、ASS）立刻派发，
  可与其它视频的转写并行；需要 GPU 的阶段由 `GpuGate` 互斥准入，并按"阶段索引
  最小者优先"派发，组内仍是先跑完全部转写再进翻译——本机 Ollama 模型每组只
  加载一次，不需要按"是否云端"写分支。
- 同一阶段只在途一份（派发即标记 running），单视频异常不带走整组；暂停沿用
  run 级 paused.flag，暂停后不再派发新阶段。
- 测试：远端翻译与其它视频转写重叠、本机端点下全部转写先于翻译且翻译互斥、
  提音与转写重叠，以及既有分组/暂停/失败隔离用例。
 2026-09-18 22:40:53 +08:00
cat-shark 8645e440f4 feat: 日语转写（翻译前归档）也作为产物放到视频旁 
翻译前的日语转写只有中间态，重跑字幕或回看译文时无据可查；把它按语言归档到
视频旁，与中文译文、双目字幕并列。

- `learn-translate` 的 `final_outputs` 增加 `ja_srt: asr.srt_uri`（清洗后的转写）。
- `_sidecar_product_name` 改为**按 final_outputs 别名**映射语言后缀
  （`ja_srt`→`.JA.srt`、`cn_srt`→`.CN.srt`、`ass`→`.CN_dual_eye.ass`），未登记别名
  时按扩展名兜底。此前两份 `.srt` 都映射成 `.CN.srt` 会互相覆盖（真实日志：
  "产物已放视频旁: movie.CN.srt, movie.CN.srt"）。
- 任务管理的产物列补"日语 SRT"下载链接。
- 测试：按别名区分语言变体 + 端到端验证两份产物都落地且不覆盖。
 2026-09-18 22:27:38 +08:00
cat-shark 7a2dee9b64 fix: 批量任务明细写完再排队（CREATING 状态） 
`create_job` 先把任务行以 QUEUED 入库（引擎立刻可见），再逐条登记明细（扫描
媒体库时 500+ 条要数秒）；引擎轮询到的快照可能还没包含剩余明细，收尾时"无未结束
明细"检查也看不到它们，于是把任务误标 COMPLETED，剩余视频永远不再被处理。

- 任务行改以 `CREATING` 入库，明细全部登记完才置 QUEUED（引擎只取 QUEUED，
  看不到半成品）；登记中途异常置 FAILED 并把异常交给路由层。
- 启动时把上一进程遗留的 CREATING 统一置 FAILED（`fail_creating_batch_jobs`），
  避免明细写一半被热重载/强杀后留下看不见的残留任务。
- 回归测试：明细每写一条就问一次引擎队列（写入过程中取不到任务）；中途失败记
  FAILED；启动清理遗留 CREATING。
 2026-09-18 22:23:39 +08:00
cat-shark f656ec98c5 feat: 媒体库字幕重生成统计脚本（数量/时长/旧字幕备份） 
模型与管线切换后需要把媒体库里旧管线生成的字幕整批重跑。批量引擎按"视频旁
已有字幕即 SKIPPED"判定，重跑前必须先统计范围、再把旧字幕改名备份，否则建出来
的任务会把所有视频全部跳过。

- `scripts/plan_regenerate_subtitles.py`：扫描媒体库，按 CN 产物的最早 mtime 判定
  生成时间，统计待重生成的数量/时长/体积并输出 JSON 计划；`--backup-old [--apply]
  [--select]` 把旧字幕原地改名为 `<原名>.old-<日期>` 供批量重跑。脚本不依赖仓库，
  可拷到媒体库主机直接跑（CIFS 挂载下逐文件 ffprobe 太慢）。
- 测试覆盖真实 10 秒视频与真实字幕文件，含 ffprobe 时长探测、分类边界、
  备份幂等与选择清单解析。
 2026-09-18 22:23:19 +08:00
cat-shark dcdc5e8604 feat: 批量分块流水线、本地模型显存让渡与任务列表分工 
批量引擎改为「分块流水线」：视频按 WOV_BATCH_STAGE_GROUP_SIZE（默认 8）分组，
组内按 DAG 拓扑序跑完全部视频（全部 extract → 全部 ASR → 全部翻译 → 全部 ASS）
再进入下一组，本地模型每组只加载一次、卸载一次，而不是每个视频来回加载卸载；
产物仍按组增量落到视频旁。调度器新增 execute_run(run_id, stop_after=节点)：
该节点完成后任务保持 RUNNING 不收尾，下一次调用从产物表跳过已完成节点继续，
用于实现阶段边界。

- nodes/llm.py：翻译节点结束释放本机 Ollama 显存（node 参数 unload_after >
  LLM_UNLOAD_AFTER > 本机 loopback 端点默认卸载，云端端点不卸载；卸载失败只告警），
  新增 keep_model.flag 语义（阶段内保持常驻）与 release_local_model()；
  新增节点内暂停（按批 20 行检查 paused.flag，抛 PauseRequested，调度器保持 PAUSED）。
- src/wov_app/batch.py：分组阶段执行与阶段末统一释放显存；失败视频只在它失败
  节点的那个阶段重试（避免 LLM 已常驻时重跑 ASR 抢显存）；任务没有明细时保持
  QUEUED 等登记完成、仍有未完成视频时置回 QUEUED 自愈（原先留 RUNNING 会卡死：
  引擎只拾取 QUEUED，任务停在“运行中但没人推进”）；无失败视频时删除任务级空目录；
  每个阶段开始前清理 paused.flag / keep_model.flag，避免强杀残留影响后续阶段。
- src/wov_app/config.py：新增 WOV_BATCH_STAGE_GROUP_SIZE（设为 1 即旧的每视频全链路）。
- 任务列表与批量页分工：GET /api/runs 默认排除 source=batch（一个批量任务会产生
  N 条单视频 run，会把 20 条窗口占满；且任务管理页的暂停/重试/删除对批量 run
  语义不成立），需要排查时用 include_batch=1；作为补偿批量页详情新增阶段列
  （阶段 i/N · 中文标签，由该视频 run 的 current_node_id 在 DAG 拓扑序中的位置
  推导，节点类型映射中文标签）。阶段只有节点边界粒度，句级进度不落库、只在日志。
- 顺带纳入此前未提交的批量僵尸状态恢复：recover_interrupted_batch_jobs 除 RUNNING
  外也把「COMPLETED 但仍含未结束视频」的任务置回 QUEUED；fix_zombie_batch_jobs.py
  改为按条件扫描并支持 --apply 预览；批量页明细只列本批真正处理过的视频。

测试新增/更新：分块流水线调用顺序（组内按节点跑完再下一组）、每组只释放一次模型、
阶段内保持常驻标志、翻译按批暂停、失败视频不跨阶段推进、任务无明细/中途登记视频时
置回 QUEUED、任务工作空间与残留信号清理、任务列表默认过滤批量 run、详情阶段字段、
前端阶段列渲染；全量 507 passed（唯一失败为既有素材缺失的 integration 用例）。
 2026-09-18 10:31:52 +08:00
cat-shark 966f3e6b4b docs: AGENTS.md 只保留代理规则，项目信息迁入 README 与 docs/ 
把 AGENTS.md（545 行）中的项目知识按性质拆开，只留下对代理的要求：

- AGENTS.md（176 行）只写规则：读文档指引、提交许可、等待规则、TDD、
  测试规则（模块边界/三段结构/功能覆盖优先）、注释规范、目标运行环境、
  PowerShell 规则、文档维护规则；
- 项目信息新建 docs/ 专题：architecture、node-protocol、workflows、
  configuration、operations、testing、decisions；
- README 改为项目索引（定位、快速开始、文档导航、目录、工作流、结论摘要）；
- 修正旧文档错误：README 的"详细约定见 AGENTS.md"与"100% 行覆盖率"
  （pytest 已移除该门槛）；环境变量表补齐 WOV_AUTO_VAD 等 3 项。

新增 scripts/check_doc_links.py 校验相对链接与锚点，当前 14 个文档全部可达。
 2026-09-13 15:40:31 +08:00