cat-shark/vrsub
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
58 Commits 3 Branches 0 Tags
4d2823c00573c0b39c6661e835bc0f74ea0645af
Commit Graph
9 Commits
Author SHA1 Message Date
cat-shark dcdc5e8604 feat: 批量分块流水线、本地模型显存让渡与任务列表分工 
批量引擎改为「分块流水线」：视频按 WOV_BATCH_STAGE_GROUP_SIZE（默认 8）分组，
组内按 DAG 拓扑序跑完全部视频（全部 extract → 全部 ASR → 全部翻译 → 全部 ASS）
再进入下一组，本地模型每组只加载一次、卸载一次，而不是每个视频来回加载卸载；
产物仍按组增量落到视频旁。调度器新增 execute_run(run_id, stop_after=节点)：
该节点完成后任务保持 RUNNING 不收尾，下一次调用从产物表跳过已完成节点继续，
用于实现阶段边界。

- nodes/llm.py：翻译节点结束释放本机 Ollama 显存（node 参数 unload_after >
  LLM_UNLOAD_AFTER > 本机 loopback 端点默认卸载，云端端点不卸载；卸载失败只告警），
  新增 keep_model.flag 语义（阶段内保持常驻）与 release_local_model()；
  新增节点内暂停（按批 20 行检查 paused.flag，抛 PauseRequested，调度器保持 PAUSED）。
- src/wov_app/batch.py：分组阶段执行与阶段末统一释放显存；失败视频只在它失败
  节点的那个阶段重试（避免 LLM 已常驻时重跑 ASR 抢显存）；任务没有明细时保持
  QUEUED 等登记完成、仍有未完成视频时置回 QUEUED 自愈（原先留 RUNNING 会卡死：
  引擎只拾取 QUEUED，任务停在“运行中但没人推进”）；无失败视频时删除任务级空目录；
  每个阶段开始前清理 paused.flag / keep_model.flag，避免强杀残留影响后续阶段。
- src/wov_app/config.py：新增 WOV_BATCH_STAGE_GROUP_SIZE（设为 1 即旧的每视频全链路）。
- 任务列表与批量页分工：GET /api/runs 默认排除 source=batch（一个批量任务会产生
  N 条单视频 run，会把 20 条窗口占满；且任务管理页的暂停/重试/删除对批量 run
  语义不成立），需要排查时用 include_batch=1；作为补偿批量页详情新增阶段列
  （阶段 i/N · 中文标签，由该视频 run 的 current_node_id 在 DAG 拓扑序中的位置
  推导，节点类型映射中文标签）。阶段只有节点边界粒度，句级进度不落库、只在日志。
- 顺带纳入此前未提交的批量僵尸状态恢复：recover_interrupted_batch_jobs 除 RUNNING
  外也把「COMPLETED 但仍含未结束视频」的任务置回 QUEUED；fix_zombie_batch_jobs.py
  改为按条件扫描并支持 --apply 预览；批量页明细只列本批真正处理过的视频。

测试新增/更新：分块流水线调用顺序（组内按节点跑完再下一组）、每组只释放一次模型、
阶段内保持常驻标志、翻译按批暂停、失败视频不跨阶段推进、任务无明细/中途登记视频时
置回 QUEUED、任务工作空间与残留信号清理、任务列表默认过滤批量 run、详情阶段字段、
前端阶段列渲染；全量 507 passed（唯一失败为既有素材缺失的 integration 用例）。
 2026-09-18 10:31:52 +08:00
cat-shark 7a7212f70c docs: 注释规范要求精简可读，并清理生产代码中的历史叙事 
AGENTS.md 的注释规范新增三节可执行约束：

- 只写代码真实逻辑：注释只回答"做什么"与"为什么必须这么做"，禁止写决策/
  修改时间、历史版本对比、实测数据与实验结论、事故与缺陷编号（run_xxxx /
  batch_xxxx / R01 等）——这些属 docs/decisions.md 与审查跟踪文件；当前生效
  的约束可以写，但不附带它何时因何变成这样。
- 精简可读：单段连续注释不超过 3 行；docstring 一句话概括职责，不重复函数名
  已表达的信息；不写逐行翻译代码的废话注释，只在非显然处（业务规则、边界、
  易错点、外部约束）加注。
- 覆盖范围：测试注释只说明验证什么行为，回归用例可保留一句溯源；并明确
  参数说明应写在**参数读取处**附近，而不是把多个参数的解释堆在离使用位置
  很远的注释块里。

按此清理生产代码（注释净减 70 行，18 个文件），典型处理：

- nodes/whisper.py：删掉堆在一起、含"用户 2026-08 决定 / 实测 savr-1054"
  等叙事的参数块，把各参数说明移到各自的读取处与 model.transcribe 调用处；
- nodes/llm_filter.py、nodes/subtitle_cleanup.py：模块 docstring 去掉英文
  背景叙事与条数统计，保留"默认只跑规则层""整条删除而非 '-' 占位"等当前
  行为；
- src/wov_app/{batch,db,scheduler}.py 与 routers：去掉 batch_xxx/run_xxx 事故
  编号与"修复前……"对比，改为一句"否则会出现什么问题"；
- nodes/ass.py、frame_extract.py：去掉废弃值对比与日期，保留判据本身。

安全验证：用 AST 对比（剥离 docstring 后比较语法树）确认 18 个文件**零逻辑
变更**；`nodes/proper_nouns.py` 的规则表 reason 字段会注入 LLM 提示词，属于
数据而非注释，已恢复原值。全量测试 476 passed。
 2026-09-13 16:37:49 +08:00
cat-shark 1007612734 feat: 翻译节点默认模型切换为 Qwen3.5-35B-A3B 并按节点分离兜底 
评测结论（同片 2 小时日语 ASR，8 个模型全量对比）：
Qwen/Qwen3.5-35B-A3B 与旧默认 Qwen3.6-35B-A3B 质量持平，
速度 0.232 s/行（全评测最快，旧模型档位）。

改动：
- nodes/llm.py 兜底默认值改为 Qwen/Qwen3.5-35B-A3B；
- nodes/subtitle_correction.py **有意保留** Qwen/Qwen3.6-35B-A3B：
  同一误听泛化场景各跑 4 次，旧模型 4/4 正确推断性器官语义，
  新模型 0/4（输出"阴道/曼果/曼戈"字面直译）——该节点不能跟随全局默认；
- tests/test_llm_default_model.py 锁定该分叉不被"顺手统一"：
  翻译兜底必须与 .env 一致，纠错兜底必须保留旧模型，
  三处都必须读 LLM_MODEL 环境变量（保留单点覆盖能力）。

模型仍是工作流 DAG 的数据（params.model），切换不需改代码。
 2026-09-13 10:15:31 +08:00
cat-shark 6eb65e4356 fix: SRT 按 cue 解析并按 ID 回填译文，OCR 空帧分段与失败重试 2026-09-11 17:19:25 +08:00
cat-shark a8fe133aa4 feat: whisper 新增 decode_full 无VAD整段解码参数并改为整条删除式幻觉清洗 
解决转写漏句（有人说话但没识别出来）问题：silero VAD 对呻吟/轻语/BGM
混叠声学切段能力天然不足，把真话当非语音剔除（实测 savr-1054 全片仅
召回 115 条）。新增 decode_full 参数（默认 false 保持 VAD 现状）：

- decode_full=true 时强制无 VAD 整段解码 + 跳过自动 VAD 分析，救回被
  剔除的弱语音（savr-1054 全片 115 条 → 340 条）
- 副作用是长时寒暄套话幻觉（おやすみなさい/ご視聴ありがとうございま
  した 等），whisper 转录后连带时间戳整条删除（clean_japanese_ha
  lllucinations），不留下 '-' 占位污染下游（占位会渲染进 ASS 成减号）
- llm-translate 翻译后同样整条删除中文长时寒暄幻觉（clean_srt_text）
- 短时（≤15s）相同词可能是剧情真实道晚安，保留（15s 阈值实测校准）
- subtitle_cleanup 由 '-' 占位式改为整条删除式 + 剩余重编号，新增
  JAPANESE_HALLUCINATION_TOKENS 词表

新增工作流 learn-translate（学习资料转译+翻译字幕）示范 decode_full
用法，并确立参数标注约定：params._note_<参数名> 存放设定理由与正反例、
_node_help 放节点参数手册（_ 前缀说明键，节点执行时忽略，零运行影响）。

调研记录见 docs/调研-whisper漏句与decode_full验证.md（A/B 实验、结论
修正与 5 个待决问题）。
 2026-09-07 17:21:04 +08:00
cat-shark fbcb5115d8 feat: llm 翻译节点打印分批进度与 token 处理速度日志 
翻译节点 translate_lines 分批调用 LLM 时补充可观测日志：
- 任务开始打印总行数与总批数；每完成一批打印总进度（已完成/总行数、
  第几批/共几批、批耗时、累计耗时与行/s），结束打印汇总（总耗时、
  累计 tokens、tok/s 与行/s），便于评估 LLM 处理速度；
- _call_llm 解析响应 usage（total_tokens），每次请求打印单批耗时与
  token/s（接口不返回 usage 时按 0 处理）；
- _translate_batch 改为返回(译文, 本批 tokens)，供累计汇总；
- 补充空输入直接返回的单测，保持 100% 行覆盖率。
 2026-09-06 13:57:44 +08:00
cat-shark a032855210 feat: 字幕质量提升——长时寒暄幻觉清洗 + 专名/成人隐语不直译 
两部分同属字幕质量优化，共用 llm.py 翻译链路：

1) 长时寒暄幻觉词清洗（nodes/subtitle_cleanup.py）
   对展示时长超过阈值（默认 15s，实测 30s 幻觉占位 vs 2s 真实词的分界）
   且文本含收尾/开场寒暄（晚安、感谢观看等）的字幕，文本替换为 '-'，
   由后续过滤流程移除；短时寒暄（如剧情中真实互道晚安）保留不误删。
    写文件前调用 。

2) 专名/隐语不直译（nodes/proper_nouns.py）
   片假名专名（人名/品牌/角色）与成人语境隐语是 LLM 误译重灾区：
   - ジンゴ 被误译成'芒果'、カンタくん 被保留日文而非音译；
   - マンゴー/バナナ/リンゴ/金玉/おまんこ/ちんちん 等在色情语境中
     是生殖器官代称，字面直译严重错译。
   整理三张规则表（专名/拟声词/成人隐语，用户提供隐语表），
    检测原文命中后动态注入翻译提示词，
   让 LLM 按正确语义处理。文档见 docs/proper_nouns.md。

测试（红→绿）：
- tests/test_hallucination_mask.py：长时掩码/短时保留/非寒暄保留/阈值边界
- tests/test_proper_nouns.py：专名命中/拟声词/成人隐语/真实数据集成
- 真实 LLM 集成测试（完整 1440 行翻译 + 清洗 + 专名注入）通过
 2026-09-05 22:32:40 +08:00
cat-shark 5c12bbcb74 fix: 翻译批内行数错位（内容-时间错位）+ system_prompt 元组 bug 
根因（真实任务 run_51242078d76e）：
1. LLM 按 CHUNK_SIZE=20 分批翻译时，对语义碎片句（如单独的助词/名词/
   语气词）偶发多拆/少拆一行，translate_lines 无条件 extend 导致：
   - 多行 -> 后续所有字幕文本整体错位，时间戳从原文复制、文本却错贴时间；
   - 少行 -> invoke 末尾补空导致该条内容缺失。
   程序按时戳看不出问题，实际"内容对错时间"（如第756条"好像喜欢害羞
   的样子"错贴 3805s，实为"恥ずかしいのが好きみたいなので"的译文）。
2. system_prompt 圆括号内出现 f-string 赋值导致隐式字符串拼接失效，
   整体变成 tuple，json 序列化后 content 是数组 -> LLM API 400。

修复：
- 提示词强化：逐行独立翻译 + 碎片句按语境独立成行 + 禁止合并/拆分；
- _repair_batch：多行末尾合并到前一行、少行重试该批（最多3次）仍不足
  补空串占位（宁缺勿错位），保证译文与原文逐条时间对齐；
- system_prompt 显式 + 拼接为单个字符串。

测试（先红后绿）：
- test_translate_lines_aligns_extra_line：多行合并对齐
- test_translate_lines_aligns_missing_line：少行重试补齐
- test_translate_lines_pads_after_retries_exhausted：重试耗尽补空
- test_pipeline_zh_cn_timetext_alignment：真实 LLM 完整 1440 行逐条对齐
pyproject.toml: 注册 integration marker
 2026-09-05 19:36:47 +08:00
cat-shark 4746e0363f feat: VRSub 单体应用（WOV 单机版）初始提交 
为视频生成 VR 双眼字幕的单体实现：FastAPI 后端、调度器与全部节点
（提音/转写/翻译/ASS/抽帧/OCR/LLM 过滤）在单进程内运行。

- 节点协议（wov_sdk 数据模型）与分布式版保持一致，预留回退桥梁
- 工作流即数据：DAG 存于 workflows/*.json，模型/链路改动只改数据
- 调度器：拓扑顺序执行、断点续跑（产物重建）、任务暂停/继续
- 抽帧按帧间隔（select 按帧号精确取帧），VLM OCR 与 LLM 过滤使用
  自适应线程池弹性并发，并打印数据处理速度进度日志
- 100% 行覆盖率（pytest --cov-fail-under=100）
 2026-08-16 23:58:25 +08:00