cat-shark/vrsub
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
49 Commits 3 Branches 0 Tags
dcdc5e8604875dd0ab081bcb07c07002c3d19e2f
Commit Graph
10 Commits
Author SHA1 Message Date
cat-shark dcdc5e8604 feat: 批量分块流水线、本地模型显存让渡与任务列表分工 
批量引擎改为「分块流水线」：视频按 WOV_BATCH_STAGE_GROUP_SIZE（默认 8）分组，
组内按 DAG 拓扑序跑完全部视频（全部 extract → 全部 ASR → 全部翻译 → 全部 ASS）
再进入下一组，本地模型每组只加载一次、卸载一次，而不是每个视频来回加载卸载；
产物仍按组增量落到视频旁。调度器新增 execute_run(run_id, stop_after=节点)：
该节点完成后任务保持 RUNNING 不收尾，下一次调用从产物表跳过已完成节点继续，
用于实现阶段边界。

- nodes/llm.py：翻译节点结束释放本机 Ollama 显存（node 参数 unload_after >
  LLM_UNLOAD_AFTER > 本机 loopback 端点默认卸载，云端端点不卸载；卸载失败只告警），
  新增 keep_model.flag 语义（阶段内保持常驻）与 release_local_model()；
  新增节点内暂停（按批 20 行检查 paused.flag，抛 PauseRequested，调度器保持 PAUSED）。
- src/wov_app/batch.py：分组阶段执行与阶段末统一释放显存；失败视频只在它失败
  节点的那个阶段重试（避免 LLM 已常驻时重跑 ASR 抢显存）；任务没有明细时保持
  QUEUED 等登记完成、仍有未完成视频时置回 QUEUED 自愈（原先留 RUNNING 会卡死：
  引擎只拾取 QUEUED，任务停在“运行中但没人推进”）；无失败视频时删除任务级空目录；
  每个阶段开始前清理 paused.flag / keep_model.flag，避免强杀残留影响后续阶段。
- src/wov_app/config.py：新增 WOV_BATCH_STAGE_GROUP_SIZE（设为 1 即旧的每视频全链路）。
- 任务列表与批量页分工：GET /api/runs 默认排除 source=batch（一个批量任务会产生
  N 条单视频 run，会把 20 条窗口占满；且任务管理页的暂停/重试/删除对批量 run
  语义不成立），需要排查时用 include_batch=1；作为补偿批量页详情新增阶段列
  （阶段 i/N · 中文标签，由该视频 run 的 current_node_id 在 DAG 拓扑序中的位置
  推导，节点类型映射中文标签）。阶段只有节点边界粒度，句级进度不落库、只在日志。
- 顺带纳入此前未提交的批量僵尸状态恢复：recover_interrupted_batch_jobs 除 RUNNING
  外也把「COMPLETED 但仍含未结束视频」的任务置回 QUEUED；fix_zombie_batch_jobs.py
  改为按条件扫描并支持 --apply 预览；批量页明细只列本批真正处理过的视频。

测试新增/更新：分块流水线调用顺序（组内按节点跑完再下一组）、每组只释放一次模型、
阶段内保持常驻标志、翻译按批暂停、失败视频不跨阶段推进、任务无明细/中途登记视频时
置回 QUEUED、任务工作空间与残留信号清理、任务列表默认过滤批量 run、详情阶段字段、
前端阶段列渲染；全量 507 passed（唯一失败为既有素材缺失的 integration 用例）。
 2026-09-18 10:31:52 +08:00
cat-shark 966f3e6b4b docs: AGENTS.md 只保留代理规则，项目信息迁入 README 与 docs/ 
把 AGENTS.md（545 行）中的项目知识按性质拆开，只留下对代理的要求：

- AGENTS.md（176 行）只写规则：读文档指引、提交许可、等待规则、TDD、
  测试规则（模块边界/三段结构/功能覆盖优先）、注释规范、目标运行环境、
  PowerShell 规则、文档维护规则；
- 项目信息新建 docs/ 专题：architecture、node-protocol、workflows、
  configuration、operations、testing、decisions；
- README 改为项目索引（定位、快速开始、文档导航、目录、工作流、结论摘要）；
- 修正旧文档错误：README 的"详细约定见 AGENTS.md"与"100% 行覆盖率"
  （pytest 已移除该门槛）；环境变量表补齐 WOV_AUTO_VAD 等 3 项。

新增 scripts/check_doc_links.py 校验相对链接与锚点，当前 14 个文档全部可达。
 2026-09-13 15:40:31 +08:00
cat-shark f99f8de171 fix: 拒绝环形 DAG 并避免无效工作流堵塞任务队列 2026-09-11 17:19:40 +08:00
cat-shark 3a612919f7 fix: 保持产物收尾幂等并保护批量成品完整性 2026-09-11 16:12:32 +08:00
cat-shark f3faad0391 fix: 修复自适应线程池限流扩容及缩容滞后 2026-09-11 15:59:46 +08:00
cat-shark 13f72178e9 fix: 防止任务删除误删源视频目录并跟踪审查问题 2026-09-11 15:40:09 +08:00
cat-shark a8fe133aa4 feat: whisper 新增 decode_full 无VAD整段解码参数并改为整条删除式幻觉清洗 
解决转写漏句（有人说话但没识别出来）问题：silero VAD 对呻吟/轻语/BGM
混叠声学切段能力天然不足，把真话当非语音剔除（实测 savr-1054 全片仅
召回 115 条）。新增 decode_full 参数（默认 false 保持 VAD 现状）：

- decode_full=true 时强制无 VAD 整段解码 + 跳过自动 VAD 分析，救回被
  剔除的弱语音（savr-1054 全片 115 条 → 340 条）
- 副作用是长时寒暄套话幻觉（おやすみなさい/ご視聴ありがとうございま
  した 等），whisper 转录后连带时间戳整条删除（clean_japanese_ha
  lllucinations），不留下 '-' 占位污染下游（占位会渲染进 ASS 成减号）
- llm-translate 翻译后同样整条删除中文长时寒暄幻觉（clean_srt_text）
- 短时（≤15s）相同词可能是剧情真实道晚安，保留（15s 阈值实测校准）
- subtitle_cleanup 由 '-' 占位式改为整条删除式 + 剩余重编号，新增
  JAPANESE_HALLUCINATION_TOKENS 词表

新增工作流 learn-translate（学习资料转译+翻译字幕）示范 decode_full
用法，并确立参数标注约定：params._note_<参数名> 存放设定理由与正反例、
_node_help 放节点参数手册（_ 前缀说明键，节点执行时忽略，零运行影响）。

调研记录见 docs/调研-whisper漏句与decode_full验证.md（A/B 实验、结论
修正与 5 个待决问题）。
 2026-09-07 17:21:04 +08:00
cat-shark 2c3c356348 feat: whisper 节点自动接入自适应 VAD + 方案文档 
- nodes/whisper.py：invoke 检测到 vad_filter=true 且未显式传 vad_parameters
  且 WOV_AUTO_VAD=1 时，自动调用 vad_profiler.vad_parameters_for_audio 按
  本音频信号动态确定 VAD 参数并传给 transcribe；分析失败回退默认不中断转写
  （防御性，不影响整段流程）。
- tests/test_nodes.py：新增自动 VAD 异常回退测试（patch profiler 抛错，
  验证 whisper 正常转写 + transcribe 收到 vad_parameters=None）。
- docs/adaptive_vad.md：完整方案文档（背景/可行性/三层架构/参数建议规则/
  评分器/实现落点/取舍/实现状态）。
 2026-09-06 08:15:13 +08:00
cat-shark a032855210 feat: 字幕质量提升——长时寒暄幻觉清洗 + 专名/成人隐语不直译 
两部分同属字幕质量优化，共用 llm.py 翻译链路：

1) 长时寒暄幻觉词清洗（nodes/subtitle_cleanup.py）
   对展示时长超过阈值（默认 15s，实测 30s 幻觉占位 vs 2s 真实词的分界）
   且文本含收尾/开场寒暄（晚安、感谢观看等）的字幕，文本替换为 '-'，
   由后续过滤流程移除；短时寒暄（如剧情中真实互道晚安）保留不误删。
    写文件前调用 。

2) 专名/隐语不直译（nodes/proper_nouns.py）
   片假名专名（人名/品牌/角色）与成人语境隐语是 LLM 误译重灾区：
   - ジンゴ 被误译成'芒果'、カンタくん 被保留日文而非音译；
   - マンゴー/バナナ/リンゴ/金玉/おまんこ/ちんちん 等在色情语境中
     是生殖器官代称，字面直译严重错译。
   整理三张规则表（专名/拟声词/成人隐语，用户提供隐语表），
    检测原文命中后动态注入翻译提示词，
   让 LLM 按正确语义处理。文档见 docs/proper_nouns.md。

测试（红→绿）：
- tests/test_hallucination_mask.py：长时掩码/短时保留/非寒暄保留/阈值边界
- tests/test_proper_nouns.py：专名命中/拟声词/成人隐语/真实数据集成
- 真实 LLM 集成测试（完整 1440 行翻译 + 清洗 + 专名注入）通过
 2026-09-05 22:32:40 +08:00
cat-shark 2e8bbb15a4 feat: ASS字幕移到顶部安全区并加透明度(零视差不变) 
- srt-to-dual-eye-ass: an2底部→an8顶部对齐,MarginV改为可配margin_top(默认120),
  字幕避开画面中央人脸高发区(B-1顶部安全区)
- 文字填充&H80FFFFFF→&HB3FFFFFF(约70%透明),描边纯黑→&H80000000半透明黑
- A-1零视差保持不变:左右眼水平相对位置一致,字幕固定屏幕平面
- 新增3条测试(顶部对齐/自定义margin_top/invoke读参数),ass节点覆盖率100%
- 新增docs/调查报告:双目视觉景深原理、字幕深度配置公式与遮挡解决方案
 2026-09-05 21:03:55 +08:00