cat-shark/vrsub
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
46 Commits 3 Branches 0 Tags
ee47556a61dabf43b21385cd0cf6fb406befe192
Commit Graph
37 Commits
Author SHA1 Message Date
cat-shark 8a715a8064 test: 按模块重写测试代码，删除旧平铺结构 
按"测试规则"重写 tests/：一个模块一个目录、用例按数据→过程→验证三段书写、
不保留全局 conftest.py、测试过程只调用真实生产代码。

结构（73 个文件、30 个模块目录、477 用例）：
- tests/nodes/  15 个模块目录（srt/whisper/ass/ffmpeg/frame_extract/vlm/
  subtitle_ocr/llm/llm_filter/subtitle_cleanup/subtitle_correction/
  proper_nouns/adaptive_pool/vad_profiler/echo）；
- tests/app/    11 个模块目录（db/scheduler/batch/maintenance/registry/seed/
  storage/config/logging/main/routers 三组 API）；
- tests/sdk/test_models、tests/web/test_crop、tests/shared（公共设施）。

测试数据随模块目录入库（tests/**/data/），删除根级 testdata/；.gitignore
的 data/ 改为 /data/，否则会连带忽略 tests/**/data/ 导致测试数据无法入库。

顺带发现并修复三个真实缺陷：
- nodes/srt.py：相邻条目缺少空行时把下一条时间轴吞进正文（静默错位），
  改为正文行遇时间戳行即报错；
- src/wov_app/scheduler.py：_file_size 只捕获 OSError，含 \x00 的产物 URI
  抛 ValueError 导致任务误判失败，改为同时捕获；
- nodes/subtitle_correction.py：生产代码依赖测试包解析 SRT，
  改用生产模块 nodes/srt.py。

真实模型/服务集成测试按外部状态跳过：新增 tests/shared/gpu_memory.py
（运行时探测显存、CUDA OOM 转跳过）与 tests/shared/llm_service.py
（无 Key / 余额 / 限流转跳过）。全量 477 passed。
 2026-09-13 15:40:56 +08:00
cat-shark 669858c1d1 test: 补充纠错节点独立模型环境变量的失败用例（待实现） 
新增 test_纠错节点用独立环境变量不受全局模型影响，锁定期望行为：
params.model > SUBTITLE_CORRECTION_MODEL > LLM_MODEL > 兜底默认。

背景：上一个提交想"让纠错节点保留旧模型"，但只改了 os.getenv 的兜底常量
——只要 .env 里存在 LLM_MODEL（生产环境必然存在），兜底值永远取不到，
该改动实际无效，真实 LLM 集成测试
test_generic_correction_generalizes_to_unseen_mishearing 失败（新模型
误听泛化实测 0/4，旧模型 4/4）。

本用例当前为红（测试代码尚缺 urllib 导入，实现也待补），按用户要求
与实现一起保留待 review 后修正。
 2026-09-13 10:21:15 +08:00
cat-shark e98f90e164 fix: llm-filter 默认关闭 LLM 分类层，误删真实对话从 73 条降为 0 
逐类人工审查真实任务 run_ac7f480a3ccb（1666 条 OCR 输出）后确认
LLM 五类分类层性价比为负：

- 规则层删除 782 条（47%），几乎全对（---/HTML/___/编号等）；
- LLM 层额外删除 131 条，其中 **73 条（56%）是真实对话**，
  如"好好教育她一番吧""腿不要合上""这家医院 为VIP患者提供了特殊服务"；
- 它真正抓住而规则层抓不到的仅 58 条且大半可正则化；
- repeat 类别 67 条判定、0 条删除，形同虚设；
- 长文本保护/上下文净化/去重/429 退避/断点存档等机制全是在给
  不稳定的分类器兜底，误删量超过净收益。

改动：
1. 规则层下沉原 LLM 层抓到的确定性模式：水印编号（SPHO-1/PHO一号馆）、
   日期与数值（2011-11-27/4.0）、VLM 提示回显（no text is visible）、
   角色标注（（出演））。刻意不删（北冈果林）这类演员名括号——无法与
   （小声）不要啊 可靠区分，且其本身是无害字幕文本；
2. 新增 use_llm 参数并**默认关闭** LLM 分类层，需要旧行为时显式开启；
   ocr-subtitle 工作流显式声明 use_llm=0 并附 _note_use_llm 理由。

真实数据实测：保留 863 条（旧 588）、误删真对话 0 条（旧 73）、
LLM 调用 0 次（旧 680 次/52 秒）。
 2026-09-13 10:15:41 +08:00
cat-shark 1007612734 feat: 翻译节点默认模型切换为 Qwen3.5-35B-A3B 并按节点分离兜底 
评测结论（同片 2 小时日语 ASR，8 个模型全量对比）：
Qwen/Qwen3.5-35B-A3B 与旧默认 Qwen3.6-35B-A3B 质量持平，
速度 0.232 s/行（全评测最快，旧模型档位）。

改动：
- nodes/llm.py 兜底默认值改为 Qwen/Qwen3.5-35B-A3B；
- nodes/subtitle_correction.py **有意保留** Qwen/Qwen3.6-35B-A3B：
  同一误听泛化场景各跑 4 次，旧模型 4/4 正确推断性器官语义，
  新模型 0/4（输出"阴道/曼果/曼戈"字面直译）——该节点不能跟随全局默认；
- tests/test_llm_default_model.py 锁定该分叉不被"顺手统一"：
  翻译兜底必须与 .env 一致，纠错兜底必须保留旧模型，
  三处都必须读 LLM_MODEL 环境变量（保留单点覆盖能力）。

模型仍是工作流 DAG 的数据（params.model），切换不需改代码。
 2026-09-13 10:15:31 +08:00
cat-shark 8963afa771 feat: 新增翻译模型横向评测工具链与窗口级评测集 
为评估"更便宜的 LLM 能否替换 llm-translate 默认模型"新增真实数据驱动的
评测工具（不 mock 模型，直接调用生产节点实现，模型仅作为 params 变量）：

- scripts/build_translate_eval.py：把 ocr-subtitle 的中文烧录字幕产物与
  learn-translate 的日语 whisper ASR 按时间配对，产出候选池；
- scripts/build_segment_eval.py：改为**窗口级**配对（一条中文基准字幕 +
  其时间窗内 1-3 条日语 cue）。逐条配对不可用——烧录字幕是按屏幕合并的
  整行，与 whisper 的 cue 切分不同，直接逐条对照会被基准错位污染；
- scripts/bench_translate_models.py：对每个模型跑完整片、记录单次调用耗时
  与 token、输出窗口级多模型对照表供人工 review；VL 模型需剔除
  enable_thinking（Qwen3-VL 不接受该参数，生产代码固定携带）；
- scripts/run_translate_bench_queue.py：批量评测队列；
- tests/test_translate_model_bench.py：评测数据契约与对照输出一致性测试
  （含先红后绿修复：stdout 与 markdown 两套输出格式漂移）；
- testdata/translate_eval/：候选池、窗口池与 124 窗口人工评测集资产。

评测结论见 data/experiments/translate_models/REPORT.md（gitignored）。
 2026-09-13 10:15:23 +08:00
cat-shark f99f8de171 fix: 拒绝环形 DAG 并避免无效工作流堵塞任务队列 2026-09-11 17:19:40 +08:00
cat-shark 6eb65e4356 fix: SRT 按 cue 解析并按 ID 回填译文，OCR 空帧分段与失败重试 2026-09-11 17:19:25 +08:00
cat-shark 3a612919f7 fix: 保持产物收尾幂等并保护批量成品完整性 2026-09-11 16:12:32 +08:00
cat-shark f3faad0391 fix: 修复自适应线程池限流扩容及缩容滞后 2026-09-11 15:59:46 +08:00
cat-shark 13f72178e9 fix: 防止任务删除误删源视频目录并跟踪审查问题 2026-09-11 15:40:09 +08:00
cat-shark eba9163246 feat: 优化学习视频转写与字幕清洗 2026-09-11 14:26:02 +08:00
cat-shark a8fe133aa4 feat: whisper 新增 decode_full 无VAD整段解码参数并改为整条删除式幻觉清洗 
解决转写漏句（有人说话但没识别出来）问题：silero VAD 对呻吟/轻语/BGM
混叠声学切段能力天然不足，把真话当非语音剔除（实测 savr-1054 全片仅
召回 115 条）。新增 decode_full 参数（默认 false 保持 VAD 现状）：

- decode_full=true 时强制无 VAD 整段解码 + 跳过自动 VAD 分析，救回被
  剔除的弱语音（savr-1054 全片 115 条 → 340 条）
- 副作用是长时寒暄套话幻觉（おやすみなさい/ご視聴ありがとうございま
  した 等），whisper 转录后连带时间戳整条删除（clean_japanese_ha
  lllucinations），不留下 '-' 占位污染下游（占位会渲染进 ASS 成减号）
- llm-translate 翻译后同样整条删除中文长时寒暄幻觉（clean_srt_text）
- 短时（≤15s）相同词可能是剧情真实道晚安，保留（15s 阈值实测校准）
- subtitle_cleanup 由 '-' 占位式改为整条删除式 + 剩余重编号，新增
  JAPANESE_HALLUCINATION_TOKENS 词表

新增工作流 learn-translate（学习资料转译+翻译字幕）示范 decode_full
用法，并确立参数标注约定：params._note_<参数名> 存放设定理由与正反例、
_node_help 放节点参数手册（_ 前缀说明键，节点执行时忽略，零运行影响）。

调研记录见 docs/调研-whisper漏句与decode_full验证.md（A/B 实验、结论
修正与 5 个待决问题）。
 2026-09-07 17:21:04 +08:00
cat-shark c063aed1f1 fix: 批量任务残留PENDING仍误标COMPLETED——置完成前校验无残留+崩溃恢复批量任务 
事故（batch_969fabe74b83 等 3 个任务实测）：批量引擎串行处理到 9.9GB
大视频时中断，_run_job 无条件收尾把任务置 COMPLETED，留下"N 个 PENDING
待处理却已完成"的僵尸状态——3 个任务遗留的 PENDING 完全相同（kiwvr-887/
mdvr-413/savr-1077 共 10 个大视频），且均卡在大文件前从未被真正处理。

- batch.py: _run_job 置 COMPLETED 前校验全部非 SKIPPED 视频已结束
  （无 PENDING/PAUSED 残留），否则保持 RUNNING 交引擎下一轮续跑
- db.py/main.py: 新增 recover_interrupted_batch_jobs，重启时把 RUNNING
  批量任务恢复 QUEUED（否则停在 RUNNING 永远不会被再次拾起）
- tests: 新增 2 条 TDD 回归（残留 PENDING 不置 COMPLETED、批量崩溃恢复）
- scripts/fix_zombie_batch_jobs.py: 历史僵尸数据修复脚本（置回 QUEUED 续跑）
- AGENTS.md: 补充完成任务判定与崩溃恢复约定
 2026-09-07 11:25:33 +08:00
cat-shark 4d2a1912da feat: VR字幕默认MarginV改为700并统一历史字幕样式 
- srt-to-dual-eye-ass: 默认顶部安全边距 margin_top 120→700(2026-09),
  120落在画面最顶需抬头看,700为实测合适值、视线自然可读
- nodes/ass.py: 样式定义抽为单一事实来源(DEFAULT_MARGIN_TOP/颜色常量
  +ass_header/style_row/dialogue_line),新生成字幕与历史统一脚本共用同一
  出口,以后调样式只改一处、两边永不漂移
- 新增scripts/unify_ass_style.py: 解析旧文件分辨率与全部Dialogue后经
  ass_header/dialogue_line重建,把媒体库历史样式(底部an2实心白1200/
  半透明1020/顶部120)原地统一为an8顶部对齐+70%透明+MarginV=700;
  默认dry-run预览,--apply写盘;非VR字幕自动跳过
- /mnt/fnOS/123 库401个.CN_dual_eye.ass已全部改写(0失败),269764条
  字幕事件无an2残留,二次运行幂等
- 测试: ass默认值断言120→700,新增invoke默认700用例;新增
  tests/test_unify_ass_style.py(历史三世代收敛/与write_ass逐字节一致/
  幂等/CLI dry-run与apply)
 2026-09-06 18:02:31 +08:00
cat-shark 44a607b636 fix: 批量进度只统计无字幕视频，SKIPPED 不计入 total/done 
用户反馈数量展示错误：整批 431 个视频中 383 个已有字幕被 SKIPPED，
此前 total=全部视频、done 也含 SKIPPED，把已处理过的视频混进计数。

新口径（2026-09）：
- total = 创建时扫描出的无字幕（需处理）视频数，创建即固定；SKIPPED 不计
- done = 实际处理完成（COMPLETED）数，SKIPPED 不计；failed 单独计
- 全部视频都有字幕（total=0）→ 创建即视为 COMPLETED，不排队空跑
- sync_batch_job_progress 同步修正 total（老任务读取时自动收敛到新口径）
- 前端 batchProgress 相应更新：total=0 显示"无待处理视频"

tests: 更新 4 条旧口径断言 + 新增 1 条全跳过 API 测试，62 项相关测试通过。
 2026-09-06 17:25:01 +08:00
cat-shark 52512c26e5 fix: 批量任务进度实时汇总，暂停/中断时前端不再显示 0/总数 0% 
batch_jobs.done 此前只在任务整体完成时一次性汇总，处理中途（尤其被暂停）
恒为 0，导致前端显示 "0/431 完成 0%" 而实际已处理多个视频
（回归 batch_fee668175444：已处理 15 个仍显示 0/431）。

- db: 新增 sync_batch_job_progress（按明细实时重算 done=COMPLETED+SKIPPED、
  failed=FAILED 并落库）与 refresh_batch_job（对齐后返回最新任务）
- batch 引擎: 暂停返回、SKIPPED/COMPLETED continue、视频缺失、单视频异常后、
  任务收尾等边界统一调用实时对齐，替代收尾一次性 sum
- routers/batch: 列表/详情读取前实时对齐，即使引擎不在运行也返回真实进度
- tests: 新增 6 条 TDD 回归测试覆盖 db 助手、引擎暂停、SKIPPED、API 读取侧

同时按用户要求：移除 100% 行覆盖率强制门槛（pytest 不再 --cov-fail-under），
约定小改动只跑相关测试、保证功能可用即可（AGENTS.md 与 pyproject.toml）。
 2026-09-06 16:57:05 +08:00
cat-shark fbcb5115d8 feat: llm 翻译节点打印分批进度与 token 处理速度日志 
翻译节点 translate_lines 分批调用 LLM 时补充可观测日志：
- 任务开始打印总行数与总批数；每完成一批打印总进度（已完成/总行数、
  第几批/共几批、批耗时、累计耗时与行/s），结束打印汇总（总耗时、
  累计 tokens、tok/s 与行/s），便于评估 LLM 处理速度；
- _call_llm 解析响应 usage（total_tokens），每次请求打印单批耗时与
  token/s（接口不返回 usage 时按 0 处理）；
- _translate_batch 改为返回(译文, 本批 tokens)，供累计汇总；
- 补充空输入直接返回的单测，保持 100% 行覆盖率。
 2026-09-06 13:57:44 +08:00
cat-shark f2895ee103 feat: 字幕领域纠错模块（通用领域词表 + 有效上下文，不过拟合） 
背景：成人视频 ASR 常把性器官（チンポ/マンコ）听错成近音词（手先/
チェーンバー 等），翻译逐字直译导致与画面严重不符。

实验结论：
- 硬编码 ASR 误听例子（手先→肉棒）过拟合——换视频的误听词就失效；
- 通用领域词表（只列性器官的常见日文词+中文）+ 有效上下文 + 通用引导
  可泛化——对从没见过的误听（バナナ/マンゴー→性器官）也能按语境推断。

实现 nodes/subtitle_correction.py：
- PROPER_SESSION_WORDS：通用性器官领域词表（不含 ASR 误听噪声词）
- _is_fragment：纯语气词/碎片过滤
- _build_context：目标 ±60s 有效上下文（过滤碎片，保留动作链）
- _system_prompt：通用引导（无具体误听例子）
- _extract_target_line：从 LLM 输出解析目标行译文
- invoke：逐条领域纠错，产出 corrected.srt

测试 tests/test_subtitle_correction.py（12 个）：
- 碎片判定/上下文过滤/目标解析/提示词无噪声例子（9 快速单测）
- 真实 LLM 泛化回归（对未出现误听词也能推断性器官）+ 端到端 invoke
 2026-09-06 10:44:09 +08:00
cat-shark 2c3c356348 feat: whisper 节点自动接入自适应 VAD + 方案文档 
- nodes/whisper.py：invoke 检测到 vad_filter=true 且未显式传 vad_parameters
  且 WOV_AUTO_VAD=1 时，自动调用 vad_profiler.vad_parameters_for_audio 按
  本音频信号动态确定 VAD 参数并传给 transcribe；分析失败回退默认不中断转写
  （防御性，不影响整段流程）。
- tests/test_nodes.py：新增自动 VAD 异常回退测试（patch profiler 抛错，
  验证 whisper 正常转写 + transcribe 收到 vad_parameters=None）。
- docs/adaptive_vad.md：完整方案文档（背景/可行性/三层架构/参数建议规则/
  评分器/实现落点/取舍/实现状态）。
 2026-09-06 08:15:13 +08:00
cat-shark d0d96a8f89 feat: 每视频自适应 VAD 调参模块（信号分析 + 幻觉词扣分评分） 
背景：实测 CJOD-255 全程 BGM 覆盖（56% 低能量、几乎无静音），固定 VAD
参数把音乐当语音 → whisper 全段解码 → 80% 碎片化 + 32% 漏句 + 敏感段丢失。

实现 nodes/vad_profiler.py：
- profile_audio：1s 能量网格分析 → 静音比例/BGM 覆盖/长停顿识别
- suggest_vad_parameters：按信号特征推荐 threshold/min_silence/speech_pad
  （BGM 覆盖 -> 降 threshold 增人声敏感；长停顿 -> 降 speech_pad 防时间漂移；
   静音占比高 -> 升 threshold 剔虚警）
- score_transcript：启发式评分（不用参考字幕，符合部署实际）——
  碎片率 + 幻觉词（感谢观看/晚安/音乐）扣分 + 平均字数适中
- vad_parameters_for_audio：信号分析 + 可选片段网格验证，选最优参数
- _grid_search_vad / _candidate_params：候选网格搜索与异常回退

测试 tests/test_vad_profiler.py：19 个用例覆盖信号分析、四个建议分支、
幻觉词/碎片评分、网格选优、异常回退、空音频/低采样率、候选展开。
 2026-09-06 08:14:59 +08:00
cat-shark a032855210 feat: 字幕质量提升——长时寒暄幻觉清洗 + 专名/成人隐语不直译 
两部分同属字幕质量优化，共用 llm.py 翻译链路：

1) 长时寒暄幻觉词清洗（nodes/subtitle_cleanup.py）
   对展示时长超过阈值（默认 15s，实测 30s 幻觉占位 vs 2s 真实词的分界）
   且文本含收尾/开场寒暄（晚安、感谢观看等）的字幕，文本替换为 '-'，
   由后续过滤流程移除；短时寒暄（如剧情中真实互道晚安）保留不误删。
    写文件前调用 。

2) 专名/隐语不直译（nodes/proper_nouns.py）
   片假名专名（人名/品牌/角色）与成人语境隐语是 LLM 误译重灾区：
   - ジンゴ 被误译成'芒果'、カンタくん 被保留日文而非音译；
   - マンゴー/バナナ/リンゴ/金玉/おまんこ/ちんちん 等在色情语境中
     是生殖器官代称，字面直译严重错译。
   整理三张规则表（专名/拟声词/成人隐语，用户提供隐语表），
    检测原文命中后动态注入翻译提示词，
   让 LLM 按正确语义处理。文档见 docs/proper_nouns.md。

测试（红→绿）：
- tests/test_hallucination_mask.py：长时掩码/短时保留/非寒暄保留/阈值边界
- tests/test_proper_nouns.py：专名命中/拟声词/成人隐语/真实数据集成
- 真实 LLM 集成测试（完整 1440 行翻译 + 清洗 + 专名注入）通过
 2026-09-05 22:32:40 +08:00
cat-shark fcdcfe020b fix: SRT 解析器正确处理空文本字幕条目 
旧正则把空文本条目与下一行合并，导致真实集成测试偶发
"译文条数 1439 != 原文 1440"（翻译补空/空字幕使条目被吞并）。
改为按时间轴行分块解析：序号缺省、空文本也独立计数，时间轴不丢失。
 2026-09-05 22:32:15 +08:00
cat-shark 2e8bbb15a4 feat: ASS字幕移到顶部安全区并加透明度(零视差不变) 
- srt-to-dual-eye-ass: an2底部→an8顶部对齐,MarginV改为可配margin_top(默认120),
  字幕避开画面中央人脸高发区(B-1顶部安全区)
- 文字填充&H80FFFFFF→&HB3FFFFFF(约70%透明),描边纯黑→&H80000000半透明黑
- A-1零视差保持不变:左右眼水平相对位置一致,字幕固定屏幕平面
- 新增3条测试(顶部对齐/自定义margin_top/invoke读参数),ass节点覆盖率100%
- 新增docs/调查报告:双目视觉景深原理、字幕深度配置公式与遮挡解决方案
 2026-09-05 21:03:55 +08:00
cat-shark 5c12bbcb74 fix: 翻译批内行数错位（内容-时间错位）+ system_prompt 元组 bug 
根因（真实任务 run_51242078d76e）：
1. LLM 按 CHUNK_SIZE=20 分批翻译时，对语义碎片句（如单独的助词/名词/
   语气词）偶发多拆/少拆一行，translate_lines 无条件 extend 导致：
   - 多行 -> 后续所有字幕文本整体错位，时间戳从原文复制、文本却错贴时间；
   - 少行 -> invoke 末尾补空导致该条内容缺失。
   程序按时戳看不出问题，实际"内容对错时间"（如第756条"好像喜欢害羞
   的样子"错贴 3805s，实为"恥ずかしいのが好きみたいなので"的译文）。
2. system_prompt 圆括号内出现 f-string 赋值导致隐式字符串拼接失效，
   整体变成 tuple，json 序列化后 content 是数组 -> LLM API 400。

修复：
- 提示词强化：逐行独立翻译 + 碎片句按语境独立成行 + 禁止合并/拆分；
- _repair_batch：多行末尾合并到前一行、少行重试该批（最多3次）仍不足
  补空串占位（宁缺勿错位），保证译文与原文逐条时间对齐；
- system_prompt 显式 + 拼接为单个字符串。

测试（先红后绿）：
- test_translate_lines_aligns_extra_line：多行合并对齐
- test_translate_lines_aligns_missing_line：少行重试补齐
- test_translate_lines_pads_after_retries_exhausted：重试耗尽补空
- test_pipeline_zh_cn_timetext_alignment：真实 LLM 完整 1440 行逐条对齐
pyproject.toml: 注册 integration marker
 2026-09-05 19:36:47 +08:00
cat-shark 078170c12a feat: 真实数据时间对齐集成测试框架 
- tests/realdata_contract.py：数据契约底座（SRT 解析/清洗、时间对齐量化
  指标 align_report、幻觉词/专名判定、提示词规则拼接）
- tests/test_integration_alignment.py：流水线产物 vs 硬字幕参考的时间对齐
  （真实数据复现"字幕过早/过晚"，红→绿闭环）
- tests/test_integration_prompt_rules.py：寒暄幻觉/专名提示词规则测试
- scripts/extract_reference_srt.py：从烧录字幕视频自动提取参考时间轴
- testdata/REALDATA_README.md + alignment/*.reference.srt：真实参考字幕
  （视频素材较大，gitignore 不入库）
 2026-09-05 19:36:23 +08:00
cat-shark d1557eca46 feat: 批量处理重做——视频旁已有字幕即跳过、产物对齐 CN 命名并清理过程文件 
- 创建批量任务时一次性定位视频：视频所在目录存在文件名含视频名的字幕文件
  （.srt/.ass/.ssa/.vtt）直接记 SKIPPED，不触发流水线；运行时只消费已定位
  的明细，不再重新扫描文件夹。
- 视频完成后把最终产物放到视频旁，命名对齐媒体库约定：中文字幕存为
  <视频名>.CN.srt、双目字幕存为 <视频名>.CN_dual_eye.ass；其余扩展名产物
  保留原文件名。
- 收尾删除 run 记录与过程工作空间；工作空间改到应用私有目录
  storage/batch/<job_id>/<bv_id>/，与用户媒体库隔离，防止媒体库把切片数据
  当视频入库。
- 批量 API 产物清单/下载改为解析视频旁字幕文件，旧版 batch.done.json 语义
  别名保持兼容；删除任务时清理私有工作空间。
- 前端说明与创建提示同步；测试按新语义重写并补覆盖（278 passed，100% 行覆盖率）。
 2026-09-03 08:22:42 +08:00
cat-shark 87abde33d4 feat: subtitle-ocr 进度日志增加预计剩余时间 ETA 
- 进度日志追加"预计剩余 X分Y秒"（剩余帧/当前速度，速度未知时不显示）
 2026-08-23 16:25:18 +08:00
cat-shark 5688f38d62 fix: frame-extract 默认裁切区域改为画面底部 1/4 
- 默认 crop 由 [0,0.82,1,0.18] 调整为 [0,0.75,1,0.25]：字幕很少出现在
  画面上半部分，扩大裁切高度提升 OCR 召回
- 同步更新 ocr-subtitle 工作流 DAG 与参数覆盖测试
 2026-08-23 16:25:17 +08:00
cat-shark 3aa05bbf76 feat: whisper 分块间暂停检查与默认 float16 计算类型 
- 分块转写在每个分块前检查 run 根目录 paused.flag，批量/任务暂停时
  分块粒度内中止（默认 60s 一块），当前块执行完才停
- 默认 compute_type 由 auto 改为 float16，测试断言同步更新
 2026-08-23 16:25:15 +08:00
cat-shark 3b5bd42b60 feat: llm-filter 节点级断点存档 
- 每条 LLM 判定成功立即追加 filter_partial.jsonl（多线程加锁串行化）
- 失败/中断后重跑只重判未判定条目，已判定结果复用，与 OCR 存档同机制
- 附带上下文净化回归重跑脚本（run_011d01f19999）
 2026-08-23 16:25:13 +08:00
cat-shark 711867e79f feat: 文件夹批量处理引擎（后端） 
- BatchWorker 单线程轮询 batch_jobs 表，处理 source=batch 的运行，
  与主调度器互不抢占（next_queued_run 排除 batch 来源）
- 直接读取用户所选文件夹下的视频逐个执行流水线，不上传到工作目录；
  中间态与产物落在视频旁同名文件夹，batch.done.json 完成标记去重
- 支持暂停/继续、失败容错（单视频失败不阻塞后续）、删除任务只清库
- 孤儿清理跳过 source=batch 运行，防止误删用户视频文件夹
- workflow_runs 新增 source 列（upload/batch），旧库自动迁移
 2026-08-23 16:25:09 +08:00
cat-shark b16e0e9f3c feat: 任务断点续跑/暂停中断/LLM 过滤优化与调度容错 
调度与状态机：
- 修复 PAUSED 任务被拾起后复活执行（点击暂停反而开始任务）：next_queued_run
  只取 QUEUED，execute_run 以 PAUSED 进入直接返回，暂停必须显式 resume
- 重启恢复：启动时 recover_interrupted_runs 把遗留 RUNNING 置 QUEUED（保留产物）
- 暂停信号 paused.flag：暂停接口写、继续/重试清除，OCR 逐帧检查秒级中断，
  节点内被暂停保持 PAUSED 不误报 FAILED
- 调度轮询容错：_loop 异常不杀死线程（曾致任务永久停留 QUEUED）

subtitle-ocr 节点级断点：
- ocr_partial.jsonl 逐帧存档，重启/暂停后只处理未处理帧，产物与一次跑完一致
- 进度日志携带窗口平均耗时与线程数；取消后抑制进度日志井喷

llm-filter 过滤质量与限流自适应：
- 上下文净化：喂给 LLM 的是过滤后的字幕（规则层垃圾从上下文剔除）
- 正则确定性过滤：裸网址域名、HTML/水印模式直接删除
- 429/5xx 指数退避重试；worker 限流错误 report_failure 内存临时降最大线程数
  并缩容（无错误窗口回升），失败条目降并发后重试一轮
- 保留长文本保护（noise 不删 ≥min_keep_len 文本，LLM 判定不稳的必要兜底）

前端：
- 工作流编排页支持选择工作流编辑（加载最新/历史版本）、版本历史面板、
  新建/编辑双模式；管理后台编辑跳转 workflow.html?edit=<id>

工作流：ocr-subtitle v7（filter pool_max_workers=20、pool_fast_threshold=1）
 2026-08-19 01:27:41 +08:00
cat-shark 4ebbfc5198 test: 多线程字幕顺序验证（全量真实数据夹具）+ 文档更新 
- 新增 TestSubtitleOcrOrderThreading：模拟真实 vlm-ocr API 返回（不走真实
  OCR），全量 14236 帧真实数据 + 种子化可变延迟（约 8% 慢帧，模拟真实 OCR
  延迟波动），验证 4/16 线程产物与单线程确认结果逐字节一致、并发真实发生、
  完成顺序乱序但输出保序、时间轴严格递增、每条字幕与起始时刻帧文本对齐
- 全量夹具：frames_manifest_full.json + ocr_frames_full.json（真实任务
  run_ac7f480a3ccb 全部 14236 帧），常驻测试不跳过
- AGENTS.md：更新 llm-filter 参数说明与测试资产清单
 2026-08-17 23:20:20 +08:00
cat-shark 5ffa2ac39e feat: llm-filter 两级过滤（规则层+五类分类+去重+长文本保护），工作流单线程 v4 
- 规则层（不调 LLM）：横线装饰/HTML 水印 token/URL/邮箱/单双 ASCII 字符直接删
- LLM 五类分类：garbage/overlay/noise 删，repeat/dialogue 留，未识别回退保留
- 按文本去重：相同文本只调一次 LLM（忽略空白/大小写），判定一致并省调用
- 长文本保护：≥min_keep_len 时 noise 不构成删除依据
- 真实任务 run_ac7f480a3ccb 验证：非规则误删 350→193（-45%），呻吟/对话保留
- ocr-subtitle 工作流 v4：pool 钉死单线程（1/1）
- 回归夹具 testdata/ocr_srt_run_ac7f480a3ccb.srt（真实 1666 条 OCR 输出）
 2026-08-17 23:20:16 +08:00
cat-shark 2b3a650612 fix: 帧文件按帧号数值排序，修复超 9999 帧字典序错位 
- frame-extract 新增 _sorted_frame_files：ffmpeg %04d 编号超过 9999 帧后扩为
  5 位，sorted() 字典序会把 5 位编号排在 4 位之前，导致 frames.json 时间与
  图像错位（真实发生于 run_339ec7ee437f 的 14236 帧任务）
- subtitle-ocr 提取 _merge_kept 供重组装复用
- 回归测试用真实任务留存数据（testdata/frames_boundary/），并新增真实 OCR
  数据按正确时间轴重组装为 SRT 的集成测试（test_integration_reassemble_ocr）
 2026-08-17 23:20:11 +08:00
cat-shark 885cf07921 feat(extract): 抽帧打印进度日志 
ffmpeg 增加 -progress pipe:1 并解析 frame=N：每约 10 个检查点打印
'抽帧进度 X/Y 帧 (Z 帧/s)'，长视频抽帧期间可见实时进度与处理速度。
测试覆盖进度行解析、进度日志输出与失败路径（Popen mock）。
 2026-08-17 00:03:51 +08:00
cat-shark 4746e0363f feat: VRSub 单体应用（WOV 单机版）初始提交 
为视频生成 VR 双眼字幕的单体实现：FastAPI 后端、调度器与全部节点
（提音/转写/翻译/ASS/抽帧/OCR/LLM 过滤）在单进程内运行。

- 节点协议（wov_sdk 数据模型）与分布式版保持一致，预留回退桥梁
- 工作流即数据：DAG 存于 workflows/*.json，模型/链路改动只改数据
- 调度器：拓扑顺序执行、断点续跑（产物重建）、任务暂停/继续
- 抽帧按帧间隔（select 按帧号精确取帧），VLM OCR 与 LLM 过滤使用
  自适应线程池弹性并发，并打印数据处理速度进度日志
- 100% 行覆盖率（pytest --cov-fail-under=100）
 2026-08-16 23:58:25 +08:00