cat-shark/vrsub
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
45 Commits 3 Branches 0 Tags
8a715a8064cefbf49d0c0008c90569c3168d2328
Commit Graph
6 Commits
Author SHA1 Message Date
cat-shark 8963afa771 feat: 新增翻译模型横向评测工具链与窗口级评测集 
为评估"更便宜的 LLM 能否替换 llm-translate 默认模型"新增真实数据驱动的
评测工具（不 mock 模型，直接调用生产节点实现，模型仅作为 params 变量）：

- scripts/build_translate_eval.py：把 ocr-subtitle 的中文烧录字幕产物与
  learn-translate 的日语 whisper ASR 按时间配对，产出候选池；
- scripts/build_segment_eval.py：改为**窗口级**配对（一条中文基准字幕 +
  其时间窗内 1-3 条日语 cue）。逐条配对不可用——烧录字幕是按屏幕合并的
  整行，与 whisper 的 cue 切分不同，直接逐条对照会被基准错位污染；
- scripts/bench_translate_models.py：对每个模型跑完整片、记录单次调用耗时
  与 token、输出窗口级多模型对照表供人工 review；VL 模型需剔除
  enable_thinking（Qwen3-VL 不接受该参数，生产代码固定携带）；
- scripts/run_translate_bench_queue.py：批量评测队列；
- tests/test_translate_model_bench.py：评测数据契约与对照输出一致性测试
  （含先红后绿修复：stdout 与 markdown 两套输出格式漂移）；
- testdata/translate_eval/：候选池、窗口池与 124 窗口人工评测集资产。

评测结论见 data/experiments/translate_models/REPORT.md（gitignored）。
 2026-09-13 10:15:23 +08:00
cat-shark 078170c12a feat: 真实数据时间对齐集成测试框架 
- tests/realdata_contract.py：数据契约底座（SRT 解析/清洗、时间对齐量化
  指标 align_report、幻觉词/专名判定、提示词规则拼接）
- tests/test_integration_alignment.py：流水线产物 vs 硬字幕参考的时间对齐
  （真实数据复现"字幕过早/过晚"，红→绿闭环）
- tests/test_integration_prompt_rules.py：寒暄幻觉/专名提示词规则测试
- scripts/extract_reference_srt.py：从烧录字幕视频自动提取参考时间轴
- testdata/REALDATA_README.md + alignment/*.reference.srt：真实参考字幕
  （视频素材较大，gitignore 不入库）
 2026-09-05 19:36:23 +08:00
cat-shark 4ebbfc5198 test: 多线程字幕顺序验证（全量真实数据夹具）+ 文档更新 
- 新增 TestSubtitleOcrOrderThreading：模拟真实 vlm-ocr API 返回（不走真实
  OCR），全量 14236 帧真实数据 + 种子化可变延迟（约 8% 慢帧，模拟真实 OCR
  延迟波动），验证 4/16 线程产物与单线程确认结果逐字节一致、并发真实发生、
  完成顺序乱序但输出保序、时间轴严格递增、每条字幕与起始时刻帧文本对齐
- 全量夹具：frames_manifest_full.json + ocr_frames_full.json（真实任务
  run_ac7f480a3ccb 全部 14236 帧），常驻测试不跳过
- AGENTS.md：更新 llm-filter 参数说明与测试资产清单
 2026-08-17 23:20:20 +08:00
cat-shark 5ffa2ac39e feat: llm-filter 两级过滤（规则层+五类分类+去重+长文本保护），工作流单线程 v4 
- 规则层（不调 LLM）：横线装饰/HTML 水印 token/URL/邮箱/单双 ASCII 字符直接删
- LLM 五类分类：garbage/overlay/noise 删，repeat/dialogue 留，未识别回退保留
- 按文本去重：相同文本只调一次 LLM（忽略空白/大小写），判定一致并省调用
- 长文本保护：≥min_keep_len 时 noise 不构成删除依据
- 真实任务 run_ac7f480a3ccb 验证：非规则误删 350→193（-45%），呻吟/对话保留
- ocr-subtitle 工作流 v4：pool 钉死单线程（1/1）
- 回归夹具 testdata/ocr_srt_run_ac7f480a3ccb.srt（真实 1666 条 OCR 输出）
 2026-08-17 23:20:16 +08:00
cat-shark 2b3a650612 fix: 帧文件按帧号数值排序，修复超 9999 帧字典序错位 
- frame-extract 新增 _sorted_frame_files：ffmpeg %04d 编号超过 9999 帧后扩为
  5 位，sorted() 字典序会把 5 位编号排在 4 位之前，导致 frames.json 时间与
  图像错位（真实发生于 run_339ec7ee437f 的 14236 帧任务）
- subtitle-ocr 提取 _merge_kept 供重组装复用
- 回归测试用真实任务留存数据（testdata/frames_boundary/），并新增真实 OCR
  数据按正确时间轴重组装为 SRT 的集成测试（test_integration_reassemble_ocr）
 2026-08-17 23:20:11 +08:00
cat-shark 4746e0363f feat: VRSub 单体应用（WOV 单机版）初始提交 
为视频生成 VR 双眼字幕的单体实现：FastAPI 后端、调度器与全部节点
（提音/转写/翻译/ASS/抽帧/OCR/LLM 过滤）在单进程内运行。

- 节点协议（wov_sdk 数据模型）与分布式版保持一致，预留回退桥梁
- 工作流即数据：DAG 存于 workflows/*.json，模型/链路改动只改数据
- 调度器：拓扑顺序执行、断点续跑（产物重建）、任务暂停/继续
- 抽帧按帧间隔（select 按帧号精确取帧），VLM OCR 与 LLM 过滤使用
  自适应线程池弹性并发，并打印数据处理速度进度日志
- 100% 行覆盖率（pytest --cov-fail-under=100）
 2026-08-16 23:58:25 +08:00