cat-shark/vrsub
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
8 Commits 3 Branches 0 Tags
b16e0e9f3cf180c0d66b1689da04654f7f23ad54
Commit Graph
8 Commits
This Branch
This Branch
All Branches
Author SHA1 Message Date
cat-shark b16e0e9f3c feat: 任务断点续跑/暂停中断/LLM 过滤优化与调度容错 
调度与状态机：
- 修复 PAUSED 任务被拾起后复活执行（点击暂停反而开始任务）：next_queued_run
  只取 QUEUED，execute_run 以 PAUSED 进入直接返回，暂停必须显式 resume
- 重启恢复：启动时 recover_interrupted_runs 把遗留 RUNNING 置 QUEUED（保留产物）
- 暂停信号 paused.flag：暂停接口写、继续/重试清除，OCR 逐帧检查秒级中断，
  节点内被暂停保持 PAUSED 不误报 FAILED
- 调度轮询容错：_loop 异常不杀死线程（曾致任务永久停留 QUEUED）

subtitle-ocr 节点级断点：
- ocr_partial.jsonl 逐帧存档，重启/暂停后只处理未处理帧，产物与一次跑完一致
- 进度日志携带窗口平均耗时与线程数；取消后抑制进度日志井喷

llm-filter 过滤质量与限流自适应：
- 上下文净化：喂给 LLM 的是过滤后的字幕（规则层垃圾从上下文剔除）
- 正则确定性过滤：裸网址域名、HTML/水印模式直接删除
- 429/5xx 指数退避重试；worker 限流错误 report_failure 内存临时降最大线程数
  并缩容（无错误窗口回升），失败条目降并发后重试一轮
- 保留长文本保护（noise 不删 ≥min_keep_len 文本，LLM 判定不稳的必要兜底）

前端：
- 工作流编排页支持选择工作流编辑（加载最新/历史版本）、版本历史面板、
  新建/编辑双模式；管理后台编辑跳转 workflow.html?edit=<id>

工作流：ocr-subtitle v7（filter pool_max_workers=20、pool_fast_threshold=1）
 2026-08-19 01:27:41 +08:00
cat-shark 4ebbfc5198 test: 多线程字幕顺序验证（全量真实数据夹具）+ 文档更新 
- 新增 TestSubtitleOcrOrderThreading：模拟真实 vlm-ocr API 返回（不走真实
  OCR），全量 14236 帧真实数据 + 种子化可变延迟（约 8% 慢帧，模拟真实 OCR
  延迟波动），验证 4/16 线程产物与单线程确认结果逐字节一致、并发真实发生、
  完成顺序乱序但输出保序、时间轴严格递增、每条字幕与起始时刻帧文本对齐
- 全量夹具：frames_manifest_full.json + ocr_frames_full.json（真实任务
  run_ac7f480a3ccb 全部 14236 帧），常驻测试不跳过
- AGENTS.md：更新 llm-filter 参数说明与测试资产清单
 2026-08-17 23:20:20 +08:00
cat-shark 5ffa2ac39e feat: llm-filter 两级过滤（规则层+五类分类+去重+长文本保护），工作流单线程 v4 
- 规则层（不调 LLM）：横线装饰/HTML 水印 token/URL/邮箱/单双 ASCII 字符直接删
- LLM 五类分类：garbage/overlay/noise 删，repeat/dialogue 留，未识别回退保留
- 按文本去重：相同文本只调一次 LLM（忽略空白/大小写），判定一致并省调用
- 长文本保护：≥min_keep_len 时 noise 不构成删除依据
- 真实任务 run_ac7f480a3ccb 验证：非规则误删 350→193（-45%），呻吟/对话保留
- ocr-subtitle 工作流 v4：pool 钉死单线程（1/1）
- 回归夹具 testdata/ocr_srt_run_ac7f480a3ccb.srt（真实 1666 条 OCR 输出）
 2026-08-17 23:20:16 +08:00
cat-shark 2b3a650612 fix: 帧文件按帧号数值排序，修复超 9999 帧字典序错位 
- frame-extract 新增 _sorted_frame_files：ffmpeg %04d 编号超过 9999 帧后扩为
  5 位，sorted() 字典序会把 5 位编号排在 4 位之前，导致 frames.json 时间与
  图像错位（真实发生于 run_339ec7ee437f 的 14236 帧任务）
- subtitle-ocr 提取 _merge_kept 供重组装复用
- 回归测试用真实任务留存数据（testdata/frames_boundary/），并新增真实 OCR
  数据按正确时间轴重组装为 SRT 的集成测试（test_integration_reassemble_ocr）
 2026-08-17 23:20:11 +08:00
cat-shark f9ba96ef3a docs: 记录提交规则（未经用户许可禁止 commit/push） 2026-08-17 00:06:14 +08:00
cat-shark 63858bdc4f docs: 记录 frame-extract 抽帧进度日志 2026-08-17 00:04:20 +08:00
cat-shark 885cf07921 feat(extract): 抽帧打印进度日志 
ffmpeg 增加 -progress pipe:1 并解析 frame=N：每约 10 个检查点打印
'抽帧进度 X/Y 帧 (Z 帧/s)'，长视频抽帧期间可见实时进度与处理速度。
测试覆盖进度行解析、进度日志输出与失败路径（Popen mock）。
 2026-08-17 00:03:51 +08:00
cat-shark 4746e0363f feat: VRSub 单体应用（WOV 单机版）初始提交 
为视频生成 VR 双眼字幕的单体实现：FastAPI 后端、调度器与全部节点
（提音/转写/翻译/ASS/抽帧/OCR/LLM 过滤）在单进程内运行。

- 节点协议（wov_sdk 数据模型）与分布式版保持一致，预留回退桥梁
- 工作流即数据：DAG 存于 workflows/*.json，模型/链路改动只改数据
- 调度器：拓扑顺序执行、断点续跑（产物重建）、任务暂停/继续
- 抽帧按帧间隔（select 按帧号精确取帧），VLM OCR 与 LLM 过滤使用
  自适应线程池弹性并发，并打印数据处理速度进度日志
- 100% 行覆盖率（pytest --cov-fail-under=100）
 2026-08-16 23:58:25 +08:00