 cat-shark
|
c063aed1f1
|
fix: 批量任务残留PENDING仍误标COMPLETED——置完成前校验无残留+崩溃恢复批量任务
事故（batch_969fabe74b83 等 3 个任务实测）：批量引擎串行处理到 9.9GB
大视频时中断，_run_job 无条件收尾把任务置 COMPLETED，留下"N 个 PENDING
待处理却已完成"的僵尸状态——3 个任务遗留的 PENDING 完全相同（kiwvr-887/
mdvr-413/savr-1077 共 10 个大视频），且均卡在大文件前从未被真正处理。
- batch.py: _run_job 置 COMPLETED 前校验全部非 SKIPPED 视频已结束
（无 PENDING/PAUSED 残留），否则保持 RUNNING 交引擎下一轮续跑
- db.py/main.py: 新增 recover_interrupted_batch_jobs，重启时把 RUNNING
批量任务恢复 QUEUED（否则停在 RUNNING 永远不会被再次拾起）
- tests: 新增 2 条 TDD 回归（残留 PENDING 不置 COMPLETED、批量崩溃恢复）
- scripts/fix_zombie_batch_jobs.py: 历史僵尸数据修复脚本（置回 QUEUED 续跑）
- AGENTS.md: 补充完成任务判定与崩溃恢复约定
|
2026-09-07 11:25:33 +08:00 |
|
|
cat-shark
|
711867e79f
|
feat: 文件夹批量处理引擎（后端）
- BatchWorker 单线程轮询 batch_jobs 表，处理 source=batch 的运行，
与主调度器互不抢占（next_queued_run 排除 batch 来源）
- 直接读取用户所选文件夹下的视频逐个执行流水线，不上传到工作目录；
中间态与产物落在视频旁同名文件夹，batch.done.json 完成标记去重
- 支持暂停/继续、失败容错（单视频失败不阻塞后续）、删除任务只清库
- 孤儿清理跳过 source=batch 运行，防止误删用户视频文件夹
- workflow_runs 新增 source 列（upload/batch），旧库自动迁移
|
2026-08-23 16:25:09 +08:00 |
|
|
cat-shark
|
b16e0e9f3c
|
feat: 任务断点续跑/暂停中断/LLM 过滤优化与调度容错
调度与状态机：
- 修复 PAUSED 任务被拾起后复活执行（点击暂停反而开始任务）：next_queued_run
只取 QUEUED，execute_run 以 PAUSED 进入直接返回，暂停必须显式 resume
- 重启恢复：启动时 recover_interrupted_runs 把遗留 RUNNING 置 QUEUED（保留产物）
- 暂停信号 paused.flag：暂停接口写、继续/重试清除，OCR 逐帧检查秒级中断，
节点内被暂停保持 PAUSED 不误报 FAILED
- 调度轮询容错：_loop 异常不杀死线程（曾致任务永久停留 QUEUED）
subtitle-ocr 节点级断点：
- ocr_partial.jsonl 逐帧存档，重启/暂停后只处理未处理帧，产物与一次跑完一致
- 进度日志携带窗口平均耗时与线程数；取消后抑制进度日志井喷
llm-filter 过滤质量与限流自适应：
- 上下文净化：喂给 LLM 的是过滤后的字幕（规则层垃圾从上下文剔除）
- 正则确定性过滤：裸网址域名、HTML/水印模式直接删除
- 429/5xx 指数退避重试；worker 限流错误 report_failure 内存临时降最大线程数
并缩容（无错误窗口回升），失败条目降并发后重试一轮
- 保留长文本保护（noise 不删 ≥min_keep_len 文本，LLM 判定不稳的必要兜底）
前端：
- 工作流编排页支持选择工作流编辑（加载最新/历史版本）、版本历史面板、
新建/编辑双模式；管理后台编辑跳转 workflow.html?edit=<id>
工作流：ocr-subtitle v7（filter pool_max_workers=20、pool_fast_threshold=1）
|
2026-08-19 01:27:41 +08:00 |
|
|
cat-shark
|
4746e0363f
|
feat: VRSub 单体应用（WOV 单机版）初始提交
为视频生成 VR 双眼字幕的单体实现：FastAPI 后端、调度器与全部节点
（提音/转写/翻译/ASS/抽帧/OCR/LLM 过滤）在单进程内运行。
- 节点协议（wov_sdk 数据模型）与分布式版保持一致，预留回退桥梁
- 工作流即数据：DAG 存于 workflows/*.json，模型/链路改动只改数据
- 调度器：拓扑顺序执行、断点续跑（产物重建）、任务暂停/继续
- 抽帧按帧间隔（select 按帧号精确取帧），VLM OCR 与 LLM 过滤使用
自适应线程池弹性并发，并打印数据处理速度进度日志
- 100% 行覆盖率（pytest --cov-fail-under=100）
|
2026-08-16 23:58:25 +08:00 |
|