cat-shark/vrsub
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
43 Commits 3 Branches 0 Tags
669858c1d1732253d9073b697449ec55056421fe
Commit Graph
6 Commits
Author SHA1 Message Date
cat-shark 3a612919f7 fix: 保持产物收尾幂等并保护批量成品完整性 2026-09-11 16:12:32 +08:00
cat-shark c063aed1f1 fix: 批量任务残留PENDING仍误标COMPLETED——置完成前校验无残留+崩溃恢复批量任务 
事故（batch_969fabe74b83 等 3 个任务实测）：批量引擎串行处理到 9.9GB
大视频时中断，_run_job 无条件收尾把任务置 COMPLETED，留下"N 个 PENDING
待处理却已完成"的僵尸状态——3 个任务遗留的 PENDING 完全相同（kiwvr-887/
mdvr-413/savr-1077 共 10 个大视频），且均卡在大文件前从未被真正处理。

- batch.py: _run_job 置 COMPLETED 前校验全部非 SKIPPED 视频已结束
  （无 PENDING/PAUSED 残留），否则保持 RUNNING 交引擎下一轮续跑
- db.py/main.py: 新增 recover_interrupted_batch_jobs，重启时把 RUNNING
  批量任务恢复 QUEUED（否则停在 RUNNING 永远不会被再次拾起）
- tests: 新增 2 条 TDD 回归（残留 PENDING 不置 COMPLETED、批量崩溃恢复）
- scripts/fix_zombie_batch_jobs.py: 历史僵尸数据修复脚本（置回 QUEUED 续跑）
- AGENTS.md: 补充完成任务判定与崩溃恢复约定
 2026-09-07 11:25:33 +08:00
cat-shark 44a607b636 fix: 批量进度只统计无字幕视频，SKIPPED 不计入 total/done 
用户反馈数量展示错误：整批 431 个视频中 383 个已有字幕被 SKIPPED，
此前 total=全部视频、done 也含 SKIPPED，把已处理过的视频混进计数。

新口径（2026-09）：
- total = 创建时扫描出的无字幕（需处理）视频数，创建即固定；SKIPPED 不计
- done = 实际处理完成（COMPLETED）数，SKIPPED 不计；failed 单独计
- 全部视频都有字幕（total=0）→ 创建即视为 COMPLETED，不排队空跑
- sync_batch_job_progress 同步修正 total（老任务读取时自动收敛到新口径）
- 前端 batchProgress 相应更新：total=0 显示"无待处理视频"

tests: 更新 4 条旧口径断言 + 新增 1 条全跳过 API 测试，62 项相关测试通过。
 2026-09-06 17:25:01 +08:00
cat-shark 52512c26e5 fix: 批量任务进度实时汇总，暂停/中断时前端不再显示 0/总数 0% 
batch_jobs.done 此前只在任务整体完成时一次性汇总，处理中途（尤其被暂停）
恒为 0，导致前端显示 "0/431 完成 0%" 而实际已处理多个视频
（回归 batch_fee668175444：已处理 15 个仍显示 0/431）。

- db: 新增 sync_batch_job_progress（按明细实时重算 done=COMPLETED+SKIPPED、
  failed=FAILED 并落库）与 refresh_batch_job（对齐后返回最新任务）
- batch 引擎: 暂停返回、SKIPPED/COMPLETED continue、视频缺失、单视频异常后、
  任务收尾等边界统一调用实时对齐，替代收尾一次性 sum
- routers/batch: 列表/详情读取前实时对齐，即使引擎不在运行也返回真实进度
- tests: 新增 6 条 TDD 回归测试覆盖 db 助手、引擎暂停、SKIPPED、API 读取侧

同时按用户要求：移除 100% 行覆盖率强制门槛（pytest 不再 --cov-fail-under），
约定小改动只跑相关测试、保证功能可用即可（AGENTS.md 与 pyproject.toml）。
 2026-09-06 16:57:05 +08:00
cat-shark d1557eca46 feat: 批量处理重做——视频旁已有字幕即跳过、产物对齐 CN 命名并清理过程文件 
- 创建批量任务时一次性定位视频：视频所在目录存在文件名含视频名的字幕文件
  （.srt/.ass/.ssa/.vtt）直接记 SKIPPED，不触发流水线；运行时只消费已定位
  的明细，不再重新扫描文件夹。
- 视频完成后把最终产物放到视频旁，命名对齐媒体库约定：中文字幕存为
  <视频名>.CN.srt、双目字幕存为 <视频名>.CN_dual_eye.ass；其余扩展名产物
  保留原文件名。
- 收尾删除 run 记录与过程工作空间；工作空间改到应用私有目录
  storage/batch/<job_id>/<bv_id>/，与用户媒体库隔离，防止媒体库把切片数据
  当视频入库。
- 批量 API 产物清单/下载改为解析视频旁字幕文件，旧版 batch.done.json 语义
  别名保持兼容；删除任务时清理私有工作空间。
- 前端说明与创建提示同步；测试按新语义重写并补覆盖（278 passed，100% 行覆盖率）。
 2026-09-03 08:22:42 +08:00
cat-shark 711867e79f feat: 文件夹批量处理引擎（后端） 
- BatchWorker 单线程轮询 batch_jobs 表，处理 source=batch 的运行，
  与主调度器互不抢占（next_queued_run 排除 batch 来源）
- 直接读取用户所选文件夹下的视频逐个执行流水线，不上传到工作目录；
  中间态与产物落在视频旁同名文件夹，batch.done.json 完成标记去重
- 支持暂停/继续、失败容错（单视频失败不阻塞后续）、删除任务只清库
- 孤儿清理跳过 source=batch 运行，防止误删用户视频文件夹
- workflow_runs 新增 source 列（upload/batch），旧库自动迁移
 2026-08-23 16:25:09 +08:00