 cat-shark
|
dcdc5e8604
|
feat: 批量分块流水线、本地模型显存让渡与任务列表分工
批量引擎改为「分块流水线」：视频按 WOV_BATCH_STAGE_GROUP_SIZE（默认 8）分组，
组内按 DAG 拓扑序跑完全部视频（全部 extract → 全部 ASR → 全部翻译 → 全部 ASS）
再进入下一组，本地模型每组只加载一次、卸载一次，而不是每个视频来回加载卸载；
产物仍按组增量落到视频旁。调度器新增 execute_run(run_id, stop_after=节点)：
该节点完成后任务保持 RUNNING 不收尾，下一次调用从产物表跳过已完成节点继续，
用于实现阶段边界。
- nodes/llm.py：翻译节点结束释放本机 Ollama 显存（node 参数 unload_after >
LLM_UNLOAD_AFTER > 本机 loopback 端点默认卸载，云端端点不卸载；卸载失败只告警），
新增 keep_model.flag 语义（阶段内保持常驻）与 release_local_model()；
新增节点内暂停（按批 20 行检查 paused.flag，抛 PauseRequested，调度器保持 PAUSED）。
- src/wov_app/batch.py：分组阶段执行与阶段末统一释放显存；失败视频只在它失败
节点的那个阶段重试（避免 LLM 已常驻时重跑 ASR 抢显存）；任务没有明细时保持
QUEUED 等登记完成、仍有未完成视频时置回 QUEUED 自愈（原先留 RUNNING 会卡死：
引擎只拾取 QUEUED，任务停在“运行中但没人推进”）；无失败视频时删除任务级空目录；
每个阶段开始前清理 paused.flag / keep_model.flag，避免强杀残留影响后续阶段。
- src/wov_app/config.py：新增 WOV_BATCH_STAGE_GROUP_SIZE（设为 1 即旧的每视频全链路）。
- 任务列表与批量页分工：GET /api/runs 默认排除 source=batch（一个批量任务会产生
N 条单视频 run，会把 20 条窗口占满；且任务管理页的暂停/重试/删除对批量 run
语义不成立），需要排查时用 include_batch=1；作为补偿批量页详情新增阶段列
（阶段 i/N · 中文标签，由该视频 run 的 current_node_id 在 DAG 拓扑序中的位置
推导，节点类型映射中文标签）。阶段只有节点边界粒度，句级进度不落库、只在日志。
- 顺带纳入此前未提交的批量僵尸状态恢复：recover_interrupted_batch_jobs 除 RUNNING
外也把「COMPLETED 但仍含未结束视频」的任务置回 QUEUED；fix_zombie_batch_jobs.py
改为按条件扫描并支持 --apply 预览；批量页明细只列本批真正处理过的视频。
测试新增/更新：分块流水线调用顺序（组内按节点跑完再下一组）、每组只释放一次模型、
阶段内保持常驻标志、翻译按批暂停、失败视频不跨阶段推进、任务无明细/中途登记视频时
置回 QUEUED、任务工作空间与残留信号清理、任务列表默认过滤批量 run、详情阶段字段、
前端阶段列渲染；全量 507 passed（唯一失败为既有素材缺失的 integration 用例）。
|
2026-09-18 10:31:52 +08:00 |
|
|
cat-shark
|
966f3e6b4b
|
docs: AGENTS.md 只保留代理规则，项目信息迁入 README 与 docs/
把 AGENTS.md（545 行）中的项目知识按性质拆开，只留下对代理的要求：
- AGENTS.md（176 行）只写规则：读文档指引、提交许可、等待规则、TDD、
测试规则（模块边界/三段结构/功能覆盖优先）、注释规范、目标运行环境、
PowerShell 规则、文档维护规则；
- 项目信息新建 docs/ 专题：architecture、node-protocol、workflows、
configuration、operations、testing、decisions；
- README 改为项目索引（定位、快速开始、文档导航、目录、工作流、结论摘要）；
- 修正旧文档错误：README 的"详细约定见 AGENTS.md"与"100% 行覆盖率"
（pytest 已移除该门槛）；环境变量表补齐 WOV_AUTO_VAD 等 3 项。
新增 scripts/check_doc_links.py 校验相对链接与锚点，当前 14 个文档全部可达。
|
2026-09-13 15:40:31 +08:00 |
|
|
cat-shark
|
f99f8de171
|
fix: 拒绝环形 DAG 并避免无效工作流堵塞任务队列
|
2026-09-11 17:19:40 +08:00 |
|
|
cat-shark
|
3a612919f7
|
fix: 保持产物收尾幂等并保护批量成品完整性
|
2026-09-11 16:12:32 +08:00 |
|
|
cat-shark
|
f3faad0391
|
fix: 修复自适应线程池限流扩容及缩容滞后
|
2026-09-11 15:59:46 +08:00 |
|
|
cat-shark
|
13f72178e9
|
fix: 防止任务删除误删源视频目录并跟踪审查问题
|
2026-09-11 15:40:09 +08:00 |
|