 cat-shark
|
dcdc5e8604
|
feat: 批量分块流水线、本地模型显存让渡与任务列表分工
批量引擎改为「分块流水线」：视频按 WOV_BATCH_STAGE_GROUP_SIZE（默认 8）分组，
组内按 DAG 拓扑序跑完全部视频（全部 extract → 全部 ASR → 全部翻译 → 全部 ASS）
再进入下一组，本地模型每组只加载一次、卸载一次，而不是每个视频来回加载卸载；
产物仍按组增量落到视频旁。调度器新增 execute_run(run_id, stop_after=节点)：
该节点完成后任务保持 RUNNING 不收尾，下一次调用从产物表跳过已完成节点继续，
用于实现阶段边界。
- nodes/llm.py：翻译节点结束释放本机 Ollama 显存（node 参数 unload_after >
LLM_UNLOAD_AFTER > 本机 loopback 端点默认卸载，云端端点不卸载；卸载失败只告警），
新增 keep_model.flag 语义（阶段内保持常驻）与 release_local_model()；
新增节点内暂停（按批 20 行检查 paused.flag，抛 PauseRequested，调度器保持 PAUSED）。
- src/wov_app/batch.py：分组阶段执行与阶段末统一释放显存；失败视频只在它失败
节点的那个阶段重试（避免 LLM 已常驻时重跑 ASR 抢显存）；任务没有明细时保持
QUEUED 等登记完成、仍有未完成视频时置回 QUEUED 自愈（原先留 RUNNING 会卡死：
引擎只拾取 QUEUED，任务停在“运行中但没人推进”）；无失败视频时删除任务级空目录；
每个阶段开始前清理 paused.flag / keep_model.flag，避免强杀残留影响后续阶段。
- src/wov_app/config.py：新增 WOV_BATCH_STAGE_GROUP_SIZE（设为 1 即旧的每视频全链路）。
- 任务列表与批量页分工：GET /api/runs 默认排除 source=batch（一个批量任务会产生
N 条单视频 run，会把 20 条窗口占满；且任务管理页的暂停/重试/删除对批量 run
语义不成立），需要排查时用 include_batch=1；作为补偿批量页详情新增阶段列
（阶段 i/N · 中文标签，由该视频 run 的 current_node_id 在 DAG 拓扑序中的位置
推导，节点类型映射中文标签）。阶段只有节点边界粒度，句级进度不落库、只在日志。
- 顺带纳入此前未提交的批量僵尸状态恢复：recover_interrupted_batch_jobs 除 RUNNING
外也把「COMPLETED 但仍含未结束视频」的任务置回 QUEUED；fix_zombie_batch_jobs.py
改为按条件扫描并支持 --apply 预览；批量页明细只列本批真正处理过的视频。
测试新增/更新：分块流水线调用顺序（组内按节点跑完再下一组）、每组只释放一次模型、
阶段内保持常驻标志、翻译按批暂停、失败视频不跨阶段推进、任务无明细/中途登记视频时
置回 QUEUED、任务工作空间与残留信号清理、任务列表默认过滤批量 run、详情阶段字段、
前端阶段列渲染；全量 507 passed（唯一失败为既有素材缺失的 integration 用例）。
|
2026-09-18 10:31:52 +08:00 |
|
|
cat-shark
|
eba9163246
|
feat: 优化学习视频转写与字幕清洗
|
2026-09-11 14:26:02 +08:00 |
|
|
cat-shark
|
44a607b636
|
fix: 批量进度只统计无字幕视频，SKIPPED 不计入 total/done
用户反馈数量展示错误：整批 431 个视频中 383 个已有字幕被 SKIPPED，
此前 total=全部视频、done 也含 SKIPPED，把已处理过的视频混进计数。
新口径（2026-09）：
- total = 创建时扫描出的无字幕（需处理）视频数，创建即固定；SKIPPED 不计
- done = 实际处理完成（COMPLETED）数，SKIPPED 不计；failed 单独计
- 全部视频都有字幕（total=0）→ 创建即视为 COMPLETED，不排队空跑
- sync_batch_job_progress 同步修正 total（老任务读取时自动收敛到新口径）
- 前端 batchProgress 相应更新：total=0 显示"无待处理视频"
tests: 更新 4 条旧口径断言 + 新增 1 条全跳过 API 测试，62 项相关测试通过。
|
2026-09-06 17:25:01 +08:00 |
|
|
cat-shark
|
d1557eca46
|
feat: 批量处理重做——视频旁已有字幕即跳过、产物对齐 CN 命名并清理过程文件
- 创建批量任务时一次性定位视频：视频所在目录存在文件名含视频名的字幕文件
（.srt/.ass/.ssa/.vtt）直接记 SKIPPED，不触发流水线；运行时只消费已定位
的明细，不再重新扫描文件夹。
- 视频完成后把最终产物放到视频旁，命名对齐媒体库约定：中文字幕存为
<视频名>.CN.srt、双目字幕存为 <视频名>.CN_dual_eye.ass；其余扩展名产物
保留原文件名。
- 收尾删除 run 记录与过程工作空间；工作空间改到应用私有目录
storage/batch/<job_id>/<bv_id>/，与用户媒体库隔离，防止媒体库把切片数据
当视频入库。
- 批量 API 产物清单/下载改为解析视频旁字幕文件，旧版 batch.done.json 语义
别名保持兼容；删除任务时清理私有工作空间。
- 前端说明与创建提示同步；测试按新语义重写并补覆盖（278 passed，100% 行覆盖率）。
|
2026-09-03 08:22:42 +08:00 |
|
|
cat-shark
|
cc707dda75
|
feat: 批量处理页面与导航
- 新增 web/batch.html + batch.js：目录树选择器（懒加载，本地后端
提供 roots/dirs 接口）、工作流下拉、进度与产物下载
- 四个页面导航栏增加"批量处理"入口；styles.css 补齐批量页样式
|
2026-08-23 16:25:11 +08:00 |
|
|
cat-shark
|
b16e0e9f3c
|
feat: 任务断点续跑/暂停中断/LLM 过滤优化与调度容错
调度与状态机：
- 修复 PAUSED 任务被拾起后复活执行（点击暂停反而开始任务）：next_queued_run
只取 QUEUED，execute_run 以 PAUSED 进入直接返回，暂停必须显式 resume
- 重启恢复：启动时 recover_interrupted_runs 把遗留 RUNNING 置 QUEUED（保留产物）
- 暂停信号 paused.flag：暂停接口写、继续/重试清除，OCR 逐帧检查秒级中断，
节点内被暂停保持 PAUSED 不误报 FAILED
- 调度轮询容错：_loop 异常不杀死线程（曾致任务永久停留 QUEUED）
subtitle-ocr 节点级断点：
- ocr_partial.jsonl 逐帧存档，重启/暂停后只处理未处理帧，产物与一次跑完一致
- 进度日志携带窗口平均耗时与线程数；取消后抑制进度日志井喷
llm-filter 过滤质量与限流自适应：
- 上下文净化：喂给 LLM 的是过滤后的字幕（规则层垃圾从上下文剔除）
- 正则确定性过滤：裸网址域名、HTML/水印模式直接删除
- 429/5xx 指数退避重试；worker 限流错误 report_failure 内存临时降最大线程数
并缩容（无错误窗口回升），失败条目降并发后重试一轮
- 保留长文本保护（noise 不删 ≥min_keep_len 文本，LLM 判定不稳的必要兜底）
前端：
- 工作流编排页支持选择工作流编辑（加载最新/历史版本）、版本历史面板、
新建/编辑双模式；管理后台编辑跳转 workflow.html?edit=<id>
工作流：ocr-subtitle v7（filter pool_max_workers=20、pool_fast_threshold=1）
|
2026-08-19 01:27:41 +08:00 |
|
|
cat-shark
|
4746e0363f
|
feat: VRSub 单体应用（WOV 单机版）初始提交
为视频生成 VR 双眼字幕的单体实现：FastAPI 后端、调度器与全部节点
（提音/转写/翻译/ASS/抽帧/OCR/LLM 过滤）在单进程内运行。
- 节点协议（wov_sdk 数据模型）与分布式版保持一致，预留回退桥梁
- 工作流即数据：DAG 存于 workflows/*.json，模型/链路改动只改数据
- 调度器：拓扑顺序执行、断点续跑（产物重建）、任务暂停/继续
- 抽帧按帧间隔（select 按帧号精确取帧），VLM OCR 与 LLM 过滤使用
自适应线程池弹性并发，并打印数据处理速度进度日志
- 100% 行覆盖率（pytest --cov-fail-under=100）
|
2026-08-16 23:58:25 +08:00 |
|