 cat-shark
|
eda37a6ac3
|
perf: SQLite 开 WAL 与写锁等待，支持流水线并发写
批量流水线会在多个线程里同时写产物与进度，默认的回滚日志模式与 5 秒
busy timeout 下容易出现 database is locked。
- 连接统一带 `WOV_DB_BUSY_TIMEOUT_SECONDS`（默认 30 秒）等待写锁。
- 打开 WAL 与 `synchronous=NORMAL`：读写并行，落盘开销更低；不支持 WAL 的
文件系统会保持原模式（SQLite 自身降级）。
- 测试：断言 WAL 生效，并用 4 线程 × 25 条并发写产物验证不丢数据、不报错。
|
2026-09-18 22:40:45 +08:00 |
|
|
cat-shark
|
df7a91d97c
|
feat: 新增 GPU 资源门控模块（探测/需求估算/准入租约）
为"按资源而不是按配置调度"提供判定基础：`stage_gpu_need_mb` 给出节点的显存
需求（whisper 按权重 ×1.45；本机 LLM/VLM 端点按预留；线上端点为 0），
`GpuGate` 负责准入（GPU 阶段互斥 + 显存余量检查；探测不到 nvidia-smi 时退化为
互斥，与串行等价）。
- 判定只看资源现状，调用方不需要判断"是否云端"。
- 局域网地址上的本机 Ollama 用 `WOV_LOCAL_MODEL_HOSTS` 声明；预留值可用
`WOV_LOCAL_LLM_RESERVE_MB` / `WOV_LOCAL_VLM_RESERVE_MB` 调整。
- 测试覆盖互斥、余量边界、无探测退化、真实权重估算与端点判定。
|
2026-09-18 22:40:37 +08:00 |
|
|
cat-shark
|
8645e440f4
|
feat: 日语转写（翻译前归档）也作为产物放到视频旁
翻译前的日语转写只有中间态，重跑字幕或回看译文时无据可查；把它按语言归档到
视频旁，与中文译文、双目字幕并列。
- `learn-translate` 的 `final_outputs` 增加 `ja_srt: asr.srt_uri`（清洗后的转写）。
- `_sidecar_product_name` 改为**按 final_outputs 别名**映射语言后缀
（`ja_srt`→`.JA.srt`、`cn_srt`→`.CN.srt`、`ass`→`.CN_dual_eye.ass`），未登记别名
时按扩展名兜底。此前两份 `.srt` 都映射成 `.CN.srt` 会互相覆盖（真实日志：
"产物已放视频旁: movie.CN.srt, movie.CN.srt"）。
- 任务管理的产物列补"日语 SRT"下载链接。
- 测试：按别名区分语言变体 + 端到端验证两份产物都落地且不覆盖。
|
2026-09-18 22:27:38 +08:00 |
|
|
cat-shark
|
7a2dee9b64
|
fix: 批量任务明细写完再排队（CREATING 状态）
`create_job` 先把任务行以 QUEUED 入库（引擎立刻可见），再逐条登记明细（扫描
媒体库时 500+ 条要数秒）；引擎轮询到的快照可能还没包含剩余明细，收尾时"无未结束
明细"检查也看不到它们，于是把任务误标 COMPLETED，剩余视频永远不再被处理。
- 任务行改以 `CREATING` 入库，明细全部登记完才置 QUEUED（引擎只取 QUEUED，
看不到半成品）；登记中途异常置 FAILED 并把异常交给路由层。
- 启动时把上一进程遗留的 CREATING 统一置 FAILED（`fail_creating_batch_jobs`），
避免明细写一半被热重载/强杀后留下看不见的残留任务。
- 回归测试：明细每写一条就问一次引擎队列（写入过程中取不到任务）；中途失败记
FAILED；启动清理遗留 CREATING。
|
2026-09-18 22:23:39 +08:00 |
|
|
cat-shark
|
dcdc5e8604
|
feat: 批量分块流水线、本地模型显存让渡与任务列表分工
批量引擎改为「分块流水线」：视频按 WOV_BATCH_STAGE_GROUP_SIZE（默认 8）分组，
组内按 DAG 拓扑序跑完全部视频（全部 extract → 全部 ASR → 全部翻译 → 全部 ASS）
再进入下一组，本地模型每组只加载一次、卸载一次，而不是每个视频来回加载卸载；
产物仍按组增量落到视频旁。调度器新增 execute_run(run_id, stop_after=节点)：
该节点完成后任务保持 RUNNING 不收尾，下一次调用从产物表跳过已完成节点继续，
用于实现阶段边界。
- nodes/llm.py：翻译节点结束释放本机 Ollama 显存（node 参数 unload_after >
LLM_UNLOAD_AFTER > 本机 loopback 端点默认卸载，云端端点不卸载；卸载失败只告警），
新增 keep_model.flag 语义（阶段内保持常驻）与 release_local_model()；
新增节点内暂停（按批 20 行检查 paused.flag，抛 PauseRequested，调度器保持 PAUSED）。
- src/wov_app/batch.py：分组阶段执行与阶段末统一释放显存；失败视频只在它失败
节点的那个阶段重试（避免 LLM 已常驻时重跑 ASR 抢显存）；任务没有明细时保持
QUEUED 等登记完成、仍有未完成视频时置回 QUEUED 自愈（原先留 RUNNING 会卡死：
引擎只拾取 QUEUED，任务停在“运行中但没人推进”）；无失败视频时删除任务级空目录；
每个阶段开始前清理 paused.flag / keep_model.flag，避免强杀残留影响后续阶段。
- src/wov_app/config.py：新增 WOV_BATCH_STAGE_GROUP_SIZE（设为 1 即旧的每视频全链路）。
- 任务列表与批量页分工：GET /api/runs 默认排除 source=batch（一个批量任务会产生
N 条单视频 run，会把 20 条窗口占满；且任务管理页的暂停/重试/删除对批量 run
语义不成立），需要排查时用 include_batch=1；作为补偿批量页详情新增阶段列
（阶段 i/N · 中文标签，由该视频 run 的 current_node_id 在 DAG 拓扑序中的位置
推导，节点类型映射中文标签）。阶段只有节点边界粒度，句级进度不落库、只在日志。
- 顺带纳入此前未提交的批量僵尸状态恢复：recover_interrupted_batch_jobs 除 RUNNING
外也把「COMPLETED 但仍含未结束视频」的任务置回 QUEUED；fix_zombie_batch_jobs.py
改为按条件扫描并支持 --apply 预览；批量页明细只列本批真正处理过的视频。
测试新增/更新：分块流水线调用顺序（组内按节点跑完再下一组）、每组只释放一次模型、
阶段内保持常驻标志、翻译按批暂停、失败视频不跨阶段推进、任务无明细/中途登记视频时
置回 QUEUED、任务工作空间与残留信号清理、任务列表默认过滤批量 run、详情阶段字段、
前端阶段列渲染；全量 507 passed（唯一失败为既有素材缺失的 integration 用例）。
|
2026-09-18 10:31:52 +08:00 |
|
|
cat-shark
|
8a715a8064
|
test: 按模块重写测试代码，删除旧平铺结构
按"测试规则"重写 tests/：一个模块一个目录、用例按数据→过程→验证三段书写、
不保留全局 conftest.py、测试过程只调用真实生产代码。
结构（73 个文件、30 个模块目录、477 用例）：
- tests/nodes/ 15 个模块目录（srt/whisper/ass/ffmpeg/frame_extract/vlm/
subtitle_ocr/llm/llm_filter/subtitle_cleanup/subtitle_correction/
proper_nouns/adaptive_pool/vad_profiler/echo）；
- tests/app/ 11 个模块目录（db/scheduler/batch/maintenance/registry/seed/
storage/config/logging/main/routers 三组 API）；
- tests/sdk/test_models、tests/web/test_crop、tests/shared（公共设施）。
测试数据随模块目录入库（tests/**/data/），删除根级 testdata/；.gitignore
的 data/ 改为 /data/，否则会连带忽略 tests/**/data/ 导致测试数据无法入库。
顺带发现并修复三个真实缺陷：
- nodes/srt.py：相邻条目缺少空行时把下一条时间轴吞进正文（静默错位），
改为正文行遇时间戳行即报错；
- src/wov_app/scheduler.py：_file_size 只捕获 OSError，含 \x00 的产物 URI
抛 ValueError 导致任务误判失败，改为同时捕获；
- nodes/subtitle_correction.py：生产代码依赖测试包解析 SRT，
改用生产模块 nodes/srt.py。
真实模型/服务集成测试按外部状态跳过：新增 tests/shared/gpu_memory.py
（运行时探测显存、CUDA OOM 转跳过）与 tests/shared/llm_service.py
（无 Key / 余额 / 限流转跳过）。全量 477 passed。
|
2026-09-13 15:40:56 +08:00 |
|