docs: AGENTS.md 只保留代理规则,项目信息迁入 README 与 docs/

把 AGENTS.md(545 行)中的项目知识按性质拆开,只留下对代理的要求:

- AGENTS.md(176 行)只写规则:读文档指引、提交许可、等待规则、TDD、
  测试规则(模块边界/三段结构/功能覆盖优先)、注释规范、目标运行环境、
  PowerShell 规则、文档维护规则;
- 项目信息新建 docs/ 专题:architecture、node-protocol、workflows、
  configuration、operations、testing、decisions;
- README 改为项目索引(定位、快速开始、文档导航、目录、工作流、结论摘要);
- 修正旧文档错误:README 的"详细约定见 AGENTS.md"与"100% 行覆盖率"
  (pytest 已移除该门槛);环境变量表补齐 WOV_AUTO_VAD 等 3 项。

新增 scripts/check_doc_links.py 校验相对链接与锚点,当前 14 个文档全部可达。
This commit is contained in:
2026-09-13 15:40:31 +08:00
parent 669858c1d1
commit 966f3e6b4b
12 changed files with 1017 additions and 478 deletions
+75
View File
@@ -0,0 +1,75 @@
# 架构
VRSub 是"为视频生成 VR 双眼字幕"的单体应用(WOV AI Workflow Platform 的
单机实现):FastAPI 后端、工作流调度器与全部节点(提音 / 转写 / 翻译 /
ASS)在**同一个进程**内运行,不再启动子进程、不再走节点 HTTP 协议。
由原分布式多仓库(wov-api / wov-web / wov-sdk / wov-node-*)合并而来。
## 目录结构
```
vrsub/
├── src/wov_sdk/ # 协议数据模型(NodeManifest/InvokeRequest/InvokeResponse/
│ # WorkflowDefinition 等),与分布式版保持一致
├── src/wov_app/ # 应用层:main/config/db/registry/scheduler/batch/seed/routers
│ └── routers/ # apps.py(用户端)、workflows.py(管理端)、batch.py(批量处理)
├── nodes/ # 进程内节点实现:echo/ffmpeg/whisper/llm/ass
├── manifests/ # 各节点清单 JSONecho.json/ffmpeg.json/...
├── workflows/ # 默认工作流定义 JSON(模型/链路均为数据,改模型不改代码)
├── web/ # 静态前端(index/tasks/admin/workflow + assets
├── model/ # 本地 whisper 权重(gitignored
├── data/ # SQLite + 上传/产物存储(gitignored
├── docs/ # 设计与运维文档(本目录)
└── tests/ # 单元/API/冒烟测试(覆盖核心路径,不强制 100%)
```
## 核心机制
- **节点注册表**`src/wov_app/registry.py`):启动时把 `manifests/*.json`
`nodes/*.py``invoke` 处理器静态注册到进程内字典,调度器按
`node_type` 直接调用。协议数据模型不变,为将来回退分布式保留兼容桥梁。
- **调度器**`src/wov_app/scheduler.py`):后台线程轮询 SQLite 中的 QUEUED
任务,按工作流 DAG 拓扑顺序调用节点,产物按
`data/storage/runs/<run_id>/steps/<node_id>/` 落盘并登记到 artifacts 表。
- **前端**:由 FastAPI 静态挂载 `web/`,节点注册/实例管理页面已移除,
仅保留应用中心、任务管理、批量处理、管理后台(工作流)与工作流编排。
- **工作流编排页(web/workflow.html)**:支持新建工作流(空表单预填演示模板),
从列表"编辑"加载任一工作流的最新定义(ID 锁定,保存即追加新版本);"版本"
查看全部历史版本并可"加载到编辑器"(对比/回滚后另存新版本);管理后台
admin.html)无编辑器,点"编辑"自动跳转 `workflow.html?edit=<id>` 加载。
- **批量引擎**`src/wov_app/batch.py`):独立的单线程轮询线程处理
`source=batch` 的运行,与主调度器互不抢占;详见
[operations.md](./operations.md#文件夹批量处理)。
## 关键设计约束(北极星不变式)
- 节点之间不直接调用,只通过产物 URI 交换数据;中间产物落在共享存储
`data/storage`),不放在节点模块内部。
- 工作流必须是数据文件或数据库记录(workflow_versions 表存 DAG JSON),
不允许把步骤顺序写死在应用代码里。
- 节点注册表是节点调用的唯一入口;API 与调度器不绕过 registry 直接执行
节点逻辑。
- 协议数据模型(wov_sdk)要长期稳定,宁可先少做功能,也不轻易改协议。
- 存储、队列、调度器都要通过抽象边界隔离,方便从单机实现替换为分布式实现。
- 用户端永远只看到"输入 -> 进度 -> 结果",不暴露工作流细节。
- 单体对分布式版的三处降级:无子进程隔离、无空闲 TTL 回收(模型常驻,
仅懒加载)、非 OCR 慢任务无法强制中断(由节点自身超时兜底;OCR 节点支持
暂停信号逐帧中断)。
## 单体化说明
- 由原 7 个独立仓库合并:wov-api、wov-web、wov-sdk、wov-node-echo、
wov-node-ffmpeg、wov-node-whisper、wov-node-llm、wov-node-ass。
- 删除内容:`NodeManager`(子进程生命周期)、节点 HTTP 服务端
`wov_sdk.server`)、节点注册/实例管理 API 与页面、node_instances 表、
各节点的 `__main__` 进程入口。
- 保留内容:协议数据模型、工作流 DAG 数据化、调度拓扑执行、上传/进度/下载/
重试 API、静态前端、SQLite Repository 层、本地优先模型加载。
## 相关文档
- 节点输入输出协议、模型权重解析:[node-protocol.md](./node-protocol.md)
- 内置工作流与参数约定:[workflows.md](./workflows.md)
- 环境变量与启动:[configuration.md](./configuration.md)
- 批量处理、暂停/继续、孤儿清理:[operations.md](./operations.md)
- 设计决策与事故记录:[decisions.md](./decisions.md)
+60
View File
@@ -0,0 +1,60 @@
# 配置与启动
## 启动
```bash
uv sync
uv run uvicorn wov_app.main:app --reload
```
访问:
```
http://127.0.0.1:8000/ 应用中心(上传视频 → 字幕生成)
http://127.0.0.1:8000/tasks.html 任务管理
http://127.0.0.1:8000/batch.html 批量处理(按文件夹)
http://127.0.0.1:8000/admin.html 管理后台(工作流)
http://127.0.0.1:8000/workflow.html 工作流编排(DAG JSON
http://127.0.0.1:8000/docs API 文档
```
## 环境变量
| 变量 | 默认值 | 说明 |
| --- | --- | --- |
| `WOV_DATA_DIR` | `<根>/data` | 数据目录 |
| `WOV_DB_PATH` | `<根>/data/wov.db` | SQLite 路径 |
| `WOV_STORAGE_DIR` | `<根>/data/storage` | 上传与产物根目录 |
| `WOV_AUTO_SEED` | `1` | 启动时创建内置工作流 |
| `WOV_SCHEDULER_ENABLED` | `1` | 启动后台调度器 |
| `WOV_SCHEDULER_INTERVAL_SECONDS` | `1.0` | 调度轮询间隔 |
| `WOV_CLEANUP_ENABLED` | `1` | 开启孤儿数据定时清理 |
| `WOV_CLEANUP_INTERVAL_SECONDS` | `3600` | 孤儿清理扫描周期(秒) |
| `WOV_CLEANUP_GRACE_SECONDS` | `3600` | 孤儿清理宽限期(秒) |
| `WOV_BATCH_ENABLED` | `1` | 开启文件夹批量处理引擎(处理 source=batch 任务) |
| `WOV_BATCH_INTERVAL_SECONDS` | `1.0` | 批量引擎轮询间隔 |
| `WOV_AUTO_VAD` | `1` | 开启每视频自适应 VAD 调参(详见 [adaptive_vad.md](./adaptive_vad.md) |
| `WHISPER_MODEL_PATH` | 见 [模型权重解析](./node-protocol.md#模型权重解析本地优先) | 显式指定 whisper 模型路径 |
| `WHISPER_DEVICE` | `auto` | 转写设备 |
| `LLM_API_BASE` | `https://api.siliconflow.cn/v1/chat/completions` | LLM 兼容接口 |
| `LLM_API_KEY` | 空(读 `.env` | SiliconFlow Bearer Key,存于 gitignored 的 `.env` |
| `LLM_MODEL` | `Qwen/Qwen3.5-35B-A3B` | LLM 模型名(默认值与例外说明见 [decisions.md](./decisions.md#翻译模型默认值切换与-subtitle-correction-例外) |
| `LLM_TIMEOUT_SECONDS` | `600` | LLM 单请求超时(llm-filter 内部默认 60 |
| `OLLAMA_HOST` | `http://192.168.123.70:11434` | Ollama 服务地址 |
| `VLM_MODEL` | `glm-ocr:latest` | VLM OCR 模型 |
| `VLM_PROMPT` | 提取图像中的文字,不要描述图片中的内容 | OCR 提示词(字幕流水线在 ocr-subtitle 工作流的 subtitle-ocr 节点参数中显式指定同一提示词) |
| `VLM_TIMEOUT_SECONDS` | `5` | VLM 单请求整体超时上限(每次调用 5 秒,超时即终止;流式读取同样受此截止约束) |
| `FFMPEG_BIN` | 空 | 显式 ffmpeg 路径(否则 PATH → imageio-ffmpeg |
## Python 环境与 uv 管理
- 统一使用 uv 管理虚拟环境和依赖,禁止直接使用 pip 修改依赖。
- 基础命令:`uv sync`(安装含 dev 组依赖)、`uv run <command>`
`uv add <package>``uv lock`
- 虚拟环境位于 `.venv`,测试依赖在 `[dependency-groups] dev`
- 新增依赖时使用 `uv add`,不修改系统 Python 或全局环境。
## 相关文档
- 本地模型权重目录:[node-protocol.md](./node-protocol.md#模型权重解析本地优先)
- 运维语义(清理、暂停、批量):[operations.md](./operations.md)
+78
View File
@@ -0,0 +1,78 @@
# 设计决策与踩坑记录
本文件记录"为什么这样做":模型/参数选择的实测依据、历史事故与踩坑。
**当前生效的规则**以对应专题文档为准(本文件只解释理由):
- 节点参数与默认值:[node-protocol.md](./node-protocol.md)
- 工作流与模型配置:[workflows.md](./workflows.md) / [configuration.md](./configuration.md)
- 代码缺陷与修复过程:[代码审查问题跟踪.md](./代码审查问题跟踪.md)
## 帧文件必须按帧号数值排序(14236 帧事故)
- **现象**run_339ec7ee437f 的 14236 帧任务中,字幕时间与图像错位。
- **根因**ffmpeg `%04d` 编号超过 9999 帧后扩为 5 位,字典序 `sorted()`
会把 5 位编号排在 4 位之前。
- **结论**:帧文件必须按帧号数值排序读取(`_sorted_frame_files`),
回归测试见 `test_frame_files_read_order_matches_frame_number`
## glm-ocr 重复循环问题与源头修复
- **根因**glm-ocr 生成阶段存在已知 bugM-RoPE delta 未传递,大图触发
重复循环;GitHub #454 / #16892)。`keep_alive` 与其无关(实测无效)。
- **修复路径**(现行防护措施见
[node-protocol.md](./node-protocol.md#glm-ocr-调用与重复循环防护)):
1. `frame-extract` 裁切后把帧压缩到 720p 内——过大输入图是触发条件之一。
2. `vlm` 请求体加 `repeat_penalty` + `num_predict` 压制重复。
3. `subtitle-ocr``max_result_chars` 把超长输出判为异常并跳过该帧。
## llm-filter 的 LLM 分类层默认关闭
- **决策(2026-09**`llm-filter` 只跑确定性规则层,LLM 五类分类层默认关闭
`use_llm=0`),需显式 `use_llm=1` 才启用。
- **依据(run_ac7f480a3ccb 逐类人工审查)**LLM 层额外删除的 131 条中
**56%73 条)是真实对话**`好好教育她一番吧`/`腿不要合上`/
`这家医院 为VIP患者提供了特殊服务`),而它真正抓住而规则层抓不到的仅
58 条且大半可正则化(已下沉到规则层);`repeat` 类别 67 条判定零删除;
长文本保护等五套机制全在给不稳定分类器兜底。
- **效果**:关闭后真实数据保留 863 条(旧 588 条)、**误删真对话 0 条**
(旧 73 条)、无 LLM 调用。
- **启用时保留的机制**:每条连同前后各 `context_size`(默认 10)条**过滤后**
文本判断(上下文净化),≥`min_keep_len`(默认 12)时 noise 不构成删除依据
(长文本保护),429/5xx 指数退避 + 自适应线程池 `report_failure()` 降并发后
重试一轮,判定成功即追加 `filter_partial.jsonl` 断点存档;按文本去重。
- **复现**`scripts/regenerate_filter_ac7f480a3ccb.py`
回归数据 `tests/nodes/test_llm_filter/data/ocr_srt_run_ac7f480a3ccb.srt`
## 翻译模型默认值切换与 subtitle-correction 例外
- **默认切换(2026-09**`LLM_MODEL``Qwen/Qwen3.6-35B-A3B` 改为
`Qwen/Qwen3.5-35B-A3B`——同片 2 小时日语 ASR 全量对比,质量持平、
0.232 s/行(评测中最快)。
- **例外**`subtitle-correction` 节点**有意**保留旧兜底
`Qwen/Qwen3.6-35B-A3B`——该节点错听泛化实测新模型 0/4、旧模型 4/4
(复现:同一误听场景各跑 4 次),见 `tests/test_llm_default_model.py`
- **评测数据**`data/experiments/translate_models/REPORT.md`
工具链 `scripts/bench_translate_models.py` 等。
## whisper large-v2 vs large-v3 切换
- **决策(2026-09**:通用转写模型从 large-v3
切到 `faster-whisper-large-v2`
- **依据**savr-1054 全片 A/B 实测,无 VAD 幻觉长段归零、开头漏句救回,
VAD 链路条数与覆盖小幅领先。
- **数据**`data/experiments/whisper_v2_vs_v3/`
脚本 `scripts/compare_whisper_v2_vs_v3.py`
调研记录 [调研-whisper漏句与decode_full验证.md](./调研-whisper漏句与decode_full验证.md)。
## VR 字幕景深与遮挡方案选型
- **结论**:采用 **A-1 零视差**(字幕固定在屏幕平面,不做景深偏移)+
**B-1 顶部安全区**`an8` 顶部居中,`margin_top` 默认 700),
并用半透明填充 + 半透明描边降低遮挡感。
- **调研全文**[VR双目字幕景深与遮挡调查报告.md](./VR双目字幕景深与遮挡调查报告.md)。
## 相关文档
- 当前生效的参数与协议:[node-protocol.md](./node-protocol.md)
- 运维语义与批量流程:[operations.md](./operations.md)
- 缺陷 ID 与验收标准:[代码审查问题跟踪.md](./代码审查问题跟踪.md)
+189
View File
@@ -0,0 +1,189 @@
# 节点协议
节点统一签名 `invoke(request: InvokeRequest) -> InvokeResponse`,通过产物 URI
交换数据(节点之间不直接调用,不共享内存状态)。清单文件位于
`manifests/*.json`,处理器位于 `nodes/*.py`,由
`src/wov_app/registry.py` 在启动时静态注册。
## 节点输入/输出一览
| 节点 IDnode_type | 输入 | 输出 | 说明 |
| --- | --- | --- | --- |
| `echo` | `text` / `file_uri` | `text``file_uri` | 示例节点,验证协议链路 |
| `ffmpeg-extract` | `video_uri` | `audio_uri`WAV | 参数:`sample_rate``channels` |
| `faster-whisper` | `audio_uri`16kHz 单声道) | `srt_uri` | 参数:`language``task``model_path``device``compute_type``beam_size``vad_filter`(默认开)、`condition_on_previous_text``chunk_seconds` |
| `llm-translate` | `srt_uri` | `cn_srt_uri` | 参数:`target_language``model` |
| `vlm-ocr` | `image_uri` | `text``text_uri` | 直接调本地 Ollama 多模态模型(glm-ocr)的 `/api/chat` 做视频帧 OCR(流式 + 5s 上限),参数:`model``ollama_host``prompt``timeout_seconds``keep_alive``num_predict``temperature``repeat_penalty` |
| `frame-extract` | `video_uri` | `frames_manifest``frame_count` | 按**帧间隔**抽帧(解析 fps → step=round(间隔秒×fps)ffmpeg select 按帧号精确取帧,帧时间=帧号/fps 无累计偏差)并 crop 裁切字幕区域,参数:`interval_seconds`(默认 0.5)、`crop`[x,y,w,h] 0~1**默认画面底部 1/4** `[0,0.75,1,0.25]`——字幕很少出现在画面上半部分,2026-08 调整)。**帧文件必须按帧号数值排序读取**(`_sorted_frame_files`):ffmpeg `%04d` 编号超过 9999 帧后扩为 5 位,字典序 `sorted()` 会把 5 位编号排在 4 位之前导致时间与图像错位(真实发生于 run_339ec7ee437f 的 14236 帧任务,回归测试见 `test_frame_files_read_order_matches_frame_number` |
| `subtitle-ocr` | `frames_manifest` | `srt_uri``count` | 自适应线程池并发逐帧调 vlm-ocr → 垃圾过滤(无文字帧)→ 相同字幕合并(记录最后可见帧)→ 组装 SRT,消失时间=最后可见帧+采样间隔(间隔从帧清单推导),参数:`min_chars``min_alnum_ratio``garbage_tokens``max_result_chars``pool_min_workers`/`pool_max_workers`/`pool_window_seconds`/`pool_fast_threshold`/`pool_slow_threshold` |
| `llm-filter` | `srt_uri` | `srt_uri``kept``removed` | 两级过滤:①**规则层**(不调 LLM,**2026-09 起为默认且唯一启用的层级**)正则确定性删除——横线装饰、URL/邮箱/**裸网址域名**(含中文夹杂的注册地址)、**HTML/水印模式**html code/标签/javascript 等)、overlay tokenhtml/marketing 等)、单双 ASCII 字符、**水印编号**SPHO-1/PHO一号馆/NO.1专用)、**日期/数值**2011-11-27/4.0)、**VLM 提示回显**no text is visible)、**角色标注**((出演));②**LLM 五类分类**garbage/overlay/noise 删,repeat/dialogue 留)—— **默认关闭**`use_llm`,默认 0),需显式 `use_llm=1` 才启用。参数:`context_size``min_keep_len``overlay_tokens`JSON 数组)、`dedupe`(默认开)、`use_llm`(默认 0)、`model``pool_*`。关闭原因与实测数据见 [decisions.md](./decisions.md#llm-filter-的-llm-分类层默认关闭),回归数据见 [testing.md](./testing.md) |
| `srt-to-dual-eye-ass` | `cn_srt_uri` | `ass_uri` | 参数:`resolution`(如 `3840x1920`)、`margin_top`(顶部安全边距,**默认 700**——2026-09 调整:120 落在画面最顶需抬头看,700 使字幕处于视线自然可读位置)。左右眼各占左右半幅且水平相对位置一致(**A-1 零视差**:字幕固定在屏幕平面,不做景深偏移);对齐 `an8` 顶部居中 + `MarginV=margin_top`(**B-1 顶部安全区**,避开画面中央人脸区);文字填充 `&HB3FFFFFF`(约 70% 透明)描边 `&H80000000`(半透明黑),降低遮挡感 |
| `subtitle-correction` | `srt_uri` | `srt_uri` | 字幕领域纠错(专名/误听),参数:`model`。默认模型**有意**保留 `Qwen/Qwen3.6-35B-A3B`(不跟随 `LLM_MODEL` 全局默认),原因见 [decisions.md](./decisions.md#翻译模型默认值切换与-subtitle-correction-例外) |
## 字幕样式统一(2026-09 起)
`nodes/ass.py` 顶部的 `DEFAULT_MARGIN_TOP=700` 与左右眼样式常量是**单一事实来源**:
新生成的字幕(`write_ass`/`invoke`)与历史字幕统一脚本共用 `ass_header()`/
`style_row()`/`dialogue_line()` 同一出口,两边永不漂移。历史媒体库里由旧版本
批量生成的 `*.CN_dual_eye.ass` 混有多种旧样式(底部 an2 实心白 / 底部半透明 /
顶部 120),用 `scripts/unify_ass_style.py` 统一原地改写为当前新样式:
```bash
# 先 dry-run 预览将改哪些文件(默认不改盘)
uv run python scripts/unify_ass_style.py /mnt/fnOS/123
# 确认无误后真正改写(原地,不产生 .bak)
uv run python scripts/unify_ass_style.py /mnt/fnOS/123 --apply
```
脚本解析旧文件分辨率与全部 Dialogue 事件后经 `ass_header()`/`dialogue_line()`
重建,输出与代码新产物**逐字节一致**;非 VR 字幕(无 LeftEye/RightEye 样式行)
自动跳过。相关测试见 `tests/test_unify_ass_style.py`
## 模型权重解析(本地优先)
whisper 节点按以下顺序解析模型路径,默认避免从远端下载:
1. 请求参数 `model_path`;裸模型名(不含路径分隔符)会在 `model/<名称>` 下解析。
2. 环境变量 `WHISPER_MODEL_PATH`
3. 本地候选目录(存在且含 `model.bin` 即使用):
- 单体根目录 `model/faster-whisper-large-v2`
- `nodes/model/faster-whisper-large-v2`
4. 兜底:`large-v2`(需要联网从 Hugging Face 下载)。
把权重放在 `model/` 目录即可完全离线运行。
**全系统只使用 Whisper V2 权重**(2026-09 决定,V3 已全面停用);V3 判据是
`preprocessor_config.json``feature_size`V2=80V3=128,不依赖目录名)。
当前已下载模型:
**在用(V2**
- `model/faster-whisper-large-v2`:通用转写模型(learn-translate 工作流的
`model_path`)。2026-09 从 large-v3 切换:savr-1054 全片 A/B 实测无 VAD
幻觉长段归零、开头漏句救回,VAD 链路条数与覆盖小幅领先,见
`data/experiments/whisper_v2_vs_v3/`
- `model/whisper-large-v2-translate-zh-v0.2-st-ct2`:中文直出模型
`chickenrice0721/whisper-large-v2-translate-zh-v0.2-st-ct2`),配合
`task=translate` 直接生成中文,无需 LLM 翻译(zh-direct 工作流)。
**已废弃(V3,保留在盘上仅作对照实验,不得用于生产与测试)**
- `model/faster-whisper-large-v3`:旧通用转写模型(`feature_size=128`)。
- `model/whisper-large-v3-translate-zh-v0.1-lt-ct2`:早期中文直出模型。
对照实验脚本:`scripts/compare_whisper_v2_vs_v3.py`。测试侧由
`tests/nodes/test_whisper/``_v2_model_candidates()` 自动排除 V3。
## 长音频处理
**当前策略:分块转写,默认每 1 分钟一块**`chunk_seconds=60`2026-08 调整)。
whisper 节点内部用 ffmpeg 把音频切成块 → 逐块转写 → 按偏移合并为完整 SRT:
- 内存/显存有界(模型 + 单块音频),任意时长可处理,失败粒度小。
- 分块是**应用层工程策略**,与模型训练格式无关:whisper 训练/推理都按 30s
窗口解码,任意块大小均适用。
- 每块 `offset = 块序号 × chunk_seconds`SRT 序号连续;切块失败自动回退
整段单次转写。
- `chunk_seconds=0` 可关闭分块;大小按工作流 DAG 参数(数据)调整。
- 同时默认 `condition_on_previous_text=false`(每块/每窗口独立解码,防重复)。
- **`vad_filter` 默认开启**(2026-08 用户决定):过滤静音段提速并减少无语音处
幻觉。注意 VAD 靠压缩时间轴回映射(SpeechTimestampsMap),长静音场景曾实测
错位(30s 静音致第二段语音从 ~40s 落到 10s);如需极致对齐可显式传
`vad_filter=false`
- **分块偏移按每块实际时长累积**(WAV 头精确):ffmpeg 切出的块实际时长不等于
块长(如 60.05s),用 `块序号×块长` 的假设值会随块数累积漂移;改为按真实
时长累加后,字幕时间轴与原始音频严格一致。
- 参考:openai/whisper 重复问题(issue #1026/#1046PR #1052/#1253)、
SYSTRAN/faster-whisper issue #465
## glm-ocr 调用与重复循环防护
- **glm-ocr 调用结构**:走 Ollama `/api/chat`,识别指令放**系统提示词**
用户消息只携带图片(content 为空、images 传 base64),`stream=True`
逐行接收,`stop: ["\n", "\n答", "答"]` 命中即停止(输出首个换行即停 +
阻止“答:”式重复循环),`temperature` 默认 0.3、`repeat_penalty` 默认 1、
`num_predict`(默认 256)随请求透传。
- **防护措施**
1. `frame-extract` 裁切后把帧**压缩到 720p 内**(仅缩小,保持宽高比)——
过大输入图是触发重复循环的条件之一。
2. `vlm` 请求体 `options.repeat_penalty`(默认 1.2+ `num_predict`
(默认 256)压制重复。
3. `subtitle-ocr` 增加 `max_result_chars`(默认 200):模型输出超长视为
异常(重复循环等),**直接报错并跳过该帧**。
- **gettext 标签防御性提取**2026-08):若模型输出含 `<gettext></gettext>`
标签(旧提示词要求)则取第一个标签内文本,多个标签取第一个防重复循环;
未按格式输出时回退原文。当前默认提示词为"提取图像中的文字,不要描述
图片中的内容"(字幕流水线在 ocr-subtitle 工作流的 subtitle-ocr 节点参数
中显式指定,经 subtitle-ocr 透传给 vlm-ocr)。
- **每次调用 5 秒上限**2026-08 调整):vlm 请求 `stream=True` 逐行读取,
每次调用整体受 5 秒截止时间约束(`timeout_seconds` 参数 /
`VLM_TIMEOUT_SECONDS`,默认 5),超过即终止返回 failed,不再等待后续
流式块。
- **不做文本加工**:除协议要求的 gettext 标签提取外,不再对模型输出做
过滤/去重等文本加工,结果原样使用,仅受长度上限约束。
问题根因与修复史见 [decisions.md](./decisions.md#glm-ocr-重复循环问题与源头修复)。
## VLM OCR 自适应并发(2026-08
subtitle-ocr 逐帧调 vlm-ocr 时使用 `nodes/adaptive_pool.py` 的自适应线程池
弹性并发:
-`pool_min_workers`(默认 1)起步,按**滚动窗口**`pool_window_seconds`
默认 10s)统计已完成任务的平均响应时间;
- 平均响应 < `pool_fast_threshold`(默认 0.3s)→ 线程数 +1(上限
`pool_max_workers`,默认 16)——服务端空闲就加大并发加速处理;
- 平均响应 > `pool_slow_threshold`(默认 1.0s)→ 线程数 -1(下限 1)——
服务端变慢就退避,避免盲目并发压垮本地 Ollama;
- 结果按帧顺序返回,SRT 时间轴不受并发影响;worker 需无共享可变状态
(vlm-ocr 处理器为纯函数,线程安全)。
**并发实现约定(审查 R02**`AdaptiveThreadPool` 使用标准线程执行器复用线程,
`map` 控制在途任务数,不一次性把全片任务压入执行器队列。上面的“线程数”
及进度日志中的 N 指目标在途并发额度,不是执行器已创建的线程总数。降低目标后,
已发出的请求允许完成,后续提交立即遵守新额度;不再向积压队列尾部追加退出哨兵。
`report_failure()` 只保持或降低当前额度,绝不因上限从 20 降到 19 就把当前 1
并发扩为 19。错误窗口不扩容,干净窗口逐步恢复有效上限;有效上限跨重试 `map`
保留,每批重新统计耗时窗口。进度回调与结果汇总由 map 线程串行处理,窗口未满
时平均耗时取 worker 实际耗时均值。`cancel()` 保持原约定,仅抑制进度回调,
节点自行检测暂停并返回异常。相关回归见 `tests/test_adaptive_pool.py`
修复背景见 [代码审查问题跟踪.md](./代码审查问题跟踪.md#r02-修复记录)。
## 翻译条目对齐(审查 R05
`llm-translate``nodes/srt.py` 按 cue 解析(支持 BOM/CRLF、多行、空正文),
以全局位置 ID 的 JSON `{id,text}` 数组请求翻译;时间戳不进入模型。返回的 ID
集合、类型、唯一性和非空正文必须校验通过,乱序结果按 ID 回填。结构错误最多
尝试 3 次,耗尽返回 failed,不再在末尾合并或补空。空 cue 不调模型但保留时间轴;
原有长时幻觉清洗继续生效。短句真实 LLM 校准见翻译对齐测试,修复背景见
[代码审查问题跟踪.md](./代码审查问题跟踪.md#r05--r06-修复记录)。
## OCR 空帧与故障恢复(审查 R06)
相同字幕只合并相邻帧,空帧结束当前段。OCR 临时失败/异常不进入成功存档,
失败帧降并发后重试一轮,仍失败则节点 failed,成功帧保留供恢复。JSONL 新增
`status=completed`(含成功空文字)或 `skipped`(超长输出按既有规则跳过)。
旧存档非空结果复用;无状态的旧空串可能由超时产生,重新识别一次。全量 14236
帧回归以真实单线程新结果 1942 条为基线,原 1666 条历史文件保留供比对,
新增逐帧覆盖检查防止跨空白合并,不再要求与旧错误时间轴逐字节一致。
修复背景见 [代码审查问题跟踪.md](./代码审查问题跟踪.md#r05--r06-修复记录)。
## 任务参数覆盖(前端框选)
创建任务时可携带可选 `params` 表单字段(JSON):`{"节点ID": {"参数": 值}}`
随任务持久化(param_overrides),调度执行时合并进对应节点参数。字幕 OCR
前端把框选的 `crop` 按此传给 `frame-extract` 节点。
### 前端 OCR 框选
首页选择工作流后,若 DAG 中存在声明 `crop` 参数的节点(frame-extract),
自动切换到框选面板:视频预览 + 拖动框选字幕区域 → 生成 crop 比例 →
框选完成后才可提交(未框选时提交按钮禁用)。矩形↔crop 换算为纯函数
`web/assets/crop.js`,含 letterbox 处理),由 node 单测覆盖。
## 相关文档
- 内置工作流定义与参数标注约定:[workflows.md](./workflows.md)
- 环境变量(模型、LLM、VLM 等):[configuration.md](./configuration.md)
- 测试资产与回归夹具:[testing.md](./testing.md)
+130
View File
@@ -0,0 +1,130 @@
# 运维
## 孤儿数据清理
应用内置后台清理器(`src/wov_app/maintenance.py`),按周期自动清理死数据:
- **自动删除**:无任务记录的上传/步骤残留目录;COMPLETED 且产物文件全部丢失、
超过宽限期(默认 1 小时)的任务记录(下载已全部 404)。
- **绝不自动删除**:FAILED 任务(可重试)、QUEUED/RUNNING 任务、宽限期内的任务、
仍有产物文件的任务。
- 手动删除任务仅通过删除接口(`DELETE /api/runs/{run_id}`)或管理界面进行。
## 任务暂停/继续(2026-08
- **状态机**`QUEUED / RUNNING / PAUSED / COMPLETED / FAILED`。排队中或运行中的
任务可暂停(`POST /api/runs/{run_id}/pause`),PAUSED 可继续
`POST /api/runs/{run_id}/resume` → 恢复 QUEUED)。
- **调度器语义**`next_queued_run` **只取 QUEUED**——PAUSED 任务不会被调度器
自动拾起(修复回归:此前 PAUSED 被拾起后 `execute_run` 先置 RUNNING 再检查,
节点循环读到的是刚改的 RUNNING,"暂停检查"永远不成立 → 任务被复活继续跑,
表现为"点击暂停反而开始任务")。`execute_run` 以 PAUSED 进入时直接返回保持暂停,
必须用户显式 resumePAUSED → QUEUED)后才真正执行;运行中被暂停的任务在每个
节点边界检查状态停下保持 PAUSED(当前节点执行完后才停);继续时从产物表
`restore_run_outputs`,剥去"节点ID."前缀还原输出名)重建已完成节点的输出,
**跳过已完成节点断点续跑**,最后补做 final_outputs 收尾。
- **重启恢复**:进程被杀/重启时遗留的 RUNNING 任务在启动时被
`recover_interrupted_runs` 恢复为 QUEUED(保留产物),调度器自动断点续跑;
PAUSED 任务保持不变,等待显式 resume。
- **节点级断点(subtitle-ocr**OCR 每帧完成后立即把 `{frame, text}` 追加到
`steps/ocr/ocr_partial.jsonl`(多线程下加锁串行化)。invoke 启动时读取存档,
只对未处理帧调用 vlm-ocr,存档文本与新增结果合并后组装 SRT——2 小时视频级
OCR 任务中断/重启后不重复已处理帧,产物与一次跑完逐字节一致。
- **节点内暂停响应(subtitle-ocr)**:暂停接口(`POST /api/runs/{run_id}/pause`
除置 PAUSED 外还向 run 根目录写入 `paused.flag`OCR 工作线程**逐帧检查**该
信号,存在即立即中止(不 OCR、不入存档,恢复时重跑该帧),invoke 返回
failed;调度器捕获节点异常时若任务已是 PAUSED 则**保持 PAUSED 不标 FAILED**
resume 时清除信号并从断点存档继续——点击暂停后 OCR 秒级停下,不再等整个
节点跑完。继续/重试接口与调度器执行前都会清理残留信号。
- **前端**:任务管理页为 QUEUED/RUNNING 提供"暂停"、PAUSED 提供"继续"按钮。
## 进度日志(数据处理速度)
- 调度器:每节点完成打印"任务 X 进度 i/N 节点: Y 耗时 Zs, 运行累计 Ws"
- subtitle-ocr`OCR 进度 X/Y 帧 (Z 帧/s, 平均 Ws/帧, 线程 N/M)`
llm-filter`字幕判定进度 X/Y 条 (Z 条/s, 平均 Ws/条, 线程 N/M)`
——`W` 为最近窗口平均单任务耗时(窗口未满时回退累计平均),`N` 为当前目标
线程数、`M``pool_max_workers` 上限,用于判断多线程是否因单次处理过慢
(窗口平均 ≥ `pool_fast_threshold`)而未扩容(线程池 `on_progress` 回调,
每任务完成触发);
- whisper:分块转写打印"分块 X/Y 完成 offset=... 耗时 Zs (Nx 实时, 累计 ...s)"
- frame-extractffmpeg `-progress` 输出解析 `frame=N`,打印"抽帧进度 X/Y 帧 (Z 帧/s)"。
## 文件夹批量处理
本地版核心能力:**不把视频上传到工作目录**,直接读取用户所选文件夹下的全部
视频,逐个执行所选流水线。入口为批量处理页(`web/batch.html`,导航"批量处理"),
后端为 `src/wov_app/batch.py``BatchWorker`(单线程轮询线程,处理
`source=batch` 的运行,与主调度器互不抢占)与 `routers/batch.py`
- **路径选择**:批量页点击"选择文件夹…"按钮弹出目录树选择器(懒加载),选完
回填只读路径框。浏览器拿不到所选文件夹的绝对路径,因此由**本地后端**提供目录
浏览:`GET /api/batch/roots`Windows 盘符 / POSIX 根 + 家目录)、
`GET /api/batch/dirs?path=`(列直接子目录,隐藏目录过滤;不存在/不可读返回
空列表不报 500)。只暴露目录名,不返回文件内容。
- **创建任务时一次性定位(2026-09 起)**`POST /api/batch/jobs {folder,
workflow_id, recursive}` 只扫描一次文件夹并把每个视频登记为 `batch_videos`
明细(PENDING/RUNNING/PAUSED/COMPLETED/FAILED/SKIPPED)。**视频所在目录
(视频旁)若已存在文件名含视频名的字幕文件**(`.srt/.ass/.ssa/.vtt`
`list_sidecar_subtitles` 判定,如 `movie.CN.srt`、`movie.CN_dual_eye.ass`),
说明该视频已有字幕,创建即记 **SKIPPED**——不为它触发任何流水线。运行时
`BatchWorker` **只消费这批已定位的明细,不再重新扫描文件夹**(运行期间新增/
删除的视频不会改变本次任务的范围)。校验失败(文件夹不存在/未发布工作流/
无版本/一个视频都没有)返回 422。
- **产物放在视频旁**:每个视频处理完成后,把工作流 `final_outputs` 对应的最终
产物文件(字幕流水线即中文 `.srt` 与双目 `.ass`**复制一份到视频所在目录**
与 .mp4 放在一起(`_place_products`)。文件名**对齐媒体库既有约定**:中文字幕
存为 `<视频名>.CN.srt`、双目字幕存为 `<视频名>.CN_dual_eye.ass`(稳定无时间戳,
`_sidecar_product_name` 映射,其余扩展名产物保留原文件名;同名目标直接覆盖)。
文件名含视频主名,下次批量扫描会命中"已有字幕"规则直接跳过该视频。
- **成品放置校验(审查 R03)**:先预检全部 `final_outputs` 对应的记录与文件,
缺任一项即失败,不开始覆盖视频旁成品;全部齐备后逐文件原子替换。复制失败时
视频记 FAILED,保留 run、工作空间和已放置的完整成品,供修复后幂等重试。
原子替换保证单文件完整,不代表多个成品的跨文件事务或断电持久性。详见
[代码审查问题跟踪.md](./代码审查问题跟踪.md#r03-修复记录)。
- **过程文件清理(2026-09 起)**:视频收尾完成后删除该视频的整个工作空间与
run 记录(音频/分块/帧图/节点产物不留残),防止媒体库把切片数据当视频入库。
工作空间位于**应用私有目录** `data/storage/batch/<job_id>/<bv_id>/`
(不再放视频同名文件夹),与用户视频库天然隔离;暂停/失败的视频保留工作空间
以便断点续跑。per-video 的 `WorkflowScheduler` 实例以该目录为 storage——
完整复用 DAG 拓扑执行、产物表登记与**断点续跑**逻辑。
- **暂停/继续**`POST /api/batch/jobs/{id}/pause` 把任务置 PAUSED 并暂停当前
run(写 `paused.flag`whisper **分块间**检查、OCR 逐帧检查后中止,当前节点
执行完才停);`resume` 恢复 QUEUED,引擎从断点继续——PAUSED 视频的 run 显式
resume 后从产物表续跑,未开始的视频接着处理。重启进程后 RUNNING 残留 run 由
`recover_interrupted_runs` 恢复,暂停的继续处理。
- **失败容错**:单个视频失败(节点失败/文件缺失)记为 FAILED,批量任务继续
处理后续视频,结束后统计 done/failed;DAG 解析/任务级异常把任务置 FAILED。
**重跑保留产物**2026-08,修复 run_e2b74e89e232 实测):FAILED 视频重新处理
时不再 reset_run 清空产物记录,而是保留已完成节点的 artifacts 恢复 QUEUED
execute_run 从产物表跳过已完成节点、只重跑失败节点——extract/ocr 等长耗时
成果不浪费;配合 llm-filter/OCR 的节点级断点存档,失败节点自身也只重判未完成
条目。前端对"部分失败"COMPLETED 且 failed>0)用红色徽章醒目标示。
- **完成任务判定(2026-09 修复)**:`_run_job` 置 COMPLETED 前**校验全部非
SKIPPED 视频都已结束**(无 PENDING/PAUSED 残留),否则保持 RUNNING 交引擎
下一轮续跑——修复僵尸状态:引擎串行处理到 9.9GB 大视频时中断,`_run_job`
无条件收尾把任务置 COMPLETED,留下"N 个 PENDING 待处理却已完成"的假完成
batch_969fabe74b83 等 3 个任务实测:遗留的 10 个 PENDING 完全相同且卡在
kiwvr-887 大文件前)。**崩溃恢复**:重启时除 `recover_interrupted_runs` 外,
新增 `recover_interrupted_batch_jobs` 把 RUNNING 的批量任务恢复为 QUEUED
(否则停在 RUNNING 的批量任务永远不会被 `next_queued_batch_job` 再次拾起,
未处理完的 PENDING 永久残留)。历史僵尸数据修复脚本见
`scripts/fix_zombie_batch_jobs.py`(把误标 COMPLETED 的任务置回 QUEUED 续跑)。
- **产物下载**`GET /api/batch/jobs/{id}/videos/{vid}/download?alias=<文件名>`
解析并返回视频旁的字幕文件;旧版 `batch.done.json` 完成标记里的语义别名
(位于旧 work_dir)仍兼容可下载。详情/创建响应里每个视频的 `finals` 合并上述
两处来源。
- **孤儿清理保护**`source=batch` 的运行**跳过**自动清理——其 run 位于私有
`storage/batch/...` 下,普通孤儿逻辑会误判删除,且 `_remove_run` 还会删除
`input_uri` 的父目录(用户的整个视频文件夹)。详见
[代码审查问题跟踪.md](./代码审查问题跟踪.md#r01-修复记录)。
- **删除任务**`DELETE /api/batch/jobs/{id}` 清理数据库记录(含关联 run)与
应用私有工作空间残留;视频旁已放置的产物属于用户数据,保留不删。
- **环境变量**`WOV_BATCH_ENABLED`(默认 1)、`WOV_BATCH_INTERVAL_SECONDS`
(默认 1.0),完整列表见 [configuration.md](./configuration.md)。
## 相关文档
- 环境变量全表:[configuration.md](./configuration.md)
- 产物命名与 finalization 规则:[workflows.md](./workflows.md#最终产物命名)
- 历史缺陷与修复记录:[代码审查问题跟踪.md](./代码审查问题跟踪.md)
+186
View File
@@ -0,0 +1,186 @@
# 测试
测试代码位于 `tests/`,运行方式:
```bash
uv run pytest # 全部测试
uv run pytest tests/nodes/test_whisper # 只跑某个模块目录
uv run pytest tests/app/test_routers # 只跑某组 API 测试
uv run pytest --cov=src --cov=nodes # 需要覆盖率时手动追加
```
测试的**规则要求**写在 [../AGENTS.md](../AGENTS.md#测试规则):模块边界、
按模块组织、数据/过程/验证三段结构、功能覆盖优先、真实数据与真实生产代码。
## 目录结构与模块对应
测试按**模块**组织:被测代码的层级与模块名直接映射到 `tests/` 下的目录。
一个模块 = 一个模块目录;单文件过长时在模块目录**内部**按行为拆文件。
```
tests/
├── nodes/ # 对应 nodes/
│ ├── test_srt/ # SRT 解析/序列化(parsing + data/
│ ├── test_whisper/ # 转写:模型解析/分块/时间轴/幻觉清洗
│ ├── test_ass/ # SRT → VR 双目 ASS
│ ├── test_ffmpeg/ # ffmpeg 定位 + 提音(真实视频)
│ ├── test_frame_extract/ # 抽帧/crop/帧号排序(含 frames_boundary 回归)
│ ├── test_vlm/ # 单帧 OCR(真实图片 + Ollama 集成)
│ ├── test_subtitle_ocr/ # 逐帧 OCR 汇总、断点、暂停(14236 帧夹具)
│ ├── test_llm/ # 翻译:ID 对齐/重试/专名注入
│ ├── test_llm_filter/ # 规则层 + LLM 层(真实 OCR 回归数据)
│ ├── test_subtitle_cleanup/ # 幻觉删除 + 短呻吟过滤
│ ├── test_subtitle_correction/# 领域纠错(上下文/误听泛化)
│ ├── test_proper_nouns/ # 专名/隐语规则表
│ ├── test_adaptive_pool/ # 自适应并发额度
│ ├── test_vad_profiler/ # VAD 信号分析与评分
│ └── test_echo/ # 示例节点
├── app/ # 对应 src/wov_app/
│ ├── test_db/ # SQLite Repository
│ ├── test_scheduler/ # DAG 调度、断点、暂停
│ ├── test_batch/ # 批量扫描/放置/引擎
│ ├── test_maintenance/ # 孤儿清理
│ ├── test_registry/ # 节点注册表(唯一调用入口)
│ ├── test_seed/ # 内置工作流加载
│ ├── test_storage/ # 原子复制
│ ├── test_config/ # 环境变量与路径(子进程验证)
│ ├── test_logging/ # 日志配置
│ ├── test_main/ # 应用装配与生命周期
│ └── test_routers/ # 三组 APIapps / workflows / batch
├── sdk/test_models/ # 对应 src/wov_sdk/(协议数据模型)
├── web/test_crop/ # 对应 web/assets/(框选几何换算)
└── shared/ # 跨模块公共设施
├── realdata_contract.py # 真实数据契约与对齐量化
├── srt_entries.py # 按秒解析 SRT
├── env_isolation.py # 环境/临时目录隔离
├── data/alignment/ # 跨模块共享的真实素材 + 参考字幕
├── test_srt_entries/ # 公共设施自身的模块测试
└── test_alignment/ # 真实语音时间对齐集成测试
```
规则要点(完整表述见 [../AGENTS.md](../AGENTS.md#测试规则)):
- 每个模块目录含 `__init__.py`,因此不同模块下的同名测试文件可共存。
- 每个测试写成**数据 → 测试过程 → 验证结果**三段,可单独运行。
- **不保留全局 `conftest.py`**(已删除):隔离由模块自己的 fixture 完成
`tests/shared/env_isolation.py` 或模块内 `fixture`)。
- 测试过程调用真实生产代码(`nodes/``wov_app``wov_sdk`),
只自行构建测试数据并验证输出;mock 仅用于 I/O 边界与模型推理。
## 测试数据
测试媒体一次性准备后**随模块目录入库**,测试直接复用,禁止在执行时现场生成;
缺失时跳过而非现场生成。小体量数据(JSON 片段、期望输出)直接写在测试代码内。
| 素材 | 内容 | 归属模块 |
| --- | --- | --- |
| `data/speech_60s.wav` | 真实语音(合法 16kHz 单声道 WAV) | `tests/nodes/test_whisper/` |
| `data/clip_with_audio.mp4` | 10 秒真实视频 + 真实语音音轨(提音用例) | `tests/nodes/test_ffmpeg/` |
| `data/subtitle_10s.mp4` | 烧录 SUB 001/SUB 002 的 10s 视频(无音轨,验证失败路径) | `tests/nodes/test_ffmpeg/``tests/nodes/test_frame_extract/` |
| `data/frames_boundary/*.png` | 跨越 9999 帧边界的真实帧文件名(14236 帧事故回归) | `tests/nodes/test_frame_extract/` |
| `data/ocr_text.png` / `ocr_notext.png` | 有文字帧 / 无文字帧 | `tests/nodes/test_vlm/` |
| `data/test_real_hav_sub.png` | 真实视频字幕截图(期望识别出"还有没有什么困扰 或者奇怪的地方吗") | `tests/nodes/test_vlm/` |
| `data/ocr_srt_run_ac7f480a3ccb.srt` | 真实任务 1666 条 OCR 输出(规则层回归基线) | `tests/nodes/test_llm_filter/` |
| `data/frames_manifest_full.json` + `ocr_frames_full.json` | 真实任务 **全部 14236 帧**清单与逐帧 OCR 文本 | `tests/nodes/test_subtitle_ocr/` |
| `data/sample.reference.srt` | 真实参考字幕(5 条,含装饰行) | `tests/nodes/test_srt/` |
| `data/alignment/*.mp4` + `*.reference.srt` | 真实音视频 + 人工校对参考字幕(大体积 mp4 已 gitignored | `tests/shared/data/alignment/` |
| `scripts/data/translate_eval/*.jsonl` | 翻译模型评测集(评测脚本专用) | `scripts/` |
## 真实模型集成测试
使用真实模型/服务 + 真实素材验证端到端行为;本地缺模型或素材时跳过,
有则必须执行,作为对替身单测的校准。
**外部环境状态的两种处理**(都不算代码缺陷):
| 状态 | 处理 |
| --- | --- |
| 未配置密钥、账户余额/配额、限流(HTTP 401/402/403/429)、服务不可达 | `tests/shared/llm_service.py` 统一识别并跳过 |
| GPU 显存不足 / CUDA OOM | `tests/shared/gpu_memory.py` 运行时探测并跳过 |
`gpu_memory` 的两层防护:运行前按权重体量估算(实测 V2 权重 2.87GB → 峰值
增量约 4.1GB,系数 1.45)判断能否跑完;运行中若仍发生 CUDA OOM(临界卡上
的分配碎片化)则转为跳过。`fits_with_margin()` 进一步区分"显存充裕"与"临界"
充裕时走生产默认的分块路径,临界时退化为整段单次推理,避免整组跳过。
**权重版本**:测试只使用 **V2** 权重。V3 已全面停用(均改用 V2),即使留在
盘上也不得被测试使用;判据是 `preprocessor_config.json``feature_size`
V2=80V3=128),不依赖目录名。
| 模块目录 | 覆盖内容 |
| --- | --- |
| `tests/nodes/test_whisper/` | 真实 faster-whisper **V2** 模型端到端转写 |
| `tests/nodes/test_vlm/` | 真实 Ollama glm-ocr(有文字帧 + 无文字帧) |
| `tests/nodes/test_subtitle_ocr/` | 真实 14236 帧清单重组装一致性 |
| `tests/nodes/test_llm/` | 真实 LLM 翻译(专名不硬译) |
| `tests/nodes/test_llm_filter/` | 真实 OCR 输出规则层回归(保留 863 / 删除 803 基线) |
| `tests/nodes/test_subtitle_correction/` | 真实 LLM 误听泛化 |
| `tests/shared/test_alignment/` | 真实语音转写 vs 人工参考字幕的时间对齐量化 |
## 功能模块覆盖清单
规则要求**追求功能性代码覆盖率 100%、每个独立功能模块必须被测试覆盖**
(不追求行覆盖率 100%,大模块内辅助函数由主功能用例顺带覆盖即可,
完整表述见 [../AGENTS.md](../AGENTS.md#功能覆盖优先不追求代码覆盖率))。
本表是新增/修改模块时的核对清单:**新增独立功能模块必须同时补测试并更新本表**。
| 模块 | 职责 | 覆盖测试 | 状态 |
| --- | --- | --- | --- |
| `nodes/echo.py` | 示例回显节点 | `tests/nodes/test_echo/` | 已覆盖 |
| `nodes/ffmpeg.py` | 提音与 ffmpeg 定位 | `tests/nodes/test_ffmpeg/`(真实视频) | 已覆盖 |
| `nodes/whisper.py` | 转写、分块、模型解析、清洗入口 | `tests/nodes/test_whisper/`(含真实模型)+ `tests/shared/test_alignment/` | 已覆盖 |
| `nodes/llm.py` | LLM 翻译节点 | `tests/nodes/test_llm/`(含真实 LLM | 已覆盖 |
| `nodes/ass.py` | SRT → VR 双目 ASS | `tests/nodes/test_ass/` | 已覆盖 |
| `nodes/vlm.py` | 单帧 OCROllama | `tests/nodes/test_vlm/`(含真实模型) | 已覆盖 |
| `nodes/frame_extract.py` | 抽帧与 crop | `tests/nodes/test_frame_extract/`(真实视频 + 帧号边界) | 已覆盖 |
| `nodes/subtitle_ocr.py` | 逐帧 OCR → 汇总 SRT、断点/暂停 | `tests/nodes/test_subtitle_ocr/`14236 帧) | 已覆盖 |
| `nodes/adaptive_pool.py` | 自适应并发线程池 | `tests/nodes/test_adaptive_pool/` | 已覆盖 |
| `nodes/llm_filter.py` | 字幕规则/LLM 两级过滤 | `tests/nodes/test_llm_filter/` | 已覆盖 |
| `nodes/subtitle_cleanup.py` | 幻觉与短呻吟清洗 | `tests/nodes/test_subtitle_cleanup/` | 已覆盖 |
| `nodes/subtitle_correction.py` | 字幕领域纠错 | `tests/nodes/test_subtitle_correction/` | 已覆盖 |
| `nodes/proper_nouns.py` | 专名/隐语规则表 | `tests/nodes/test_proper_nouns/` | 已覆盖 |
| `nodes/srt.py` | SRT 解析/序列化/时间戳 | `tests/nodes/test_srt/` | 已覆盖 |
| `nodes/vad_profiler.py` | VAD 信号分析与评分 | `tests/nodes/test_vad_profiler/` | 已覆盖 |
| `wov_app/registry.py` | 节点注册表(唯一调用入口) | `tests/app/test_registry/` | 已覆盖 |
| `wov_app/scheduler.py` | DAG 调度与断点续跑 | `tests/app/test_scheduler/` | 已覆盖 |
| `wov_app/batch.py` | 文件夹批量引擎 | `tests/app/test_batch/` | 已覆盖 |
| `wov_app/db.py` | SQLite Repository | `tests/app/test_db/` | 已覆盖 |
| `wov_app/main.py` | 应用装配与生命周期 | `tests/app/test_main/` | 已覆盖 |
| `wov_app/routers/apps.py` | 用户端 API | `tests/app/test_routers/test_apps_api.py` | 已覆盖 |
| `wov_app/routers/workflows.py` | 管理端工作流 API | `tests/app/test_routers/test_workflows_api.py` | 已覆盖 |
| `wov_app/routers/batch.py` | 批量任务 API | `tests/app/test_routers/test_batch_api.py` | 已覆盖 |
| `wov_app/seed.py` | 内置工作流加载 | `tests/app/test_seed/` | 已覆盖 |
| `wov_app/maintenance.py` | 孤儿数据清理 | `tests/app/test_maintenance/` | 已覆盖 |
| `wov_app/storage.py` | 原子复制 | `tests/app/test_storage/` | 已覆盖 |
| `wov_app/config.py` | 路径与环境配置 | `tests/app/test_config/`(子进程验证真实解析) | 已覆盖 |
| `wov_app/logging.py` | 日志装配 | `tests/app/test_logging/` | 已覆盖 |
| `wov_app/schemas.py` | 请求模型(Pydantic | `tests/app/test_main/`schema 用例) | 已覆盖 |
| `wov_sdk/models.py` | 协议数据模型 | `tests/sdk/test_models/` | 已覆盖 |
| `web/assets/crop.js` | 框选几何换算 | `tests/web/test_crop/`(真实 node 执行) | 已覆盖 |
| `tests/shared/srt_entries.py` | 按秒解析 SRT(测试公共设施) | `tests/shared/test_srt_entries/` | 已覆盖 |
| `tests/shared/realdata_contract.py` | 真实数据契约与对齐量化 | `tests/shared/test_alignment/` | 已覆盖 |
| `tests/shared/env_isolation.py` | 环境/临时目录隔离 | 被 `tests/app/test_config` 等间接覆盖 | 已覆盖(间接) |
核对方式(查看某模块是否真被执行):
```bash
uv run pytest tests/ -q --cov=wov_app --cov-report=term-missing
```
## 重构历史(已完成)
按新规则对 `tests/` 做了一次完整重写:旧平铺测试(40 个文件、约 10900 行)
已删除,旧内容仅作为**参考与测试数据来源**;现有测试全部按模块目录重写。
重构期间发现并修复的真实缺陷:
| 缺陷 | 发现方式 | 修复 |
| --- | --- | --- |
| `parse_srt` 在相邻条目缺少空行时把下一条时间轴吞进正文(静默错位) | `tests/nodes/test_srt/` 的红灯用例 | 正文行遇时间戳行即报错(`nodes/srt.py` |
| `scheduler._file_size` 只捕获 `OSError`,含 `\\x00` 的产物 URI 抛 `ValueError` 导致任务误判失败 | `tests/app/test_batch/` 端到端用例 | 同时捕获 `ValueError``src/wov_app/scheduler.py` |
| 生产节点 `subtitle_correction` 依赖测试包 `tests.realdata_contract` 解析 SRT | 模块化拆分时发现 | 改用生产模块 `nodes/srt.py` 的严格解析器 |
## 相关文档
- 测试规则(模块边界、三段结构、功能覆盖、TDD):[../AGENTS.md](../AGENTS.md#测试规则)
- 缺陷回归要求与验收标准:[代码审查问题跟踪.md](./代码审查问题跟踪.md)
- 模型/参数选择的实验依据:[decisions.md](./decisions.md)
+68
View File
@@ -0,0 +1,68 @@
# 内置工作流
工作流是**数据**:默认定义存放在 `workflows/*.json`,启动时由 seed 写入
workflow_versions 表;切换模型或调整链路只改数据,不改代码。
## 工作流一览
| ID | 名称 | 链路 | 说明 |
| --- | --- | --- | --- |
| `zh-direct` | 中文直出字幕 | 提音 → 中文转写 → ASS | 中文直出模型,无 LLM 步骤 |
| `ocr-subtitle` | 字幕OCR提取 | 抽帧 → 逐帧 OCR → 汇总 SRT → LLM 过滤 | 提取烧录字幕做基准数据;前端框选 crop;LLM 过滤多余/无意义字幕 |
| `learn-translate` | 学习资料转译+翻译字幕 | 提音 → 转写(decode_full) → LLM 翻译 → ASS | 面向讲解/学习类视频;应用 decode_full 无 VAD 整段解码 + 日语幻觉清洗,优先"说了的话不漏"(弱语音/快速讲解召回),再由幻觉清洗移除无语音段长套话 |
## 工作流参数标注约定
JSON 不支持注释,因此"参数理由"以节点 `params``_note_<参数名>` 键存放
`_` 前缀说明键,节点执行时只读真实参数键、忽略 `_note_*`,零运行影响);
节点级参数手册放 `params._node_help`(多行字符串,含关键参数解释与正反例)。
`WorkflowNode.from_dict` 会完整保留 params 全部键(不清洗未知键),seed 入库/
前端展示均不丢。查看方式:管理后台/工作流编排页打开工作流 definition JSON
即可见每个参数旁的理由说明。该约定由 learn-translate 示范,可复用到任何工作流。
## decode_full 与幻觉/呻吟清洗
**decode_full 参数**faster-whisper 节点):默认 `false`(保持 VAD 现状);
`true` 时强制无 VAD 整段解码并跳过自动 VAD 分析,救回被 silero VAD 当非语音剔除的
弱语音/呻吟/BGM 混叠人声(实测 savr-1054 全片 115 条 → 340 条),副作用为无语音段
长时寒暄幻觉,处理方式:whisper 转录后立即**连带时间戳把整条 cue 删除**(剩余重编号,
`nodes/subtitle_cleanup.py``clean_japanese_hallucinations`),不留下 `-` 占位污染
下游(占位会渲染进 ASS 成可见减号);llm-translate 翻译后同样整条删除中文长时寒暄
幻觉(`clean_srt_text`)。短时(≤15s)相同词可能是剧情真实道晚安,保留。
**短呻吟过滤**2026-09):decode_full 救回的弱语音中混有大量**纯语气词碎片**
(あ…/ん?/はぁ…/あ!あ!/んふふ 等 ≤3 假名),影响字幕观感;whisper 转录后按
'全部字符 ∈ 纯呻吟字符集合(`MOAN_CHARS`)且有效假名数 ≤ `short_moan_max_chars`(默认 3,设 0 关闭)'
判据**整条删除**`remove_short_moan_entries`)。集合刻意排除 そ/こ/ね/や/ば/だ
等假名,真实短对话(そこ/やばい/ねえ/やだ/えへへ)天然不命中。仅 decode_full
生效,learn-translate 等 VAD 链路不受影响。
调研过程与结论见 [调研-whisper漏句与decode_full验证.md](./调研-whisper漏句与decode_full验证.md)。
## 切换模型不改代码
- 模型是工作流 DAG 中 asr 节点的 `model_path` 参数(**数据**),内置工作流
均已显式声明:learn-translate 用 `faster-whisper-large-v2`
zh-direct 用中文直出模型。
- 切换模型 = 改 `workflows/*.json` 或管理页面 DAG JSON → 保存新版本 → 发布,
全程不涉及代码;新库启动时从 JSON 重新 seed。
- 默认工作流定义存放在 `workflows/*.json`(数据文件),代码只负责加载。
- 模型解析顺序与本地权重目录见
[node-protocol.md](./node-protocol.md#模型权重解析本地优先)。
## 最终产物命名
最终产物按 `上传文件名.标识.时间戳` 命名(如 `test01.zh-CN.20260815123000.srt`),
标识优先取节点的 `target_language` 参数,否则用产物别名。**审查 R03 修复**:
保留节点原始文件及 URI,把成品副本存入 `runs/<run_id>/finals/output-<编码别名>/`
时间戳固定取 run 创建时间,重复收尾覆盖相同路径,多个别名分目录避免冲突。
复制先写同目录临时文件,再原子替换目标,失败不登记残缺文件;`final_outputs`
声明的引用或文件缺失时任务失败,不能标完成。旧版本原文件已改名但最终别名记录
仍指向有效文件时允许复用;原文件与成品都丢失时明确报错。批量场景下成品还会
复制到视频旁,命名约定见 [operations.md](./operations.md#文件夹批量处理)。
## 相关文档
- 节点参数与 I/O[node-protocol.md](./node-protocol.md)
- 默认模型选择与例外:[decisions.md](./decisions.md)
- 环境变量(`LLM_MODEL` 等):[configuration.md](./configuration.md)
+2 -2
View File
@@ -40,9 +40,9 @@
- 根因:普通任务删除接口未区分 `source=batch`,直接递归删除 `Path(input_uri).parent`;自动清理器也使用输入路径推导删除目录。
- 处理约定:普通删除接口拒绝批量 run(422),提示通过批量任务入口删除;上传任务只清理 `<storage>/uploads/<run_id>``<storage>/runs/<run_id>`。批量任务已有专用删除入口,保留源视频和视频旁成品。
- 测试要求:使用 `testdata/` 真实视频与字幕副本、临时数据库及私有存储;覆盖批量任务拒绝删除、正常上传清理、历史外部输入路径保护和自动清理路径保护。
- 测试要求:使用各模块 `data/` 下的真实视频与字幕副本、临时数据库及私有存储;覆盖批量任务拒绝删除、正常上传清理、历史外部输入路径保护和自动清理路径保护。
- 实现:[普通删除接口](../src/wov_app/routers/apps.py) 在删除前拒绝批量 run[自动清理器](../src/wov_app/maintenance.py) 和普通接口均按私有目录布局定位清理范围。
- 回归测试:[test_run_deletion_safety.py](../tests/test_run_deletion_safety.py),覆盖五种状态的批量 run、外部输入路径与旁挂字幕保护、其他任务目录保护
- 回归测试:`tests/app/test_batch/`(批量删除与旁挂字幕保护)、`tests/app/test_maintenance/`(自动清理路径保护)、`tests/app/test_routers/test_apps_api.py`(删除接口拒绝批量 run)。测试代码已按模块化重构,原平铺文件 `tests/test_run_deletion_safety.py` 已删除,用例覆盖范围不变(详见 [testing.md](./testing.md#重构历史已完成)
- TDD 红:`uv run pytest tests/test_run_deletion_safety.py -q --tb=short`7 failed;批量 run 被错误删除,两个外部路径用例复现媒体文件丢失。
- TDD 绿及相关回归:`uv run pytest tests/test_run_deletion_safety.py tests/test_apps_api.py tests/test_batch.py tests/test_maintenance.py -q`73 passed7.73 秒;仅有既存 Starlette/httpx 弃用警告。
- 状态:修复及验证完成,纳入 `fix/review-improvements` 分支;未部署。运行中的旧进程需加载新代码后才能获得保护。
@@ -13,7 +13,7 @@
用户反馈:whisper 转写时**动态配置参数**(自动 VAD 调参),生成的字幕中有时出现
"有人说话但没识别出来"的情况,怀疑与动态参数配置有关。
链路(demo/learn-translate):提音(ffmpeg-extract) → 转写(faster-whisper) → 翻译(llm) → ASS。
链路(当时为 demo/learn-translatedemo 已于 2026-09 移除):提音(ffmpeg-extract) → 转写(faster-whisper) → 翻译(llm) → ASS。
whisper 节点关键动态逻辑(改动前):
- `vad_filter=true`(默认开启)