From 742a03ab615e821e8c6aeb3dc56e35e78dedad80 Mon Sep 17 00:00:00 2001 From: cat <1716967236@qq.com> Date: Sun, 18 Oct 2026 17:58:04 +0800 Subject: [PATCH] =?UTF-8?q?docs:=20=E5=BD=92=E6=A1=A3=E6=8F=90=E9=9F=B3?= =?UTF-8?q?=E8=AF=BB=E9=80=9F/=E5=A3=B0=E9=81=93=E6=8B=86=E5=88=86/?= =?UTF-8?q?=E8=BF=90=E8=A1=8C=E6=97=A5=E5=BF=97=E7=9A=84=E6=8E=92=E6=9F=A5?= =?UTF-8?q?=E7=BB=93=E8=AE=BA?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - 提音 1–5Mb/s:实测 rchar 仅为全文件 2.3%,只读音轨;慢在 CIFS 随机读 + 4 路并发,非瓶颈 - 左右声道分别转写:实测否决(三路 A/B 无字幕收益、成本翻倍),维持 -ac 1 - 节点开始日志过长:_note_*/_node_help 被整体打印,改法已列、代码未改 - 新增专题文档,并同步 README/AGENTS 索引、node-protocol 指引与 learn-translate 的 _note_channels --- AGENTS.md | 1 + README.md | 1 + docs/decisions.md | 17 +++ docs/node-protocol.md | 2 +- docs/优化-提音IO声道与运行日志.md | 172 ++++++++++++++++++++++++++++++ workflows/learn-translate.json | 2 +- 6 files changed, 193 insertions(+), 2 deletions(-) create mode 100644 docs/优化-提音IO声道与运行日志.md diff --git a/AGENTS.md b/AGENTS.md index d1ba3a5..f00b757 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -17,6 +17,7 @@ | 待办:翻译上下文复用与 ASR 语义纠错 | [docs/待办-翻译上下文复用与语义纠错.md](./docs/待办-翻译上下文复用与语义纠错.md) | | 字幕重生成的成本/耗时/功率实测 | [docs/实验数据-字幕重生成成本与耗时.md](./docs/实验数据-字幕重生成成本与耗时.md) | | 字幕审校(定位+定向修复)实验与暂缓结论 | [docs/实验数据-字幕审校定位与修复实验.md](./docs/实验数据-字幕审校定位与修复实验.md) | +| 提音读速、运行日志与声道处理的优化结论 | [docs/优化-提音IO声道与运行日志.md](./docs/优化-提音IO声道与运行日志.md) | **开工前先做两件事**:读 [README.md](./README.md) 建立项目认知, 再读 [docs/architecture.md](./docs/architecture.md#关键设计约束北极星不变式) diff --git a/README.md b/README.md index 18d643e..ae0818d 100644 --- a/README.md +++ b/README.md @@ -47,6 +47,7 @@ http://127.0.0.1:8000/docs API 文档 | [docs/实验数据-字幕审校定位与修复实验.md](./docs/实验数据-字幕审校定位与修复实验.md) | 字幕审校(定位+定向修复)的实测结果、成本与暂缓结论 | | [docs/VR双目字幕景深与遮挡调查报告.md](./docs/VR双目字幕景深与遮挡调查报告.md) | VR 字幕景深/遮挡方案的调研全文 | | [docs/调研-whisper漏句与decode_full验证.md](./docs/调研-whisper漏句与decode_full验证.md) | whisper 漏句与 decode_full 的实验记录 | +| [docs/优化-提音IO声道与运行日志.md](./docs/优化-提音IO声道与运行日志.md) | 提音读速(只读音轨/CIFS 随机读)、节点开始日志过长、左右声道分别转写的可行性 | | [docs/adaptive_vad.md](./docs/adaptive_vad.md) | 每视频自适应 VAD 调参方案 | | [docs/proper_nouns.md](./docs/proper_nouns.md) | 专有名词处理表 | diff --git a/docs/decisions.md b/docs/decisions.md index ab49f29..f326d4f 100644 --- a/docs/decisions.md +++ b/docs/decisions.md @@ -156,9 +156,26 @@ - **若将来重开**:方向应从翻译侧挪回 ASR 侧(只审日文、给候选读法;先建场景再对照), 那里才有声学证据;具体三个可测方向见实验文档第六节。 +## 提音阶段两个已排查项:读速 1–5Mb/s 与左右声道分别转写 + +- **读速疑问(2026-10)**:8K 素材提音时读速只有 1–5Mb/s,怀疑"把整个视频拉了一遍"。 + 实测该 ffmpeg 进程 `rchar` ≈ 全文件 **2.3%**(6.66GB 素材只读约 150MB)→ **只读了 + 音轨**;慢在音频 chunk 之间的 CIFS seek 与 4 路并发(同一文件顺序读对照 18.8MB/s), + 不是代码缺陷,也不是瓶颈(提音与转写并行、GPU 空闲)。**不要为提速去改 `-vn`/`-ac` + 或重跑这套排查**;可选提速手段(`-avioflags direct`、挂载预读参数、提高并发)均已 + 列在专题文档,未实测。 +- **左右声道分别转写(已否决,2026-10)**:素材是单条 stereo 流,L/R 实测**并不同源** + (逐窗口相关 0.28–0.68、最佳滞后相关 ≤0.79,合并电平比更响声道低 1.4–2.6dB), + 但整片三路转写 A/B 显示**字幕无系统性收益**:长句 91/91/87、覆盖时长 ±5%, + 7 分钟只发现 1 条单声道独占短句,而成本翻倍(全量约 +17–20 小时挂钟)。 + **结论:维持 `-ac 1`,不做拆声道**。若日后想抓独占短句,只做"合并结果出现长空档时 + 用较响声道回退"的低成本变体,不要重开"全量拆声道"路径。 +- 详细数据、脚本与产物:[优化-提音IO声道与运行日志.md](./优化-提音IO声道与运行日志.md)。 + ## 相关文档 - 当前生效的参数与协议:[node-protocol.md](./node-protocol.md) - 实验数据(成本/耗时、审校定位实验):[实验数据-字幕重生成成本与耗时.md](./实验数据-字幕重生成成本与耗时.md)、[实验数据-字幕审校定位与修复实验.md](./实验数据-字幕审校定位与修复实验.md) +- 提音读速/声道/日志的排查结论:[优化-提音IO声道与运行日志.md](./优化-提音IO声道与运行日志.md) - 运维语义与批量流程:[operations.md](./operations.md) - 缺陷 ID 与验收标准:[代码审查问题跟踪.md](./代码审查问题跟踪.md) diff --git a/docs/node-protocol.md b/docs/node-protocol.md index cc94ea9..1e8b852 100644 --- a/docs/node-protocol.md +++ b/docs/node-protocol.md @@ -10,7 +10,7 @@ | 节点 ID(node_type) | 输入 | 输出 | 说明 | | --- | --- | --- | --- | | `echo` | `text` / `file_uri` | `text`、`file_uri` | 示例节点,验证协议链路 | -| `ffmpeg-extract` | `video_uri` | `audio_uri`(WAV) | 参数:`sample_rate`、`channels` | +| `ffmpeg-extract` | `video_uri` | `audio_uri`(WAV) | 参数:`sample_rate`、`channels`(默认 `-ac 1` 平均合并;**为何不拆左右声道见 [优化-提音IO声道与运行日志.md](./优化-提音IO声道与运行日志.md)**,已实测否决) | | `faster-whisper` | `audio_uri`(16kHz 单声道) | `srt_uri` | 参数:`language`、`task`、`model_path`、`device`、`compute_type`、`beam_size`、`vad_filter`(默认开)、`condition_on_previous_text`、`chunk_seconds` | | `llm-translate` | `srt_uri` | `cn_srt_uri` | 参数:`target_language`、`model`、`unload_after`。`unload_after` 控制节点结束后是否卸载本地模型释放显存(默认:端点在本机时卸载,云端不卸载)。支持**节点内暂停**:run 根目录有 `paused.flag` 时翻译在批边界(20 行/批)中止并返回 failed,调度器保持 PAUSED;批量分块流水线期间引擎写 `keep_model.flag`,此时不卸载模型(阶段结束由引擎统一释放) | | `vlm-ocr` | `image_uri` | `text`、`text_uri` | 直接调本地 Ollama 多模态模型(glm-ocr)的 `/api/chat` 做视频帧 OCR(流式 + 5s 上限),参数:`model`、`ollama_host`、`prompt`、`timeout_seconds`、`keep_alive`、`num_predict`、`temperature`、`repeat_penalty` | diff --git a/docs/优化-提音IO声道与运行日志.md b/docs/优化-提音IO声道与运行日志.md new file mode 100644 index 0000000..0de522c --- /dev/null +++ b/docs/优化-提音IO声道与运行日志.md @@ -0,0 +1,172 @@ +# 优化:提音 I/O、声道处理与运行日志 + +本文件汇总三个已定位问题的**现象 / 原因 / 解决方案**:提音阶段读速偏低、 +节点开始日志过长、以及"是否该按左右声道分别转写"。所有数据均为本机实测, +代码位置对应 `nodes/ffmpeg.py` 与 `src/wov_app/registry.py`。 + +## 一、提音阶段读速只有 1–5Mb/s + +### 现象 + +批量任务中 `ffmpeg-extract` 阶段(`nodes/ffmpeg.py`)读素材的速度只有 +1–5Mb/s,看上去像"把整个视频都拉了一遍"。 + +### 原因:只读了音轨,慢在 CIFS 随机读 + +`-vn` 丢弃视频流后,MP4 解复用器按 sample 表 seek,跳过视频 sample, +**不会传输视频数据**。实测(`run_4a7caa0813c8`): + +| 项 | 值 | +| --- | --- | +| 素材 | `/mnt/fnOS/123/SAVR-1142/savr01142_1_8k.mp4`,6,661,734,368 B,2456.29s(41 分钟) | +| 视频流 | hevc,21.43 Mbps,147230 帧 | +| 音频流 | aac,256 kbps,48kHz,stereo,单条流 | +| 产物 | `steps/extract/audio.wav` = 78,603,000 B(理论 78,602,961 B,完整) | +| 该进程 `/proc//io` | 输出 78.6MB 时 `rchar` 约 **150MB = 全文件 2.3%** | +| 单进程读速 | **0.2–0.8 MB/s**(突发式),进程常驻 `D`(I/O 等待) | +| 4 路并发时 `enp3s0` 收包 | 4,677,290 B / 6s = **0.78 MB/s ≈ 6.2 Mbit/s** | +| 同一文件冷顺序 `dd`(64MiB) | **18.8 MB/s** | +| 挂载 | `//192.168.123.199/123 on /mnt/fnOS/123 type cifs (vers=3.0, cache=strict, actimeo=1, rsize=4194304)` | +| ffmpeg | 4.2.7(`/usr/bin/ffmpeg`) | + +结论:**读速慢不是读了视频,而是访问模式**——音频 chunk 之间夹着大量视频数据, +每个音频 chunk 都要 seek,CIFS 上每次 seek 都是网络往返;再叠加 4 路并发提音。 +对照顺序读 18.8MB/s 可知 NAS 带宽并未打满。 + +### 解决方案(均未执行) + +| 方案 | 说明 | 预期 | +| --- | --- | --- | +| 维持现状 | extract 与后续转写/翻译**并行**,且 extract 是 GPU 空闲阶段;实测 8 个视频提音 ≈7.8 分钟,被转写掩盖(见 [实验数据-字幕重生成成本与耗时.md](./实验数据-字幕重生成成本与耗时.md) 第六节) | 不改也非瓶颈 | +| `-avioflags direct` | 绕过 page cache,减少 CIFS 上的预读放大 | 未实测 | +| 挂载/内核预读参数 | `read_ahead_kb`、`actimeo`、`cache=loose` | 未实测,需 root,且影响其他读取方 | +| 提高提音并发度 | 提音是延迟受限而非带宽受限,加并发可能提高总吞吐 | 未实测(当前 4 路已把 NAS 打到 0.78MB/s) | +| 先拷本地再提音 | 6.66GB ÷ 18.8MB/s ≈ 6 分钟拷贝 + 本地提音 | 与现状 6.5 分钟相当,还占 6.6GB 本地盘,不划算 | + +优先级:低。单视频提音 ≈6.5 分钟,而同一素材的 ASR 阶段更长(HST 下约 +4.5 分钟/素材小时),提音不是流水线瓶颈。 + +## 二、节点开始日志过长 + +### 现象 + +`2026-10-18 16:31:22,180 [INFO] 节点 ffmpeg-extract 开始 run=... inputs={...} params={...}` +一行里塞进了 `_note_sample_rate`、`_note_channels`、`_node_help` 等参数说明, +`_node_help` 内含真实换行,一条 INFO 被撑成多行长文,连 `grep` 都被打断。 + +### 原因 + +- `src/wov_app/registry.py:84` 起把 `request.params` 整个 `%s` 打印。 +- workflow JSON 不支持注释,参数理由以 `_note_<参数名>`、`_node_help` 键存在 + `params` 内(约定见 [workflows.md](./workflows.md)),这些键会被原样传进日志。 + 各工作流的说明键体量: + + | 工作流 | 说明键字符数(按节点) | + | --- | --- | + | `learn-translate.json` | 3524(asr 2105、ass 561、extract 491、translate 367) | + | `ocr-subtitle.json` | 440(filter) | + | `zh-direct.json` | 0 | + +- 附带噪声:`nodes/subtitle_ocr.py:205` 每帧 `registry.invoke("vlm")`, + 每帧各产生一条"开始 + 完成"日志。 + +### 解决方案(未执行) + +1. **推荐**:`registry.invoke` 记录前过滤 `_` 前缀键(`_note_*` / `_node_help`), + 并对超长单值截断;完整 `inputs`/`params` 降到 DEBUG,用环境变量开关。 + 节点照常收到这些键(节点本就忽略它们),行为不变。 +2. 只过滤 `_` 前缀,真实参数仍全量 INFO 打印。 +3. 逐帧 `vlm` 调用日志单独降噪(同一 run 内重复调用只打首尾,或改由 + `subtitle_ocr` 汇总),与方案 1 独立。 + +## 三、左右声道分别转写是否可行 + +### 现状 + +`nodes/ffmpeg.py:56` 默认 `-ac 1`,由 ffmpeg 把 stereo **平均合并**为单声道, +再喂给 faster-whisper(whisper 只接受单声道)。抽查 3 个 8K VR 素材 +(`savr01142_1_8k`、`KAVR-522-A`、`13dsvr02017_2_8k`)都是**单条 AAC 256kbps +48kHz stereo 流**,没有左右独立音轨,所以"按声道分别转写"必须解码后自行拆声道。 + +### 实测:两声道并不同源(2026-10-18) + +抽样 6 个 8K VR 素材,各取 offset=600s 起的 120s,解码 stereo PCM 后逐 1 秒 +窗口统计(脚本与原始输出见 `data/experiments/stereo_check/`:`check_channels.py`、 +`check_channels_lag.py`、`run.log`、`run_lag.log`): + +| 素材 | L/R 相关(0 滞后) | 最佳滞后相关 | 最大滞后 | mid/side | 合并相对较响声道 | +| --- | --- | --- | --- | --- | --- | +| `savr01142_1_8k` | 0.679 | 0.744 | 0.8ms | 8.2dB | −1.42dB | +| `KAVR-522-A` | 0.525 | 0.665 | 4.4ms | 5.5dB | −1.88dB | +| `13dsvr02017_2_8k` | 0.532 | 0.790 | 0.4ms | 6.5dB | −2.27dB | +| `13dsvr01806_1_8k` | 0.278 | 0.379 | 4.9ms | 2.6dB | −2.62dB | +| `vrprd00198_1_8k` | 0.481 | 0.680 | 3.6ms | 5.2dB | −2.16dB | +| `savr01054_1_8k` | 0.477 | 0.730 | 3.3ms | 5.1dB | −2.21dB | + +结论: + +- **不是"同一信号的小延迟"**:最佳滞后只有 0.1–0.6ms(最大 5ms),对齐后相关 + 也只升到 0.38–0.79,远达不到同源;两声道是不同 mic/声像的真实双声道内容 + (VR 双耳混音),side 能量只比 mid 低 2.6–8.2dB。 +- **当前 `-ac 1` 平均合并不是无损**:合并后电平比更响的声道低 1.4–2.6dB,说明 + 存在部分抵消/梳状滤波;越是对声道差异大的素材(如 `13dsvr01806`)损失越大。 +- 未发现整体极性反转(0 滞后相关为正,反相相关恒为负值,属定义恒等式,不作为 + 证据)。 + +### 可行性判断(修正后) + +- **技术上可行**:两次提音各出一路 mono WAV——左 `-af "pan=mono|c0=c0"`、 + 右 `-af "pan=mono|c0=c1"`(ffmpeg 4.2 下 `channelsplit` 只 map 一路会报 + `Filter channelsplit:FR has an unconnected output`,不要用),再分别跑 whisper、 + 按时间轴合并去重。改动集中在 `ffmpeg-extract`(多一路产物)与 ASR 后的合并逻辑。 +- 原来"两声道同源、拆分无收益"的假设**已被实测否定**:声道差异显著,合并有 + 可测量的电平损失。但低相关并不等于"合并后人声变差"——相关性低也可能只是 + 混响/声像差异,因此下面用转写 A/B 直接检验字幕收益。 +- **成本**:ASR 约翻倍。按实测 ASR ≈12.9 分钟 / 5.1 素材小时(HST 后 ×1.8 ≈ + 23 分钟)推算,全量 187.86 小时待重生成会多出约 17–20 小时挂钟与相应电耗。 +- **低成本变体**(若 A/B 证明拆分确有收益):按段选能量更高的声道(1× ASR + 成本);或只对合并结果的空段回退查较响声道;或先做声道对齐再合并。 + +### 实测:三路转写 A/B(2026-10-18) + +素材 `/mnt/fnOS/123/test/kavr00328-1_seg_002.mp4`(423s,h264 29Mbps + +aac 256kbps stereo,多人左右声道分布典型样本),**整片**分别提音为当前合并 +(`-ac 1`)、仅左(`pan=mono|c0=c0`)、仅右(`pan=mono|c0=c1`), +再用生产 whisper 参数(`learn-translate` 的 asr 节点:large-v2、decode_full、 +HST 2.0、chunk 60s、beam 1、ja)各转写一次。 +脚本与产物:`data/experiments/stereo_check/ab_transcribe.py`、`ab*/transcript.srt`、 +`compare_ab.py`、`compare.log`、`ab.log`/`ab2.log`/`ab3.log`。 + +| 变体 | 条数 | 字数 | 字幕覆盖时长 | 长句(>4 字) | +| --- | --- | --- | --- | --- | +| 合并(现状) | 114 | 1163 | 257.2s | 91 | +| 仅左 | 120 | 1171 | 270.8s | 91 | +| 仅右 | 111 | 1117 | 254.5s | 87 | + +- 三路规模相当,**没有出现"合并漏掉整句"的系统性损失**:长句数 91/91/87, + 覆盖时长差异在 ±5% 内。 +- 差异集中在短促语气词(`あははは`/`あれ?`/`ねー`/`うんうん`/`かわいい`), + 属 ASR 对弱语音的正常不稳定;合并路有 9/114 条与左右都明显不同(<0.6 相似度), + 但同位置左右也互不相同。 +- **只发现 1 条"单声道独有"的长句**:仅右声道在 `0.0–2.5s` 有 `おー、リンパも`, + 合并与仅左都从 3.6s 才开始。说明确实存在声道独占内容,但频率极低 + (7 分钟 1 条)。 +- 合并路唯一独占的是片尾套话幻觉 `ご視聴ありがとうございました`,属应被幻觉清洗 + 移除的噪声,不计入收益。 +- 转写耗时(合并 53.3s / 仅左 24.3s / 仅右 89.3s)**不可比**:当时批量任务 + 正在争用 GPU,只能说明单路约 1 分钟量级。 + +### 结论 + +**按声道分别转写不值得做**:成本翻倍(全量约 +17–20 小时挂钟),换来的只是 +偶发的单声道独占短句(本样本 7 分钟 1 条),而长句召回、覆盖时长均无提升。 +维持 `-ac 1`。若日后想抓这类独占内容,走"只在合并结果出现长空档时用较响 +声道回退重试"的低成本变体,不必全量拆声道。 + +## 四、结论状态 + +| 问题 | 结论 | 状态 | +| --- | --- | --- | +| 提音读速 1–5Mb/s | 只读音轨(全文件 2.3%);慢在 CIFS 随机读 + 并发,非瓶颈 | 维持现状,优化方案未执行 | +| 开始日志过长 | `_note_*` / `_node_help` 被整体打印 | 方案已列出,代码未改 | +| 声道分别转写 | 三路 A/B:长句 91/91/87、覆盖 ±5%,仅 1 条单声道独占长句;成本翻倍 | **不做**,维持 `-ac 1` | diff --git a/workflows/learn-translate.json b/workflows/learn-translate.json index c0236b7..52e3e3d 100644 --- a/workflows/learn-translate.json +++ b/workflows/learn-translate.json @@ -14,7 +14,7 @@ "sample_rate": 16000, "channels": 1, "_note_sample_rate": "16000Hz 是 faster-whisper 训练采用的采样率;ffmpeg 提取时直接对齐可避免节点内二次重采样造成的时间轴误差与音质损失。正例:speech_60s.wav 即 16k 单声道,转写时间轴与素材严格一致。反例:若用 44100Hz,faster-whisper 会自动降采样,极端情况下边界样本插值引入轻微漂移。", - "_note_channels": "单声道是 whisper 输入要求;立体声转单声道由 ffmpeg 平均合并,避免人声在左右声道相位抵消(成人视频双声道常有人声偏置,合并后更清晰)。正例:CJOD-255 全程 BGM 覆盖仍能稳定提取人声。反例:保留双声道直接喂 whisper 会告警且浪费显存。", + "_note_channels": "单声道是 whisper 输入要求;立体声转单声道由 ffmpeg 平均合并。实测(2026-10)两声道并不同源(逐窗口相关 0.28–0.68,合并电平比更响声道低 1.4–2.6dB),但整片三路转写 A/B 无字幕收益(长句 91/91/87、覆盖 ±5%),成本翻倍,故维持合并;详见 docs/优化-提音IO声道与运行日志.md。正例:CJOD-255 全程 BGM 覆盖仍能稳定提取人声。反例:保留双声道直接喂 whisper 会告警且浪费显存;按声道拆分转写实测无收益。", "_node_help": "ffmpeg-extract 节点:把上传视频提取为 16kHz 单声道 WAV。\n关键参数:\n- sample_rate=16000:对齐 whisper 训练采样率,避免重采样时间误差。\n- channels=1:whisper 要求单声道。\n正例:16k 单声道 WAV -> 转写时间轴精确到 0.1s。\n反例:44.1k 立体声 -> 需内部重采样且可能引入边界误差。" }, "inputs": {