Files
vrsub/docs/优化-提音IO声道与运行日志.md
cat-shark 742a03ab61 docs: 归档提音读速/声道拆分/运行日志的排查结论
- 提音 1–5Mb/s:实测 rchar 仅为全文件 2.3%,只读音轨;慢在 CIFS 随机读 + 4 路并发,非瓶颈
- 左右声道分别转写:实测否决(三路 A/B 无字幕收益、成本翻倍),维持 -ac 1
- 节点开始日志过长:_note_*/_node_help 被整体打印,改法已列、代码未改
- 新增专题文档,并同步 README/AGENTS 索引、node-protocol 指引与 learn-translate 的 _note_channels
2026-10-18 17:58:04 +08:00

173 lines
9.9 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 优化:提音 I/O、声道处理与运行日志
本文件汇总三个已定位问题的**现象 / 原因 / 解决方案**:提音阶段读速偏低、
节点开始日志过长、以及"是否该按左右声道分别转写"。所有数据均为本机实测,
代码位置对应 `nodes/ffmpeg.py` 与 `src/wov_app/registry.py`。
## 一、提音阶段读速只有 1–5Mb/s
### 现象
批量任务中 `ffmpeg-extract` 阶段(`nodes/ffmpeg.py`)读素材的速度只有
1–5Mb/s,看上去像"把整个视频都拉了一遍"。
### 原因:只读了音轨,慢在 CIFS 随机读
`-vn` 丢弃视频流后,MP4 解复用器按 sample 表 seek,跳过视频 sample,
**不会传输视频数据**。实测(`run_4a7caa0813c8`):
| 项 | 值 |
| --- | --- |
| 素材 | `/mnt/fnOS/123/SAVR-1142/savr01142_1_8k.mp4`,6,661,734,368 B,2456.29s(41 分钟) |
| 视频流 | hevc,21.43 Mbps,147230 帧 |
| 音频流 | aac,256 kbps,48kHz,stereo,单条流 |
| 产物 | `steps/extract/audio.wav` = 78,603,000 B(理论 78,602,961 B,完整) |
| 该进程 `/proc/<pid>/io` | 输出 78.6MB 时 `rchar` 约 **150MB = 全文件 2.3%** |
| 单进程读速 | **0.2–0.8 MB/s**(突发式),进程常驻 `D`(I/O 等待) |
| 4 路并发时 `enp3s0` 收包 | 4,677,290 B / 6s = **0.78 MB/s ≈ 6.2 Mbit/s** |
| 同一文件冷顺序 `dd`(64MiB) | **18.8 MB/s** |
| 挂载 | `//192.168.123.199/123 on /mnt/fnOS/123 type cifs (vers=3.0, cache=strict, actimeo=1, rsize=4194304)` |
| ffmpeg | 4.2.7(`/usr/bin/ffmpeg`) |
结论:**读速慢不是读了视频,而是访问模式**——音频 chunk 之间夹着大量视频数据,
每个音频 chunk 都要 seek,CIFS 上每次 seek 都是网络往返;再叠加 4 路并发提音。
对照顺序读 18.8MB/s 可知 NAS 带宽并未打满。
### 解决方案(均未执行)
| 方案 | 说明 | 预期 |
| --- | --- | --- |
| 维持现状 | extract 与后续转写/翻译**并行**,且 extract 是 GPU 空闲阶段;实测 8 个视频提音 ≈7.8 分钟,被转写掩盖(见 [实验数据-字幕重生成成本与耗时.md](./实验数据-字幕重生成成本与耗时.md) 第六节) | 不改也非瓶颈 |
| `-avioflags direct` | 绕过 page cache,减少 CIFS 上的预读放大 | 未实测 |
| 挂载/内核预读参数 | `read_ahead_kb`、`actimeo`、`cache=loose` | 未实测,需 root,且影响其他读取方 |
| 提高提音并发度 | 提音是延迟受限而非带宽受限,加并发可能提高总吞吐 | 未实测(当前 4 路已把 NAS 打到 0.78MB/s) |
| 先拷本地再提音 | 6.66GB ÷ 18.8MB/s ≈ 6 分钟拷贝 + 本地提音 | 与现状 6.5 分钟相当,还占 6.6GB 本地盘,不划算 |
优先级:低。单视频提音 ≈6.5 分钟,而同一素材的 ASR 阶段更长(HST 下约
4.5 分钟/素材小时),提音不是流水线瓶颈。
## 二、节点开始日志过长
### 现象
`2026-10-18 16:31:22,180 [INFO] 节点 ffmpeg-extract 开始 run=... inputs={...} params={...}`
一行里塞进了 `_note_sample_rate`、`_note_channels`、`_node_help` 等参数说明,
`_node_help` 内含真实换行,一条 INFO 被撑成多行长文,连 `grep` 都被打断。
### 原因
- `src/wov_app/registry.py:84` 起把 `request.params` 整个 `%s` 打印。
- workflow JSON 不支持注释,参数理由以 `_note_<参数名>`、`_node_help` 键存在
`params` 内(约定见 [workflows.md](./workflows.md)),这些键会被原样传进日志。
各工作流的说明键体量:
| 工作流 | 说明键字符数(按节点) |
| --- | --- |
| `learn-translate.json` | 3524(asr 2105、ass 561、extract 491、translate 367) |
| `ocr-subtitle.json` | 440(filter) |
| `zh-direct.json` | 0 |
- 附带噪声:`nodes/subtitle_ocr.py:205` 每帧 `registry.invoke("vlm")`,
每帧各产生一条"开始 + 完成"日志。
### 解决方案(未执行)
1. **推荐**:`registry.invoke` 记录前过滤 `_` 前缀键(`_note_*` / `_node_help`),
并对超长单值截断;完整 `inputs`/`params` 降到 DEBUG,用环境变量开关。
节点照常收到这些键(节点本就忽略它们),行为不变。
2. 只过滤 `_` 前缀,真实参数仍全量 INFO 打印。
3. 逐帧 `vlm` 调用日志单独降噪(同一 run 内重复调用只打首尾,或改由
`subtitle_ocr` 汇总),与方案 1 独立。
## 三、左右声道分别转写是否可行
### 现状
`nodes/ffmpeg.py:56` 默认 `-ac 1`,由 ffmpeg 把 stereo **平均合并**为单声道,
再喂给 faster-whisper(whisper 只接受单声道)。抽查 3 个 8K VR 素材
(`savr01142_1_8k`、`KAVR-522-A`、`13dsvr02017_2_8k`)都是**单条 AAC 256kbps
48kHz stereo 流**,没有左右独立音轨,所以"按声道分别转写"必须解码后自行拆声道。
### 实测:两声道并不同源(2026-10-18)
抽样 6 个 8K VR 素材,各取 offset=600s 起的 120s,解码 stereo PCM 后逐 1 秒
窗口统计(脚本与原始输出见 `data/experiments/stereo_check/`:`check_channels.py`、
`check_channels_lag.py`、`run.log`、`run_lag.log`):
| 素材 | L/R 相关(0 滞后) | 最佳滞后相关 | 最大滞后 | mid/side | 合并相对较响声道 |
| --- | --- | --- | --- | --- | --- |
| `savr01142_1_8k` | 0.679 | 0.744 | 0.8ms | 8.2dB | −1.42dB |
| `KAVR-522-A` | 0.525 | 0.665 | 4.4ms | 5.5dB | −1.88dB |
| `13dsvr02017_2_8k` | 0.532 | 0.790 | 0.4ms | 6.5dB | −2.27dB |
| `13dsvr01806_1_8k` | 0.278 | 0.379 | 4.9ms | 2.6dB | −2.62dB |
| `vrprd00198_1_8k` | 0.481 | 0.680 | 3.6ms | 5.2dB | −2.16dB |
| `savr01054_1_8k` | 0.477 | 0.730 | 3.3ms | 5.1dB | −2.21dB |
结论:
- **不是"同一信号的小延迟"**:最佳滞后只有 0.1–0.6ms(最大 5ms),对齐后相关
也只升到 0.38–0.79,远达不到同源;两声道是不同 mic/声像的真实双声道内容
(VR 双耳混音),side 能量只比 mid 低 2.6–8.2dB。
- **当前 `-ac 1` 平均合并不是无损**:合并后电平比更响的声道低 1.4–2.6dB,说明
存在部分抵消/梳状滤波;越是对声道差异大的素材(如 `13dsvr01806`)损失越大。
- 未发现整体极性反转(0 滞后相关为正,反相相关恒为负值,属定义恒等式,不作为
证据)。
### 可行性判断(修正后)
- **技术上可行**:两次提音各出一路 mono WAV——左 `-af "pan=mono|c0=c0"`、
右 `-af "pan=mono|c0=c1"`(ffmpeg 4.2 下 `channelsplit` 只 map 一路会报
`Filter channelsplit:FR has an unconnected output`,不要用),再分别跑 whisper、
按时间轴合并去重。改动集中在 `ffmpeg-extract`(多一路产物)与 ASR 后的合并逻辑。
- 原来"两声道同源、拆分无收益"的假设**已被实测否定**:声道差异显著,合并有
可测量的电平损失。但低相关并不等于"合并后人声变差"——相关性低也可能只是
混响/声像差异,因此下面用转写 A/B 直接检验字幕收益。
- **成本**:ASR 约翻倍。按实测 ASR ≈12.9 分钟 / 5.1 素材小时(HST 后 ×1.8 ≈
23 分钟)推算,全量 187.86 小时待重生成会多出约 17–20 小时挂钟与相应电耗。
- **低成本变体**(若 A/B 证明拆分确有收益):按段选能量更高的声道(1× ASR
成本);或只对合并结果的空段回退查较响声道;或先做声道对齐再合并。
### 实测:三路转写 A/B(2026-10-18)
素材 `/mnt/fnOS/123/test/kavr00328-1_seg_002.mp4`(423s,h264 29Mbps +
aac 256kbps stereo,多人左右声道分布典型样本),**整片**分别提音为当前合并
(`-ac 1`)、仅左(`pan=mono|c0=c0`)、仅右(`pan=mono|c0=c1`),
再用生产 whisper 参数(`learn-translate` 的 asr 节点:large-v2、decode_full、
HST 2.0、chunk 60s、beam 1、ja)各转写一次。
脚本与产物:`data/experiments/stereo_check/ab_transcribe.py`、`ab*/transcript.srt`、
`compare_ab.py`、`compare.log`、`ab.log`/`ab2.log`/`ab3.log`。
| 变体 | 条数 | 字数 | 字幕覆盖时长 | 长句(>4 字) |
| --- | --- | --- | --- | --- |
| 合并(现状) | 114 | 1163 | 257.2s | 91 |
| 仅左 | 120 | 1171 | 270.8s | 91 |
| 仅右 | 111 | 1117 | 254.5s | 87 |
- 三路规模相当,**没有出现"合并漏掉整句"的系统性损失**:长句数 91/91/87,
覆盖时长差异在 ±5% 内。
- 差异集中在短促语气词(`あははは`/`あれ?`/`ねー`/`うんうん`/`かわいい`),
属 ASR 对弱语音的正常不稳定;合并路有 9/114 条与左右都明显不同(<0.6 相似度),
但同位置左右也互不相同。
- **只发现 1 条"单声道独有"的长句**:仅右声道在 `0.0–2.5s` 有 `おー、リンパも`,
合并与仅左都从 3.6s 才开始。说明确实存在声道独占内容,但频率极低
(7 分钟 1 条)。
- 合并路唯一独占的是片尾套话幻觉 `ご視聴ありがとうございました`,属应被幻觉清洗
移除的噪声,不计入收益。
- 转写耗时(合并 53.3s / 仅左 24.3s / 仅右 89.3s)**不可比**:当时批量任务
正在争用 GPU,只能说明单路约 1 分钟量级。
### 结论
**按声道分别转写不值得做**:成本翻倍(全量约 +17–20 小时挂钟),换来的只是
偶发的单声道独占短句(本样本 7 分钟 1 条),而长句召回、覆盖时长均无提升。
维持 `-ac 1`。若日后想抓这类独占内容,走"只在合并结果出现长空档时用较响
声道回退重试"的低成本变体,不必全量拆声道。
## 四、结论状态
| 问题 | 结论 | 状态 |
| --- | --- | --- |
| 提音读速 1–5Mb/s | 只读音轨(全文件 2.3%);慢在 CIFS 随机读 + 并发,非瓶颈 | 维持现状,优化方案未执行 |
| 开始日志过长 | `_note_*` / `_node_help` 被整体打印 | 方案已列出,代码未改 |
| 声道分别转写 | 三路 A/B:长句 91/91/87、覆盖 ±5%,仅 1 条单声道独占长句;成本翻倍 | **不做**,维持 `-ac 1` |