- 提音 1–5Mb/s:实测 rchar 仅为全文件 2.3%,只读音轨;慢在 CIFS 随机读 + 4 路并发,非瓶颈 - 左右声道分别转写:实测否决(三路 A/B 无字幕收益、成本翻倍),维持 -ac 1 - 节点开始日志过长:_note_*/_node_help 被整体打印,改法已列、代码未改 - 新增专题文档,并同步 README/AGENTS 索引、node-protocol 指引与 learn-translate 的 _note_channels
173 lines
9.9 KiB
Markdown
173 lines
9.9 KiB
Markdown
# 优化:提音 I/O、声道处理与运行日志
|
||
|
||
本文件汇总三个已定位问题的**现象 / 原因 / 解决方案**:提音阶段读速偏低、
|
||
节点开始日志过长、以及"是否该按左右声道分别转写"。所有数据均为本机实测,
|
||
代码位置对应 `nodes/ffmpeg.py` 与 `src/wov_app/registry.py`。
|
||
|
||
## 一、提音阶段读速只有 1–5Mb/s
|
||
|
||
### 现象
|
||
|
||
批量任务中 `ffmpeg-extract` 阶段(`nodes/ffmpeg.py`)读素材的速度只有
|
||
1–5Mb/s,看上去像"把整个视频都拉了一遍"。
|
||
|
||
### 原因:只读了音轨,慢在 CIFS 随机读
|
||
|
||
`-vn` 丢弃视频流后,MP4 解复用器按 sample 表 seek,跳过视频 sample,
|
||
**不会传输视频数据**。实测(`run_4a7caa0813c8`):
|
||
|
||
| 项 | 值 |
|
||
| --- | --- |
|
||
| 素材 | `/mnt/fnOS/123/SAVR-1142/savr01142_1_8k.mp4`,6,661,734,368 B,2456.29s(41 分钟) |
|
||
| 视频流 | hevc,21.43 Mbps,147230 帧 |
|
||
| 音频流 | aac,256 kbps,48kHz,stereo,单条流 |
|
||
| 产物 | `steps/extract/audio.wav` = 78,603,000 B(理论 78,602,961 B,完整) |
|
||
| 该进程 `/proc/<pid>/io` | 输出 78.6MB 时 `rchar` 约 **150MB = 全文件 2.3%** |
|
||
| 单进程读速 | **0.2–0.8 MB/s**(突发式),进程常驻 `D`(I/O 等待) |
|
||
| 4 路并发时 `enp3s0` 收包 | 4,677,290 B / 6s = **0.78 MB/s ≈ 6.2 Mbit/s** |
|
||
| 同一文件冷顺序 `dd`(64MiB) | **18.8 MB/s** |
|
||
| 挂载 | `//192.168.123.199/123 on /mnt/fnOS/123 type cifs (vers=3.0, cache=strict, actimeo=1, rsize=4194304)` |
|
||
| ffmpeg | 4.2.7(`/usr/bin/ffmpeg`) |
|
||
|
||
结论:**读速慢不是读了视频,而是访问模式**——音频 chunk 之间夹着大量视频数据,
|
||
每个音频 chunk 都要 seek,CIFS 上每次 seek 都是网络往返;再叠加 4 路并发提音。
|
||
对照顺序读 18.8MB/s 可知 NAS 带宽并未打满。
|
||
|
||
### 解决方案(均未执行)
|
||
|
||
| 方案 | 说明 | 预期 |
|
||
| --- | --- | --- |
|
||
| 维持现状 | extract 与后续转写/翻译**并行**,且 extract 是 GPU 空闲阶段;实测 8 个视频提音 ≈7.8 分钟,被转写掩盖(见 [实验数据-字幕重生成成本与耗时.md](./实验数据-字幕重生成成本与耗时.md) 第六节) | 不改也非瓶颈 |
|
||
| `-avioflags direct` | 绕过 page cache,减少 CIFS 上的预读放大 | 未实测 |
|
||
| 挂载/内核预读参数 | `read_ahead_kb`、`actimeo`、`cache=loose` | 未实测,需 root,且影响其他读取方 |
|
||
| 提高提音并发度 | 提音是延迟受限而非带宽受限,加并发可能提高总吞吐 | 未实测(当前 4 路已把 NAS 打到 0.78MB/s) |
|
||
| 先拷本地再提音 | 6.66GB ÷ 18.8MB/s ≈ 6 分钟拷贝 + 本地提音 | 与现状 6.5 分钟相当,还占 6.6GB 本地盘,不划算 |
|
||
|
||
优先级:低。单视频提音 ≈6.5 分钟,而同一素材的 ASR 阶段更长(HST 下约
|
||
4.5 分钟/素材小时),提音不是流水线瓶颈。
|
||
|
||
## 二、节点开始日志过长
|
||
|
||
### 现象
|
||
|
||
`2026-10-18 16:31:22,180 [INFO] 节点 ffmpeg-extract 开始 run=... inputs={...} params={...}`
|
||
一行里塞进了 `_note_sample_rate`、`_note_channels`、`_node_help` 等参数说明,
|
||
`_node_help` 内含真实换行,一条 INFO 被撑成多行长文,连 `grep` 都被打断。
|
||
|
||
### 原因
|
||
|
||
- `src/wov_app/registry.py:84` 起把 `request.params` 整个 `%s` 打印。
|
||
- workflow JSON 不支持注释,参数理由以 `_note_<参数名>`、`_node_help` 键存在
|
||
`params` 内(约定见 [workflows.md](./workflows.md)),这些键会被原样传进日志。
|
||
各工作流的说明键体量:
|
||
|
||
| 工作流 | 说明键字符数(按节点) |
|
||
| --- | --- |
|
||
| `learn-translate.json` | 3524(asr 2105、ass 561、extract 491、translate 367) |
|
||
| `ocr-subtitle.json` | 440(filter) |
|
||
| `zh-direct.json` | 0 |
|
||
|
||
- 附带噪声:`nodes/subtitle_ocr.py:205` 每帧 `registry.invoke("vlm")`,
|
||
每帧各产生一条"开始 + 完成"日志。
|
||
|
||
### 解决方案(未执行)
|
||
|
||
1. **推荐**:`registry.invoke` 记录前过滤 `_` 前缀键(`_note_*` / `_node_help`),
|
||
并对超长单值截断;完整 `inputs`/`params` 降到 DEBUG,用环境变量开关。
|
||
节点照常收到这些键(节点本就忽略它们),行为不变。
|
||
2. 只过滤 `_` 前缀,真实参数仍全量 INFO 打印。
|
||
3. 逐帧 `vlm` 调用日志单独降噪(同一 run 内重复调用只打首尾,或改由
|
||
`subtitle_ocr` 汇总),与方案 1 独立。
|
||
|
||
## 三、左右声道分别转写是否可行
|
||
|
||
### 现状
|
||
|
||
`nodes/ffmpeg.py:56` 默认 `-ac 1`,由 ffmpeg 把 stereo **平均合并**为单声道,
|
||
再喂给 faster-whisper(whisper 只接受单声道)。抽查 3 个 8K VR 素材
|
||
(`savr01142_1_8k`、`KAVR-522-A`、`13dsvr02017_2_8k`)都是**单条 AAC 256kbps
|
||
48kHz stereo 流**,没有左右独立音轨,所以"按声道分别转写"必须解码后自行拆声道。
|
||
|
||
### 实测:两声道并不同源(2026-10-18)
|
||
|
||
抽样 6 个 8K VR 素材,各取 offset=600s 起的 120s,解码 stereo PCM 后逐 1 秒
|
||
窗口统计(脚本与原始输出见 `data/experiments/stereo_check/`:`check_channels.py`、
|
||
`check_channels_lag.py`、`run.log`、`run_lag.log`):
|
||
|
||
| 素材 | L/R 相关(0 滞后) | 最佳滞后相关 | 最大滞后 | mid/side | 合并相对较响声道 |
|
||
| --- | --- | --- | --- | --- | --- |
|
||
| `savr01142_1_8k` | 0.679 | 0.744 | 0.8ms | 8.2dB | −1.42dB |
|
||
| `KAVR-522-A` | 0.525 | 0.665 | 4.4ms | 5.5dB | −1.88dB |
|
||
| `13dsvr02017_2_8k` | 0.532 | 0.790 | 0.4ms | 6.5dB | −2.27dB |
|
||
| `13dsvr01806_1_8k` | 0.278 | 0.379 | 4.9ms | 2.6dB | −2.62dB |
|
||
| `vrprd00198_1_8k` | 0.481 | 0.680 | 3.6ms | 5.2dB | −2.16dB |
|
||
| `savr01054_1_8k` | 0.477 | 0.730 | 3.3ms | 5.1dB | −2.21dB |
|
||
|
||
结论:
|
||
|
||
- **不是"同一信号的小延迟"**:最佳滞后只有 0.1–0.6ms(最大 5ms),对齐后相关
|
||
也只升到 0.38–0.79,远达不到同源;两声道是不同 mic/声像的真实双声道内容
|
||
(VR 双耳混音),side 能量只比 mid 低 2.6–8.2dB。
|
||
- **当前 `-ac 1` 平均合并不是无损**:合并后电平比更响的声道低 1.4–2.6dB,说明
|
||
存在部分抵消/梳状滤波;越是对声道差异大的素材(如 `13dsvr01806`)损失越大。
|
||
- 未发现整体极性反转(0 滞后相关为正,反相相关恒为负值,属定义恒等式,不作为
|
||
证据)。
|
||
|
||
### 可行性判断(修正后)
|
||
|
||
- **技术上可行**:两次提音各出一路 mono WAV——左 `-af "pan=mono|c0=c0"`、
|
||
右 `-af "pan=mono|c0=c1"`(ffmpeg 4.2 下 `channelsplit` 只 map 一路会报
|
||
`Filter channelsplit:FR has an unconnected output`,不要用),再分别跑 whisper、
|
||
按时间轴合并去重。改动集中在 `ffmpeg-extract`(多一路产物)与 ASR 后的合并逻辑。
|
||
- 原来"两声道同源、拆分无收益"的假设**已被实测否定**:声道差异显著,合并有
|
||
可测量的电平损失。但低相关并不等于"合并后人声变差"——相关性低也可能只是
|
||
混响/声像差异,因此下面用转写 A/B 直接检验字幕收益。
|
||
- **成本**:ASR 约翻倍。按实测 ASR ≈12.9 分钟 / 5.1 素材小时(HST 后 ×1.8 ≈
|
||
23 分钟)推算,全量 187.86 小时待重生成会多出约 17–20 小时挂钟与相应电耗。
|
||
- **低成本变体**(若 A/B 证明拆分确有收益):按段选能量更高的声道(1× ASR
|
||
成本);或只对合并结果的空段回退查较响声道;或先做声道对齐再合并。
|
||
|
||
### 实测:三路转写 A/B(2026-10-18)
|
||
|
||
素材 `/mnt/fnOS/123/test/kavr00328-1_seg_002.mp4`(423s,h264 29Mbps +
|
||
aac 256kbps stereo,多人左右声道分布典型样本),**整片**分别提音为当前合并
|
||
(`-ac 1`)、仅左(`pan=mono|c0=c0`)、仅右(`pan=mono|c0=c1`),
|
||
再用生产 whisper 参数(`learn-translate` 的 asr 节点:large-v2、decode_full、
|
||
HST 2.0、chunk 60s、beam 1、ja)各转写一次。
|
||
脚本与产物:`data/experiments/stereo_check/ab_transcribe.py`、`ab*/transcript.srt`、
|
||
`compare_ab.py`、`compare.log`、`ab.log`/`ab2.log`/`ab3.log`。
|
||
|
||
| 变体 | 条数 | 字数 | 字幕覆盖时长 | 长句(>4 字) |
|
||
| --- | --- | --- | --- | --- |
|
||
| 合并(现状) | 114 | 1163 | 257.2s | 91 |
|
||
| 仅左 | 120 | 1171 | 270.8s | 91 |
|
||
| 仅右 | 111 | 1117 | 254.5s | 87 |
|
||
|
||
- 三路规模相当,**没有出现"合并漏掉整句"的系统性损失**:长句数 91/91/87,
|
||
覆盖时长差异在 ±5% 内。
|
||
- 差异集中在短促语气词(`あははは`/`あれ?`/`ねー`/`うんうん`/`かわいい`),
|
||
属 ASR 对弱语音的正常不稳定;合并路有 9/114 条与左右都明显不同(<0.6 相似度),
|
||
但同位置左右也互不相同。
|
||
- **只发现 1 条"单声道独有"的长句**:仅右声道在 `0.0–2.5s` 有 `おー、リンパも`,
|
||
合并与仅左都从 3.6s 才开始。说明确实存在声道独占内容,但频率极低
|
||
(7 分钟 1 条)。
|
||
- 合并路唯一独占的是片尾套话幻觉 `ご視聴ありがとうございました`,属应被幻觉清洗
|
||
移除的噪声,不计入收益。
|
||
- 转写耗时(合并 53.3s / 仅左 24.3s / 仅右 89.3s)**不可比**:当时批量任务
|
||
正在争用 GPU,只能说明单路约 1 分钟量级。
|
||
|
||
### 结论
|
||
|
||
**按声道分别转写不值得做**:成本翻倍(全量约 +17–20 小时挂钟),换来的只是
|
||
偶发的单声道独占短句(本样本 7 分钟 1 条),而长句召回、覆盖时长均无提升。
|
||
维持 `-ac 1`。若日后想抓这类独占内容,走"只在合并结果出现长空档时用较响
|
||
声道回退重试"的低成本变体,不必全量拆声道。
|
||
|
||
## 四、结论状态
|
||
|
||
| 问题 | 结论 | 状态 |
|
||
| --- | --- | --- |
|
||
| 提音读速 1–5Mb/s | 只读音轨(全文件 2.3%);慢在 CIFS 随机读 + 并发,非瓶颈 | 维持现状,优化方案未执行 |
|
||
| 开始日志过长 | `_note_*` / `_node_help` 被整体打印 | 方案已列出,代码未改 |
|
||
| 声道分别转写 | 三路 A/B:长句 91/91/87、覆盖 ±5%,仅 1 条单声道独占长句;成本翻倍 | **不做**,维持 `-ac 1` |
|