- 提音 1–5Mb/s:实测 rchar 仅为全文件 2.3%,只读音轨;慢在 CIFS 随机读 + 4 路并发,非瓶颈 - 左右声道分别转写:实测否决(三路 A/B 无字幕收益、成本翻倍),维持 -ac 1 - 节点开始日志过长:_note_*/_node_help 被整体打印,改法已列、代码未改 - 新增专题文档,并同步 README/AGENTS 索引、node-protocol 指引与 learn-translate 的 _note_channels
9.9 KiB
优化:提音 I/O、声道处理与运行日志
本文件汇总三个已定位问题的现象 / 原因 / 解决方案:提音阶段读速偏低、
节点开始日志过长、以及"是否该按左右声道分别转写"。所有数据均为本机实测,
代码位置对应 nodes/ffmpeg.py 与 src/wov_app/registry.py。
一、提音阶段读速只有 1–5Mb/s
现象
批量任务中 ffmpeg-extract 阶段(nodes/ffmpeg.py)读素材的速度只有
1–5Mb/s,看上去像"把整个视频都拉了一遍"。
原因:只读了音轨,慢在 CIFS 随机读
-vn 丢弃视频流后,MP4 解复用器按 sample 表 seek,跳过视频 sample,
不会传输视频数据。实测(run_4a7caa0813c8):
| 项 | 值 |
|---|---|
| 素材 | /mnt/fnOS/123/SAVR-1142/savr01142_1_8k.mp4,6,661,734,368 B,2456.29s(41 分钟) |
| 视频流 | hevc,21.43 Mbps,147230 帧 |
| 音频流 | aac,256 kbps,48kHz,stereo,单条流 |
| 产物 | steps/extract/audio.wav = 78,603,000 B(理论 78,602,961 B,完整) |
该进程 /proc/<pid>/io |
输出 78.6MB 时 rchar 约 150MB = 全文件 2.3% |
| 单进程读速 | 0.2–0.8 MB/s(突发式),进程常驻 D(I/O 等待) |
4 路并发时 enp3s0 收包 |
4,677,290 B / 6s = 0.78 MB/s ≈ 6.2 Mbit/s |
同一文件冷顺序 dd(64MiB) |
18.8 MB/s |
| 挂载 | //192.168.123.199/123 on /mnt/fnOS/123 type cifs (vers=3.0, cache=strict, actimeo=1, rsize=4194304) |
| ffmpeg | 4.2.7(/usr/bin/ffmpeg) |
结论:读速慢不是读了视频,而是访问模式——音频 chunk 之间夹着大量视频数据, 每个音频 chunk 都要 seek,CIFS 上每次 seek 都是网络往返;再叠加 4 路并发提音。 对照顺序读 18.8MB/s 可知 NAS 带宽并未打满。
解决方案(均未执行)
| 方案 | 说明 | 预期 |
|---|---|---|
| 维持现状 | extract 与后续转写/翻译并行,且 extract 是 GPU 空闲阶段;实测 8 个视频提音 ≈7.8 分钟,被转写掩盖(见 实验数据-字幕重生成成本与耗时.md 第六节) | 不改也非瓶颈 |
-avioflags direct |
绕过 page cache,减少 CIFS 上的预读放大 | 未实测 |
| 挂载/内核预读参数 | read_ahead_kb、actimeo、cache=loose |
未实测,需 root,且影响其他读取方 |
| 提高提音并发度 | 提音是延迟受限而非带宽受限,加并发可能提高总吞吐 | 未实测(当前 4 路已把 NAS 打到 0.78MB/s) |
| 先拷本地再提音 | 6.66GB ÷ 18.8MB/s ≈ 6 分钟拷贝 + 本地提音 | 与现状 6.5 分钟相当,还占 6.6GB 本地盘,不划算 |
优先级:低。单视频提音 ≈6.5 分钟,而同一素材的 ASR 阶段更长(HST 下约 4.5 分钟/素材小时),提音不是流水线瓶颈。
二、节点开始日志过长
现象
2026-10-18 16:31:22,180 [INFO] 节点 ffmpeg-extract 开始 run=... inputs={...} params={...}
一行里塞进了 _note_sample_rate、_note_channels、_node_help 等参数说明,
_node_help 内含真实换行,一条 INFO 被撑成多行长文,连 grep 都被打断。
原因
-
src/wov_app/registry.py:84起把request.params整个%s打印。 -
workflow JSON 不支持注释,参数理由以
_note_<参数名>、_node_help键存在params内(约定见 workflows.md),这些键会被原样传进日志。 各工作流的说明键体量:工作流 说明键字符数(按节点) learn-translate.json3524(asr 2105、ass 561、extract 491、translate 367) ocr-subtitle.json440(filter) zh-direct.json0 -
附带噪声:
nodes/subtitle_ocr.py:205每帧registry.invoke("vlm"), 每帧各产生一条"开始 + 完成"日志。
解决方案(未执行)
- 推荐:
registry.invoke记录前过滤_前缀键(_note_*/_node_help), 并对超长单值截断;完整inputs/params降到 DEBUG,用环境变量开关。 节点照常收到这些键(节点本就忽略它们),行为不变。 - 只过滤
_前缀,真实参数仍全量 INFO 打印。 - 逐帧
vlm调用日志单独降噪(同一 run 内重复调用只打首尾,或改由subtitle_ocr汇总),与方案 1 独立。
三、左右声道分别转写是否可行
现状
nodes/ffmpeg.py:56 默认 -ac 1,由 ffmpeg 把 stereo 平均合并为单声道,
再喂给 faster-whisper(whisper 只接受单声道)。抽查 3 个 8K VR 素材
(savr01142_1_8k、KAVR-522-A、13dsvr02017_2_8k)都是单条 AAC 256kbps
48kHz stereo 流,没有左右独立音轨,所以"按声道分别转写"必须解码后自行拆声道。
实测:两声道并不同源(2026-10-18)
抽样 6 个 8K VR 素材,各取 offset=600s 起的 120s,解码 stereo PCM 后逐 1 秒
窗口统计(脚本与原始输出见 data/experiments/stereo_check/:check_channels.py、
check_channels_lag.py、run.log、run_lag.log):
| 素材 | L/R 相关(0 滞后) | 最佳滞后相关 | 最大滞后 | mid/side | 合并相对较响声道 |
|---|---|---|---|---|---|
savr01142_1_8k |
0.679 | 0.744 | 0.8ms | 8.2dB | −1.42dB |
KAVR-522-A |
0.525 | 0.665 | 4.4ms | 5.5dB | −1.88dB |
13dsvr02017_2_8k |
0.532 | 0.790 | 0.4ms | 6.5dB | −2.27dB |
13dsvr01806_1_8k |
0.278 | 0.379 | 4.9ms | 2.6dB | −2.62dB |
vrprd00198_1_8k |
0.481 | 0.680 | 3.6ms | 5.2dB | −2.16dB |
savr01054_1_8k |
0.477 | 0.730 | 3.3ms | 5.1dB | −2.21dB |
结论:
- 不是"同一信号的小延迟":最佳滞后只有 0.1–0.6ms(最大 5ms),对齐后相关 也只升到 0.38–0.79,远达不到同源;两声道是不同 mic/声像的真实双声道内容 (VR 双耳混音),side 能量只比 mid 低 2.6–8.2dB。
- 当前
-ac 1平均合并不是无损:合并后电平比更响的声道低 1.4–2.6dB,说明 存在部分抵消/梳状滤波;越是对声道差异大的素材(如13dsvr01806)损失越大。 - 未发现整体极性反转(0 滞后相关为正,反相相关恒为负值,属定义恒等式,不作为 证据)。
可行性判断(修正后)
- 技术上可行:两次提音各出一路 mono WAV——左
-af "pan=mono|c0=c0"、 右-af "pan=mono|c0=c1"(ffmpeg 4.2 下channelsplit只 map 一路会报Filter channelsplit:FR has an unconnected output,不要用),再分别跑 whisper、 按时间轴合并去重。改动集中在ffmpeg-extract(多一路产物)与 ASR 后的合并逻辑。 - 原来"两声道同源、拆分无收益"的假设已被实测否定:声道差异显著,合并有 可测量的电平损失。但低相关并不等于"合并后人声变差"——相关性低也可能只是 混响/声像差异,因此下面用转写 A/B 直接检验字幕收益。
- 成本:ASR 约翻倍。按实测 ASR ≈12.9 分钟 / 5.1 素材小时(HST 后 ×1.8 ≈ 23 分钟)推算,全量 187.86 小时待重生成会多出约 17–20 小时挂钟与相应电耗。
- 低成本变体(若 A/B 证明拆分确有收益):按段选能量更高的声道(1× ASR 成本);或只对合并结果的空段回退查较响声道;或先做声道对齐再合并。
实测:三路转写 A/B(2026-10-18)
素材 /mnt/fnOS/123/test/kavr00328-1_seg_002.mp4(423s,h264 29Mbps +
aac 256kbps stereo,多人左右声道分布典型样本),整片分别提音为当前合并
(-ac 1)、仅左(pan=mono|c0=c0)、仅右(pan=mono|c0=c1),
再用生产 whisper 参数(learn-translate 的 asr 节点:large-v2、decode_full、
HST 2.0、chunk 60s、beam 1、ja)各转写一次。
脚本与产物:data/experiments/stereo_check/ab_transcribe.py、ab*/transcript.srt、
compare_ab.py、compare.log、ab.log/ab2.log/ab3.log。
| 变体 | 条数 | 字数 | 字幕覆盖时长 | 长句(>4 字) |
|---|---|---|---|---|
| 合并(现状) | 114 | 1163 | 257.2s | 91 |
| 仅左 | 120 | 1171 | 270.8s | 91 |
| 仅右 | 111 | 1117 | 254.5s | 87 |
- 三路规模相当,没有出现"合并漏掉整句"的系统性损失:长句数 91/91/87, 覆盖时长差异在 ±5% 内。
- 差异集中在短促语气词(
あははは/あれ?/ねー/うんうん/かわいい), 属 ASR 对弱语音的正常不稳定;合并路有 9/114 条与左右都明显不同(<0.6 相似度), 但同位置左右也互不相同。 - 只发现 1 条"单声道独有"的长句:仅右声道在
0.0–2.5s有おー、リンパも, 合并与仅左都从 3.6s 才开始。说明确实存在声道独占内容,但频率极低 (7 分钟 1 条)。 - 合并路唯一独占的是片尾套话幻觉
ご視聴ありがとうございました,属应被幻觉清洗 移除的噪声,不计入收益。 - 转写耗时(合并 53.3s / 仅左 24.3s / 仅右 89.3s)不可比:当时批量任务 正在争用 GPU,只能说明单路约 1 分钟量级。
结论
按声道分别转写不值得做:成本翻倍(全量约 +17–20 小时挂钟),换来的只是
偶发的单声道独占短句(本样本 7 分钟 1 条),而长句召回、覆盖时长均无提升。
维持 -ac 1。若日后想抓这类独占内容,走"只在合并结果出现长空档时用较响
声道回退重试"的低成本变体,不必全量拆声道。
四、结论状态
| 问题 | 结论 | 状态 |
|---|---|---|
| 提音读速 1–5Mb/s | 只读音轨(全文件 2.3%);慢在 CIFS 随机读 + 并发,非瓶颈 | 维持现状,优化方案未执行 |
| 开始日志过长 | _note_* / _node_help 被整体打印 |
方案已列出,代码未改 |
| 声道分别转写 | 三路 A/B:长句 91/91/87、覆盖 ±5%,仅 1 条单声道独占长句;成本翻倍 | 不做,维持 -ac 1 |