Files
vrsub/docs/优化-提音IO声道与运行日志.md
T
cat-shark 742a03ab61 docs: 归档提音读速/声道拆分/运行日志的排查结论
- 提音 1–5Mb/s:实测 rchar 仅为全文件 2.3%,只读音轨;慢在 CIFS 随机读 + 4 路并发,非瓶颈
- 左右声道分别转写:实测否决(三路 A/B 无字幕收益、成本翻倍),维持 -ac 1
- 节点开始日志过长:_note_*/_node_help 被整体打印,改法已列、代码未改
- 新增专题文档,并同步 README/AGENTS 索引、node-protocol 指引与 learn-translate 的 _note_channels
2026-10-18 17:58:04 +08:00

9.9 KiB
Raw Blame History

优化:提音 I/O、声道处理与运行日志

本文件汇总三个已定位问题的现象 / 原因 / 解决方案:提音阶段读速偏低、 节点开始日志过长、以及"是否该按左右声道分别转写"。所有数据均为本机实测, 代码位置对应 nodes/ffmpeg.py 与 src/wov_app/registry.py。

一、提音阶段读速只有 1–5Mb/s

现象

批量任务中 ffmpeg-extract 阶段(nodes/ffmpeg.py)读素材的速度只有 1–5Mb/s,看上去像"把整个视频都拉了一遍"。

原因:只读了音轨,慢在 CIFS 随机读

-vn 丢弃视频流后,MP4 解复用器按 sample 表 seek,跳过视频 sample, 不会传输视频数据。实测(run_4a7caa0813c8):

项 值
素材 /mnt/fnOS/123/SAVR-1142/savr01142_1_8k.mp4,6,661,734,368 B,2456.29s(41 分钟)
视频流 hevc,21.43 Mbps,147230 帧
音频流 aac,256 kbps,48kHz,stereo,单条流
产物 steps/extract/audio.wav = 78,603,000 B(理论 78,602,961 B,完整)
该进程 /proc/<pid>/io 输出 78.6MB 时 rchar 约 150MB = 全文件 2.3%
单进程读速 0.2–0.8 MB/s(突发式),进程常驻 D(I/O 等待)
4 路并发时 enp3s0 收包 4,677,290 B / 6s = 0.78 MB/s ≈ 6.2 Mbit/s
同一文件冷顺序 dd(64MiB) 18.8 MB/s
挂载 //192.168.123.199/123 on /mnt/fnOS/123 type cifs (vers=3.0, cache=strict, actimeo=1, rsize=4194304)
ffmpeg 4.2.7(/usr/bin/ffmpeg)

结论:读速慢不是读了视频,而是访问模式——音频 chunk 之间夹着大量视频数据, 每个音频 chunk 都要 seek,CIFS 上每次 seek 都是网络往返;再叠加 4 路并发提音。 对照顺序读 18.8MB/s 可知 NAS 带宽并未打满。

解决方案(均未执行)

方案 说明 预期
维持现状 extract 与后续转写/翻译并行,且 extract 是 GPU 空闲阶段;实测 8 个视频提音 ≈7.8 分钟,被转写掩盖(见 实验数据-字幕重生成成本与耗时.md 第六节) 不改也非瓶颈
-avioflags direct 绕过 page cache,减少 CIFS 上的预读放大 未实测
挂载/内核预读参数 read_ahead_kb、actimeo、cache=loose 未实测,需 root,且影响其他读取方
提高提音并发度 提音是延迟受限而非带宽受限,加并发可能提高总吞吐 未实测(当前 4 路已把 NAS 打到 0.78MB/s)
先拷本地再提音 6.66GB ÷ 18.8MB/s ≈ 6 分钟拷贝 + 本地提音 与现状 6.5 分钟相当,还占 6.6GB 本地盘,不划算

优先级:低。单视频提音 ≈6.5 分钟,而同一素材的 ASR 阶段更长(HST 下约 4.5 分钟/素材小时),提音不是流水线瓶颈。

二、节点开始日志过长

现象

2026-10-18 16:31:22,180 [INFO] 节点 ffmpeg-extract 开始 run=... inputs={...} params={...} 一行里塞进了 _note_sample_rate、_note_channels、_node_help 等参数说明, _node_help 内含真实换行,一条 INFO 被撑成多行长文,连 grep 都被打断。

原因

  • src/wov_app/registry.py:84 起把 request.params 整个 %s 打印。

  • workflow JSON 不支持注释,参数理由以 _note_<参数名>、_node_help 键存在 params 内(约定见 workflows.md),这些键会被原样传进日志。 各工作流的说明键体量:

    工作流 说明键字符数(按节点)
    learn-translate.json 3524(asr 2105、ass 561、extract 491、translate 367)
    ocr-subtitle.json 440(filter)
    zh-direct.json 0
  • 附带噪声:nodes/subtitle_ocr.py:205 每帧 registry.invoke("vlm"), 每帧各产生一条"开始 + 完成"日志。

解决方案(未执行)

  1. 推荐:registry.invoke 记录前过滤 _ 前缀键(_note_* / _node_help), 并对超长单值截断;完整 inputs/params 降到 DEBUG,用环境变量开关。 节点照常收到这些键(节点本就忽略它们),行为不变。
  2. 只过滤 _ 前缀,真实参数仍全量 INFO 打印。
  3. 逐帧 vlm 调用日志单独降噪(同一 run 内重复调用只打首尾,或改由 subtitle_ocr 汇总),与方案 1 独立。

三、左右声道分别转写是否可行

现状

nodes/ffmpeg.py:56 默认 -ac 1,由 ffmpeg 把 stereo 平均合并为单声道, 再喂给 faster-whisper(whisper 只接受单声道)。抽查 3 个 8K VR 素材 (savr01142_1_8k、KAVR-522-A、13dsvr02017_2_8k)都是单条 AAC 256kbps 48kHz stereo 流,没有左右独立音轨,所以"按声道分别转写"必须解码后自行拆声道。

实测:两声道并不同源(2026-10-18)

抽样 6 个 8K VR 素材,各取 offset=600s 起的 120s,解码 stereo PCM 后逐 1 秒 窗口统计(脚本与原始输出见 data/experiments/stereo_check/:check_channels.py、 check_channels_lag.py、run.log、run_lag.log):

素材 L/R 相关(0 滞后) 最佳滞后相关 最大滞后 mid/side 合并相对较响声道
savr01142_1_8k 0.679 0.744 0.8ms 8.2dB −1.42dB
KAVR-522-A 0.525 0.665 4.4ms 5.5dB −1.88dB
13dsvr02017_2_8k 0.532 0.790 0.4ms 6.5dB −2.27dB
13dsvr01806_1_8k 0.278 0.379 4.9ms 2.6dB −2.62dB
vrprd00198_1_8k 0.481 0.680 3.6ms 5.2dB −2.16dB
savr01054_1_8k 0.477 0.730 3.3ms 5.1dB −2.21dB

结论:

  • 不是"同一信号的小延迟":最佳滞后只有 0.1–0.6ms(最大 5ms),对齐后相关 也只升到 0.38–0.79,远达不到同源;两声道是不同 mic/声像的真实双声道内容 (VR 双耳混音),side 能量只比 mid 低 2.6–8.2dB。
  • 当前 -ac 1 平均合并不是无损:合并后电平比更响的声道低 1.4–2.6dB,说明 存在部分抵消/梳状滤波;越是对声道差异大的素材(如 13dsvr01806)损失越大。
  • 未发现整体极性反转(0 滞后相关为正,反相相关恒为负值,属定义恒等式,不作为 证据)。

可行性判断(修正后)

  • 技术上可行:两次提音各出一路 mono WAV——左 -af "pan=mono|c0=c0"、 右 -af "pan=mono|c0=c1"(ffmpeg 4.2 下 channelsplit 只 map 一路会报 Filter channelsplit:FR has an unconnected output,不要用),再分别跑 whisper、 按时间轴合并去重。改动集中在 ffmpeg-extract(多一路产物)与 ASR 后的合并逻辑。
  • 原来"两声道同源、拆分无收益"的假设已被实测否定:声道差异显著,合并有 可测量的电平损失。但低相关并不等于"合并后人声变差"——相关性低也可能只是 混响/声像差异,因此下面用转写 A/B 直接检验字幕收益。
  • 成本:ASR 约翻倍。按实测 ASR ≈12.9 分钟 / 5.1 素材小时(HST 后 ×1.8 ≈ 23 分钟)推算,全量 187.86 小时待重生成会多出约 17–20 小时挂钟与相应电耗。
  • 低成本变体(若 A/B 证明拆分确有收益):按段选能量更高的声道(1× ASR 成本);或只对合并结果的空段回退查较响声道;或先做声道对齐再合并。

实测:三路转写 A/B(2026-10-18)

素材 /mnt/fnOS/123/test/kavr00328-1_seg_002.mp4(423s,h264 29Mbps + aac 256kbps stereo,多人左右声道分布典型样本),整片分别提音为当前合并 (-ac 1)、仅左(pan=mono|c0=c0)、仅右(pan=mono|c0=c1), 再用生产 whisper 参数(learn-translate 的 asr 节点:large-v2、decode_full、 HST 2.0、chunk 60s、beam 1、ja)各转写一次。 脚本与产物:data/experiments/stereo_check/ab_transcribe.py、ab*/transcript.srt、 compare_ab.py、compare.log、ab.log/ab2.log/ab3.log。

变体 条数 字数 字幕覆盖时长 长句(>4 字)
合并(现状) 114 1163 257.2s 91
仅左 120 1171 270.8s 91
仅右 111 1117 254.5s 87
  • 三路规模相当,没有出现"合并漏掉整句"的系统性损失:长句数 91/91/87, 覆盖时长差异在 ±5% 内。
  • 差异集中在短促语气词(あははは/あれ?/ねー/うんうん/かわいい), 属 ASR 对弱语音的正常不稳定;合并路有 9/114 条与左右都明显不同(<0.6 相似度), 但同位置左右也互不相同。
  • 只发现 1 条"单声道独有"的长句:仅右声道在 0.0–2.5s 有 おー、リンパも, 合并与仅左都从 3.6s 才开始。说明确实存在声道独占内容,但频率极低 (7 分钟 1 条)。
  • 合并路唯一独占的是片尾套话幻觉 ご視聴ありがとうございました,属应被幻觉清洗 移除的噪声,不计入收益。
  • 转写耗时(合并 53.3s / 仅左 24.3s / 仅右 89.3s)不可比:当时批量任务 正在争用 GPU,只能说明单路约 1 分钟量级。

结论

按声道分别转写不值得做:成本翻倍(全量约 +17–20 小时挂钟),换来的只是 偶发的单声道独占短句(本样本 7 分钟 1 条),而长句召回、覆盖时长均无提升。 维持 -ac 1。若日后想抓这类独占内容,走"只在合并结果出现长空档时用较响 声道回退重试"的低成本变体,不必全量拆声道。

四、结论状态

问题 结论 状态
提音读速 1–5Mb/s 只读音轨(全文件 2.3%);慢在 CIFS 随机读 + 并发,非瓶颈 维持现状,优化方案未执行
开始日志过长 _note_* / _node_help 被整体打印 方案已列出,代码未改
声道分别转写 三路 A/B:长句 91/91/87、覆盖 ±5%,仅 1 条单声道独占长句;成本翻倍 不做,维持 -ac 1