docs: 归档提音读速/声道拆分/运行日志的排查结论
- 提音 1–5Mb/s:实测 rchar 仅为全文件 2.3%,只读音轨;慢在 CIFS 随机读 + 4 路并发,非瓶颈 - 左右声道分别转写:实测否决(三路 A/B 无字幕收益、成本翻倍),维持 -ac 1 - 节点开始日志过长:_note_*/_node_help 被整体打印,改法已列、代码未改 - 新增专题文档,并同步 README/AGENTS 索引、node-protocol 指引与 learn-translate 的 _note_channels
This commit is contained in:
@@ -156,9 +156,26 @@
|
||||
- **若将来重开**:方向应从翻译侧挪回 ASR 侧(只审日文、给候选读法;先建场景再对照),
|
||||
那里才有声学证据;具体三个可测方向见实验文档第六节。
|
||||
|
||||
## 提音阶段两个已排查项:读速 1–5Mb/s 与左右声道分别转写
|
||||
|
||||
- **读速疑问(2026-10)**:8K 素材提音时读速只有 1–5Mb/s,怀疑"把整个视频拉了一遍"。
|
||||
实测该 ffmpeg 进程 `rchar` ≈ 全文件 **2.3%**(6.66GB 素材只读约 150MB)→ **只读了
|
||||
音轨**;慢在音频 chunk 之间的 CIFS seek 与 4 路并发(同一文件顺序读对照 18.8MB/s),
|
||||
不是代码缺陷,也不是瓶颈(提音与转写并行、GPU 空闲)。**不要为提速去改 `-vn`/`-ac`
|
||||
或重跑这套排查**;可选提速手段(`-avioflags direct`、挂载预读参数、提高并发)均已
|
||||
列在专题文档,未实测。
|
||||
- **左右声道分别转写(已否决,2026-10)**:素材是单条 stereo 流,L/R 实测**并不同源**
|
||||
(逐窗口相关 0.28–0.68、最佳滞后相关 ≤0.79,合并电平比更响声道低 1.4–2.6dB),
|
||||
但整片三路转写 A/B 显示**字幕无系统性收益**:长句 91/91/87、覆盖时长 ±5%,
|
||||
7 分钟只发现 1 条单声道独占短句,而成本翻倍(全量约 +17–20 小时挂钟)。
|
||||
**结论:维持 `-ac 1`,不做拆声道**。若日后想抓独占短句,只做"合并结果出现长空档时
|
||||
用较响声道回退"的低成本变体,不要重开"全量拆声道"路径。
|
||||
- 详细数据、脚本与产物:[优化-提音IO声道与运行日志.md](./优化-提音IO声道与运行日志.md)。
|
||||
|
||||
## 相关文档
|
||||
|
||||
- 当前生效的参数与协议:[node-protocol.md](./node-protocol.md)
|
||||
- 实验数据(成本/耗时、审校定位实验):[实验数据-字幕重生成成本与耗时.md](./实验数据-字幕重生成成本与耗时.md)、[实验数据-字幕审校定位与修复实验.md](./实验数据-字幕审校定位与修复实验.md)
|
||||
- 提音读速/声道/日志的排查结论:[优化-提音IO声道与运行日志.md](./优化-提音IO声道与运行日志.md)
|
||||
- 运维语义与批量流程:[operations.md](./operations.md)
|
||||
- 缺陷 ID 与验收标准:[代码审查问题跟踪.md](./代码审查问题跟踪.md)
|
||||
|
||||
@@ -10,7 +10,7 @@
|
||||
| 节点 ID(node_type) | 输入 | 输出 | 说明 |
|
||||
| --- | --- | --- | --- |
|
||||
| `echo` | `text` / `file_uri` | `text`、`file_uri` | 示例节点,验证协议链路 |
|
||||
| `ffmpeg-extract` | `video_uri` | `audio_uri`(WAV) | 参数:`sample_rate`、`channels` |
|
||||
| `ffmpeg-extract` | `video_uri` | `audio_uri`(WAV) | 参数:`sample_rate`、`channels`(默认 `-ac 1` 平均合并;**为何不拆左右声道见 [优化-提音IO声道与运行日志.md](./优化-提音IO声道与运行日志.md)**,已实测否决) |
|
||||
| `faster-whisper` | `audio_uri`(16kHz 单声道) | `srt_uri` | 参数:`language`、`task`、`model_path`、`device`、`compute_type`、`beam_size`、`vad_filter`(默认开)、`condition_on_previous_text`、`chunk_seconds` |
|
||||
| `llm-translate` | `srt_uri` | `cn_srt_uri` | 参数:`target_language`、`model`、`unload_after`。`unload_after` 控制节点结束后是否卸载本地模型释放显存(默认:端点在本机时卸载,云端不卸载)。支持**节点内暂停**:run 根目录有 `paused.flag` 时翻译在批边界(20 行/批)中止并返回 failed,调度器保持 PAUSED;批量分块流水线期间引擎写 `keep_model.flag`,此时不卸载模型(阶段结束由引擎统一释放) |
|
||||
| `vlm-ocr` | `image_uri` | `text`、`text_uri` | 直接调本地 Ollama 多模态模型(glm-ocr)的 `/api/chat` 做视频帧 OCR(流式 + 5s 上限),参数:`model`、`ollama_host`、`prompt`、`timeout_seconds`、`keep_alive`、`num_predict`、`temperature`、`repeat_penalty` |
|
||||
|
||||
@@ -0,0 +1,172 @@
|
||||
# 优化:提音 I/O、声道处理与运行日志
|
||||
|
||||
本文件汇总三个已定位问题的**现象 / 原因 / 解决方案**:提音阶段读速偏低、
|
||||
节点开始日志过长、以及"是否该按左右声道分别转写"。所有数据均为本机实测,
|
||||
代码位置对应 `nodes/ffmpeg.py` 与 `src/wov_app/registry.py`。
|
||||
|
||||
## 一、提音阶段读速只有 1–5Mb/s
|
||||
|
||||
### 现象
|
||||
|
||||
批量任务中 `ffmpeg-extract` 阶段(`nodes/ffmpeg.py`)读素材的速度只有
|
||||
1–5Mb/s,看上去像"把整个视频都拉了一遍"。
|
||||
|
||||
### 原因:只读了音轨,慢在 CIFS 随机读
|
||||
|
||||
`-vn` 丢弃视频流后,MP4 解复用器按 sample 表 seek,跳过视频 sample,
|
||||
**不会传输视频数据**。实测(`run_4a7caa0813c8`):
|
||||
|
||||
| 项 | 值 |
|
||||
| --- | --- |
|
||||
| 素材 | `/mnt/fnOS/123/SAVR-1142/savr01142_1_8k.mp4`,6,661,734,368 B,2456.29s(41 分钟) |
|
||||
| 视频流 | hevc,21.43 Mbps,147230 帧 |
|
||||
| 音频流 | aac,256 kbps,48kHz,stereo,单条流 |
|
||||
| 产物 | `steps/extract/audio.wav` = 78,603,000 B(理论 78,602,961 B,完整) |
|
||||
| 该进程 `/proc/<pid>/io` | 输出 78.6MB 时 `rchar` 约 **150MB = 全文件 2.3%** |
|
||||
| 单进程读速 | **0.2–0.8 MB/s**(突发式),进程常驻 `D`(I/O 等待) |
|
||||
| 4 路并发时 `enp3s0` 收包 | 4,677,290 B / 6s = **0.78 MB/s ≈ 6.2 Mbit/s** |
|
||||
| 同一文件冷顺序 `dd`(64MiB) | **18.8 MB/s** |
|
||||
| 挂载 | `//192.168.123.199/123 on /mnt/fnOS/123 type cifs (vers=3.0, cache=strict, actimeo=1, rsize=4194304)` |
|
||||
| ffmpeg | 4.2.7(`/usr/bin/ffmpeg`) |
|
||||
|
||||
结论:**读速慢不是读了视频,而是访问模式**——音频 chunk 之间夹着大量视频数据,
|
||||
每个音频 chunk 都要 seek,CIFS 上每次 seek 都是网络往返;再叠加 4 路并发提音。
|
||||
对照顺序读 18.8MB/s 可知 NAS 带宽并未打满。
|
||||
|
||||
### 解决方案(均未执行)
|
||||
|
||||
| 方案 | 说明 | 预期 |
|
||||
| --- | --- | --- |
|
||||
| 维持现状 | extract 与后续转写/翻译**并行**,且 extract 是 GPU 空闲阶段;实测 8 个视频提音 ≈7.8 分钟,被转写掩盖(见 [实验数据-字幕重生成成本与耗时.md](./实验数据-字幕重生成成本与耗时.md) 第六节) | 不改也非瓶颈 |
|
||||
| `-avioflags direct` | 绕过 page cache,减少 CIFS 上的预读放大 | 未实测 |
|
||||
| 挂载/内核预读参数 | `read_ahead_kb`、`actimeo`、`cache=loose` | 未实测,需 root,且影响其他读取方 |
|
||||
| 提高提音并发度 | 提音是延迟受限而非带宽受限,加并发可能提高总吞吐 | 未实测(当前 4 路已把 NAS 打到 0.78MB/s) |
|
||||
| 先拷本地再提音 | 6.66GB ÷ 18.8MB/s ≈ 6 分钟拷贝 + 本地提音 | 与现状 6.5 分钟相当,还占 6.6GB 本地盘,不划算 |
|
||||
|
||||
优先级:低。单视频提音 ≈6.5 分钟,而同一素材的 ASR 阶段更长(HST 下约
|
||||
4.5 分钟/素材小时),提音不是流水线瓶颈。
|
||||
|
||||
## 二、节点开始日志过长
|
||||
|
||||
### 现象
|
||||
|
||||
`2026-10-18 16:31:22,180 [INFO] 节点 ffmpeg-extract 开始 run=... inputs={...} params={...}`
|
||||
一行里塞进了 `_note_sample_rate`、`_note_channels`、`_node_help` 等参数说明,
|
||||
`_node_help` 内含真实换行,一条 INFO 被撑成多行长文,连 `grep` 都被打断。
|
||||
|
||||
### 原因
|
||||
|
||||
- `src/wov_app/registry.py:84` 起把 `request.params` 整个 `%s` 打印。
|
||||
- workflow JSON 不支持注释,参数理由以 `_note_<参数名>`、`_node_help` 键存在
|
||||
`params` 内(约定见 [workflows.md](./workflows.md)),这些键会被原样传进日志。
|
||||
各工作流的说明键体量:
|
||||
|
||||
| 工作流 | 说明键字符数(按节点) |
|
||||
| --- | --- |
|
||||
| `learn-translate.json` | 3524(asr 2105、ass 561、extract 491、translate 367) |
|
||||
| `ocr-subtitle.json` | 440(filter) |
|
||||
| `zh-direct.json` | 0 |
|
||||
|
||||
- 附带噪声:`nodes/subtitle_ocr.py:205` 每帧 `registry.invoke("vlm")`,
|
||||
每帧各产生一条"开始 + 完成"日志。
|
||||
|
||||
### 解决方案(未执行)
|
||||
|
||||
1. **推荐**:`registry.invoke` 记录前过滤 `_` 前缀键(`_note_*` / `_node_help`),
|
||||
并对超长单值截断;完整 `inputs`/`params` 降到 DEBUG,用环境变量开关。
|
||||
节点照常收到这些键(节点本就忽略它们),行为不变。
|
||||
2. 只过滤 `_` 前缀,真实参数仍全量 INFO 打印。
|
||||
3. 逐帧 `vlm` 调用日志单独降噪(同一 run 内重复调用只打首尾,或改由
|
||||
`subtitle_ocr` 汇总),与方案 1 独立。
|
||||
|
||||
## 三、左右声道分别转写是否可行
|
||||
|
||||
### 现状
|
||||
|
||||
`nodes/ffmpeg.py:56` 默认 `-ac 1`,由 ffmpeg 把 stereo **平均合并**为单声道,
|
||||
再喂给 faster-whisper(whisper 只接受单声道)。抽查 3 个 8K VR 素材
|
||||
(`savr01142_1_8k`、`KAVR-522-A`、`13dsvr02017_2_8k`)都是**单条 AAC 256kbps
|
||||
48kHz stereo 流**,没有左右独立音轨,所以"按声道分别转写"必须解码后自行拆声道。
|
||||
|
||||
### 实测:两声道并不同源(2026-10-18)
|
||||
|
||||
抽样 6 个 8K VR 素材,各取 offset=600s 起的 120s,解码 stereo PCM 后逐 1 秒
|
||||
窗口统计(脚本与原始输出见 `data/experiments/stereo_check/`:`check_channels.py`、
|
||||
`check_channels_lag.py`、`run.log`、`run_lag.log`):
|
||||
|
||||
| 素材 | L/R 相关(0 滞后) | 最佳滞后相关 | 最大滞后 | mid/side | 合并相对较响声道 |
|
||||
| --- | --- | --- | --- | --- | --- |
|
||||
| `savr01142_1_8k` | 0.679 | 0.744 | 0.8ms | 8.2dB | −1.42dB |
|
||||
| `KAVR-522-A` | 0.525 | 0.665 | 4.4ms | 5.5dB | −1.88dB |
|
||||
| `13dsvr02017_2_8k` | 0.532 | 0.790 | 0.4ms | 6.5dB | −2.27dB |
|
||||
| `13dsvr01806_1_8k` | 0.278 | 0.379 | 4.9ms | 2.6dB | −2.62dB |
|
||||
| `vrprd00198_1_8k` | 0.481 | 0.680 | 3.6ms | 5.2dB | −2.16dB |
|
||||
| `savr01054_1_8k` | 0.477 | 0.730 | 3.3ms | 5.1dB | −2.21dB |
|
||||
|
||||
结论:
|
||||
|
||||
- **不是"同一信号的小延迟"**:最佳滞后只有 0.1–0.6ms(最大 5ms),对齐后相关
|
||||
也只升到 0.38–0.79,远达不到同源;两声道是不同 mic/声像的真实双声道内容
|
||||
(VR 双耳混音),side 能量只比 mid 低 2.6–8.2dB。
|
||||
- **当前 `-ac 1` 平均合并不是无损**:合并后电平比更响的声道低 1.4–2.6dB,说明
|
||||
存在部分抵消/梳状滤波;越是对声道差异大的素材(如 `13dsvr01806`)损失越大。
|
||||
- 未发现整体极性反转(0 滞后相关为正,反相相关恒为负值,属定义恒等式,不作为
|
||||
证据)。
|
||||
|
||||
### 可行性判断(修正后)
|
||||
|
||||
- **技术上可行**:两次提音各出一路 mono WAV——左 `-af "pan=mono|c0=c0"`、
|
||||
右 `-af "pan=mono|c0=c1"`(ffmpeg 4.2 下 `channelsplit` 只 map 一路会报
|
||||
`Filter channelsplit:FR has an unconnected output`,不要用),再分别跑 whisper、
|
||||
按时间轴合并去重。改动集中在 `ffmpeg-extract`(多一路产物)与 ASR 后的合并逻辑。
|
||||
- 原来"两声道同源、拆分无收益"的假设**已被实测否定**:声道差异显著,合并有
|
||||
可测量的电平损失。但低相关并不等于"合并后人声变差"——相关性低也可能只是
|
||||
混响/声像差异,因此下面用转写 A/B 直接检验字幕收益。
|
||||
- **成本**:ASR 约翻倍。按实测 ASR ≈12.9 分钟 / 5.1 素材小时(HST 后 ×1.8 ≈
|
||||
23 分钟)推算,全量 187.86 小时待重生成会多出约 17–20 小时挂钟与相应电耗。
|
||||
- **低成本变体**(若 A/B 证明拆分确有收益):按段选能量更高的声道(1× ASR
|
||||
成本);或只对合并结果的空段回退查较响声道;或先做声道对齐再合并。
|
||||
|
||||
### 实测:三路转写 A/B(2026-10-18)
|
||||
|
||||
素材 `/mnt/fnOS/123/test/kavr00328-1_seg_002.mp4`(423s,h264 29Mbps +
|
||||
aac 256kbps stereo,多人左右声道分布典型样本),**整片**分别提音为当前合并
|
||||
(`-ac 1`)、仅左(`pan=mono|c0=c0`)、仅右(`pan=mono|c0=c1`),
|
||||
再用生产 whisper 参数(`learn-translate` 的 asr 节点:large-v2、decode_full、
|
||||
HST 2.0、chunk 60s、beam 1、ja)各转写一次。
|
||||
脚本与产物:`data/experiments/stereo_check/ab_transcribe.py`、`ab*/transcript.srt`、
|
||||
`compare_ab.py`、`compare.log`、`ab.log`/`ab2.log`/`ab3.log`。
|
||||
|
||||
| 变体 | 条数 | 字数 | 字幕覆盖时长 | 长句(>4 字) |
|
||||
| --- | --- | --- | --- | --- |
|
||||
| 合并(现状) | 114 | 1163 | 257.2s | 91 |
|
||||
| 仅左 | 120 | 1171 | 270.8s | 91 |
|
||||
| 仅右 | 111 | 1117 | 254.5s | 87 |
|
||||
|
||||
- 三路规模相当,**没有出现"合并漏掉整句"的系统性损失**:长句数 91/91/87,
|
||||
覆盖时长差异在 ±5% 内。
|
||||
- 差异集中在短促语气词(`あははは`/`あれ?`/`ねー`/`うんうん`/`かわいい`),
|
||||
属 ASR 对弱语音的正常不稳定;合并路有 9/114 条与左右都明显不同(<0.6 相似度),
|
||||
但同位置左右也互不相同。
|
||||
- **只发现 1 条"单声道独有"的长句**:仅右声道在 `0.0–2.5s` 有 `おー、リンパも`,
|
||||
合并与仅左都从 3.6s 才开始。说明确实存在声道独占内容,但频率极低
|
||||
(7 分钟 1 条)。
|
||||
- 合并路唯一独占的是片尾套话幻觉 `ご視聴ありがとうございました`,属应被幻觉清洗
|
||||
移除的噪声,不计入收益。
|
||||
- 转写耗时(合并 53.3s / 仅左 24.3s / 仅右 89.3s)**不可比**:当时批量任务
|
||||
正在争用 GPU,只能说明单路约 1 分钟量级。
|
||||
|
||||
### 结论
|
||||
|
||||
**按声道分别转写不值得做**:成本翻倍(全量约 +17–20 小时挂钟),换来的只是
|
||||
偶发的单声道独占短句(本样本 7 分钟 1 条),而长句召回、覆盖时长均无提升。
|
||||
维持 `-ac 1`。若日后想抓这类独占内容,走"只在合并结果出现长空档时用较响
|
||||
声道回退重试"的低成本变体,不必全量拆声道。
|
||||
|
||||
## 四、结论状态
|
||||
|
||||
| 问题 | 结论 | 状态 |
|
||||
| --- | --- | --- |
|
||||
| 提音读速 1–5Mb/s | 只读音轨(全文件 2.3%);慢在 CIFS 随机读 + 并发,非瓶颈 | 维持现状,优化方案未执行 |
|
||||
| 开始日志过长 | `_note_*` / `_node_help` 被整体打印 | 方案已列出,代码未改 |
|
||||
| 声道分别转写 | 三路 A/B:长句 91/91/87、覆盖 ±5%,仅 1 条单声道独占长句;成本翻倍 | **不做**,维持 `-ac 1` |
|
||||
Reference in New Issue
Block a user