 cat-shark
|
4d2823c005
|
fix: 短时重复伪影也整条删除（判据补重复次数上限）
真实产物里出现 3.7 秒的 cue 被同一个假名填满 111 次（`は`×111），此前判据要求
"时长 ≥15 秒"才删，于是它漏到翻译层，最终变成 56 个"哈"进中文成品字幕。
- 判据改为：重复段占正文 ≥70% 且重复 ≥6 次，并且**时长 ≥15 秒或重复 ≥20 次**。
- 短条走"极端重复"档：真实呻吟的重复次数实测 ≤15（ぇ×15 占 3.2 秒），不会误删。
- 测试数据取自真实产物（A 的日语转写里那条 112 字短伪影）。
|
2026-09-18 23:41:32 +08:00 |
|
|
cat-shark
|
3f4478523e
|
fix: whisper 重复伪影整条删除，避免翻译层空响应失败
whisper 在单个窗口内卡住重复时会把一个单元写满整条 cue（实测 30 秒整、重复
74–446 次，如 `チン`×111）。这类正文会让下游 LLM 跟着循环、把输出预算耗在思考上，
最终 `content` 返回空串并报 `translation alignment failed … Expecting value:
line 1 column 1 (char 0)`；它也可能直接渲染成超长字幕行。
- `nodes/subtitle_cleanup.py` 新增 `remove_repetition_entries`：**纯模式判据、无字符
词表**——展示时长 ≥15s 且同一 1–6 字单元连续重复 ≥6 次且覆盖正文 ≥70% 的 cue 整条
删除；真实短促呻吟（`ぇ`×15、`ああああああ`）靠时长区分，零误删。
- `nodes/whisper.py` 在转写产出处应用该清洗（VAD 开关都生效，它与套话幻觉无关）。
- 真实数据验证：本地全部真实转写 3605 条 cue 只删 5 条 30 秒伪影；对照实验同批次
伪影截短后 5/5 成功、原样 1/5。
|
2026-09-18 22:23:25 +08:00 |
|
|
cat-shark
|
8a715a8064
|
test: 按模块重写测试代码，删除旧平铺结构
按"测试规则"重写 tests/：一个模块一个目录、用例按数据→过程→验证三段书写、
不保留全局 conftest.py、测试过程只调用真实生产代码。
结构（73 个文件、30 个模块目录、477 用例）：
- tests/nodes/ 15 个模块目录（srt/whisper/ass/ffmpeg/frame_extract/vlm/
subtitle_ocr/llm/llm_filter/subtitle_cleanup/subtitle_correction/
proper_nouns/adaptive_pool/vad_profiler/echo）；
- tests/app/ 11 个模块目录（db/scheduler/batch/maintenance/registry/seed/
storage/config/logging/main/routers 三组 API）；
- tests/sdk/test_models、tests/web/test_crop、tests/shared（公共设施）。
测试数据随模块目录入库（tests/**/data/），删除根级 testdata/；.gitignore
的 data/ 改为 /data/，否则会连带忽略 tests/**/data/ 导致测试数据无法入库。
顺带发现并修复三个真实缺陷：
- nodes/srt.py：相邻条目缺少空行时把下一条时间轴吞进正文（静默错位），
改为正文行遇时间戳行即报错；
- src/wov_app/scheduler.py：_file_size 只捕获 OSError，含 \x00 的产物 URI
抛 ValueError 导致任务误判失败，改为同时捕获；
- nodes/subtitle_correction.py：生产代码依赖测试包解析 SRT，
改用生产模块 nodes/srt.py。
真实模型/服务集成测试按外部状态跳过：新增 tests/shared/gpu_memory.py
（运行时探测显存、CUDA OOM 转跳过）与 tests/shared/llm_service.py
（无 Key / 余额 / 限流转跳过）。全量 477 passed。
|
2026-09-13 15:40:56 +08:00 |
|