 cat-shark
|
3f4478523e
|
fix: whisper 重复伪影整条删除，避免翻译层空响应失败
whisper 在单个窗口内卡住重复时会把一个单元写满整条 cue（实测 30 秒整、重复
74–446 次，如 `チン`×111）。这类正文会让下游 LLM 跟着循环、把输出预算耗在思考上，
最终 `content` 返回空串并报 `translation alignment failed … Expecting value:
line 1 column 1 (char 0)`；它也可能直接渲染成超长字幕行。
- `nodes/subtitle_cleanup.py` 新增 `remove_repetition_entries`：**纯模式判据、无字符
词表**——展示时长 ≥15s 且同一 1–6 字单元连续重复 ≥6 次且覆盖正文 ≥70% 的 cue 整条
删除；真实短促呻吟（`ぇ`×15、`ああああああ`）靠时长区分，零误删。
- `nodes/whisper.py` 在转写产出处应用该清洗（VAD 开关都生效，它与套话幻觉无关）。
- 真实数据验证：本地全部真实转写 3605 条 cue 只删 5 条 30 秒伪影；对照实验同批次
伪影截短后 5/5 成功、原样 1/5。
|
2026-09-18 22:23:25 +08:00 |
|
|
cat-shark
|
7a7212f70c
|
docs: 注释规范要求精简可读，并清理生产代码中的历史叙事
AGENTS.md 的注释规范新增三节可执行约束：
- 只写代码真实逻辑：注释只回答"做什么"与"为什么必须这么做"，禁止写决策/
修改时间、历史版本对比、实测数据与实验结论、事故与缺陷编号（run_xxxx /
batch_xxxx / R01 等）——这些属 docs/decisions.md 与审查跟踪文件；当前生效
的约束可以写，但不附带它何时因何变成这样。
- 精简可读：单段连续注释不超过 3 行；docstring 一句话概括职责，不重复函数名
已表达的信息；不写逐行翻译代码的废话注释，只在非显然处（业务规则、边界、
易错点、外部约束）加注。
- 覆盖范围：测试注释只说明验证什么行为，回归用例可保留一句溯源；并明确
参数说明应写在**参数读取处**附近，而不是把多个参数的解释堆在离使用位置
很远的注释块里。
按此清理生产代码（注释净减 70 行，18 个文件），典型处理：
- nodes/whisper.py：删掉堆在一起、含"用户 2026-08 决定 / 实测 savr-1054"
等叙事的参数块，把各参数说明移到各自的读取处与 model.transcribe 调用处；
- nodes/llm_filter.py、nodes/subtitle_cleanup.py：模块 docstring 去掉英文
背景叙事与条数统计，保留"默认只跑规则层""整条删除而非 '-' 占位"等当前
行为；
- src/wov_app/{batch,db,scheduler}.py 与 routers：去掉 batch_xxx/run_xxx 事故
编号与"修复前……"对比，改为一句"否则会出现什么问题"；
- nodes/ass.py、frame_extract.py：去掉废弃值对比与日期，保留判据本身。
安全验证：用 AST 对比（剥离 docstring 后比较语法树）确认 18 个文件**零逻辑
变更**；`nodes/proper_nouns.py` 的规则表 reason 字段会注入 LLM 提示词，属于
数据而非注释，已恢复原值。全量测试 476 passed。
|
2026-09-13 16:37:49 +08:00 |
|
|
cat-shark
|
8f6083f8cf
|
feat: 全系统统一 Whisper V2 权重并移除 demo 工作流
确认所有运行时引用均使用 V2（V3 已停用），并修复一处真实不一致：
- 工作流数据文件：learn-translate 用 faster-whisper-large-v2、
zh-direct 用 whisper-large-v2-translate-zh-v0.2-st-ct2（原本即 V2）；
- 本地库的 demo 最新版本仍指向 large-v3：workflows/demo.json 早已改为 V2，
但 seed 对已存在工作流刻意跳过，导致旧库停留在历史上用 V3 保存的定义，
即本机跑 demo 实际加载 V3 权重。按用户决定移除 demo 工作流及其关联的
6 个 run、1 个批量任务与 431 条明细（媒体库中已放置的 6 个字幕成品保留）；
- nodes/whisper.py 候选与远端兜底本就是 large-v2；
- V3 权重目录保留在盘上仅作对照实验，文档标注为废弃；
scripts/compare_whisper_v2_vs_v3.py 保留用于对照。
顺带修复与清理：
- src/wov_app/scheduler.py：_file_size 补捕 ValueError（见上一条提交说明
的真实缺陷，此处为同一批改动）；
- .gitignore：data/ 改为 /data/，避免连带忽略 tests/**/data/；
- scripts/*：评测集路径改到 scripts/data/translate_eval/；
- 代码注释与文档同步移除 demo 引用（历史调研文档保留说明性引用）。
验证：全量 477 passed；新库 seed 只创建 3 个 V2 工作流。
|
2026-09-13 15:41:58 +08:00 |
|
|
cat-shark
|
eba9163246
|
feat: 优化学习视频转写与字幕清洗
|
2026-09-11 14:26:02 +08:00 |
|
|
cat-shark
|
a8fe133aa4
|
feat: whisper 新增 decode_full 无VAD整段解码参数并改为整条删除式幻觉清洗
解决转写漏句（有人说话但没识别出来）问题：silero VAD 对呻吟/轻语/BGM
混叠声学切段能力天然不足，把真话当非语音剔除（实测 savr-1054 全片仅
召回 115 条）。新增 decode_full 参数（默认 false 保持 VAD 现状）：
- decode_full=true 时强制无 VAD 整段解码 + 跳过自动 VAD 分析，救回被
剔除的弱语音（savr-1054 全片 115 条 → 340 条）
- 副作用是长时寒暄套话幻觉（おやすみなさい/ご視聴ありがとうございま
した 等），whisper 转录后连带时间戳整条删除（clean_japanese_ha
lllucinations），不留下 '-' 占位污染下游（占位会渲染进 ASS 成减号）
- llm-translate 翻译后同样整条删除中文长时寒暄幻觉（clean_srt_text）
- 短时（≤15s）相同词可能是剧情真实道晚安，保留（15s 阈值实测校准）
- subtitle_cleanup 由 '-' 占位式改为整条删除式 + 剩余重编号，新增
JAPANESE_HALLUCINATION_TOKENS 词表
新增工作流 learn-translate（学习资料转译+翻译字幕）示范 decode_full
用法，并确立参数标注约定：params._note_<参数名> 存放设定理由与正反例、
_node_help 放节点参数手册（_ 前缀说明键，节点执行时忽略，零运行影响）。
调研记录见 docs/调研-whisper漏句与decode_full验证.md（A/B 实验、结论
修正与 5 个待决问题）。
|
2026-09-07 17:21:04 +08:00 |
|
|
cat-shark
|
a032855210
|
feat: 字幕质量提升——长时寒暄幻觉清洗 + 专名/成人隐语不直译
两部分同属字幕质量优化，共用 llm.py 翻译链路：
1) 长时寒暄幻觉词清洗（nodes/subtitle_cleanup.py）
对展示时长超过阈值（默认 15s，实测 30s 幻觉占位 vs 2s 真实词的分界）
且文本含收尾/开场寒暄（晚安、感谢观看等）的字幕，文本替换为 '-'，
由后续过滤流程移除；短时寒暄（如剧情中真实互道晚安）保留不误删。
写文件前调用 。
2) 专名/隐语不直译（nodes/proper_nouns.py）
片假名专名（人名/品牌/角色）与成人语境隐语是 LLM 误译重灾区：
- ジンゴ 被误译成'芒果'、カンタくん 被保留日文而非音译；
- マンゴー/バナナ/リンゴ/金玉/おまんこ/ちんちん 等在色情语境中
是生殖器官代称，字面直译严重错译。
整理三张规则表（专名/拟声词/成人隐语，用户提供隐语表），
检测原文命中后动态注入翻译提示词，
让 LLM 按正确语义处理。文档见 docs/proper_nouns.md。
测试（红→绿）：
- tests/test_hallucination_mask.py：长时掩码/短时保留/非寒暄保留/阈值边界
- tests/test_proper_nouns.py：专名命中/拟声词/成人隐语/真实数据集成
- 真实 LLM 集成测试（完整 1440 行翻译 + 清洗 + 专名注入）通过
|
2026-09-05 22:32:40 +08:00 |
|