 cat-shark
|
a032855210
|
feat: 字幕质量提升——长时寒暄幻觉清洗 + 专名/成人隐语不直译
两部分同属字幕质量优化，共用 llm.py 翻译链路：
1) 长时寒暄幻觉词清洗（nodes/subtitle_cleanup.py）
对展示时长超过阈值（默认 15s，实测 30s 幻觉占位 vs 2s 真实词的分界）
且文本含收尾/开场寒暄（晚安、感谢观看等）的字幕，文本替换为 '-'，
由后续过滤流程移除；短时寒暄（如剧情中真实互道晚安）保留不误删。
写文件前调用 。
2) 专名/隐语不直译（nodes/proper_nouns.py）
片假名专名（人名/品牌/角色）与成人语境隐语是 LLM 误译重灾区：
- ジンゴ 被误译成'芒果'、カンタくん 被保留日文而非音译；
- マンゴー/バナナ/リンゴ/金玉/おまんこ/ちんちん 等在色情语境中
是生殖器官代称，字面直译严重错译。
整理三张规则表（专名/拟声词/成人隐语，用户提供隐语表），
检测原文命中后动态注入翻译提示词，
让 LLM 按正确语义处理。文档见 docs/proper_nouns.md。
测试（红→绿）：
- tests/test_hallucination_mask.py：长时掩码/短时保留/非寒暄保留/阈值边界
- tests/test_proper_nouns.py：专名命中/拟声词/成人隐语/真实数据集成
- 真实 LLM 集成测试（完整 1440 行翻译 + 清洗 + 专名注入）通过
|
2026-09-05 22:32:40 +08:00 |
|
|
cat-shark
|
5c12bbcb74
|
fix: 翻译批内行数错位（内容-时间错位）+ system_prompt 元组 bug
根因（真实任务 run_51242078d76e）：
1. LLM 按 CHUNK_SIZE=20 分批翻译时，对语义碎片句（如单独的助词/名词/
语气词）偶发多拆/少拆一行，translate_lines 无条件 extend 导致：
- 多行 -> 后续所有字幕文本整体错位，时间戳从原文复制、文本却错贴时间；
- 少行 -> invoke 末尾补空导致该条内容缺失。
程序按时戳看不出问题，实际"内容对错时间"（如第756条"好像喜欢害羞
的样子"错贴 3805s，实为"恥ずかしいのが好きみたいなので"的译文）。
2. system_prompt 圆括号内出现 f-string 赋值导致隐式字符串拼接失效，
整体变成 tuple，json 序列化后 content 是数组 -> LLM API 400。
修复：
- 提示词强化：逐行独立翻译 + 碎片句按语境独立成行 + 禁止合并/拆分；
- _repair_batch：多行末尾合并到前一行、少行重试该批（最多3次）仍不足
补空串占位（宁缺勿错位），保证译文与原文逐条时间对齐；
- system_prompt 显式 + 拼接为单个字符串。
测试（先红后绿）：
- test_translate_lines_aligns_extra_line：多行合并对齐
- test_translate_lines_aligns_missing_line：少行重试补齐
- test_translate_lines_pads_after_retries_exhausted：重试耗尽补空
- test_pipeline_zh_cn_timetext_alignment：真实 LLM 完整 1440 行逐条对齐
pyproject.toml: 注册 integration marker
|
2026-09-05 19:36:47 +08:00 |
|
|
cat-shark
|
4746e0363f
|
feat: VRSub 单体应用（WOV 单机版）初始提交
为视频生成 VR 双眼字幕的单体实现：FastAPI 后端、调度器与全部节点
（提音/转写/翻译/ASS/抽帧/OCR/LLM 过滤）在单进程内运行。
- 节点协议（wov_sdk 数据模型）与分布式版保持一致，预留回退桥梁
- 工作流即数据：DAG 存于 workflows/*.json，模型/链路改动只改数据
- 调度器：拓扑顺序执行、断点续跑（产物重建）、任务暂停/继续
- 抽帧按帧间隔（select 按帧号精确取帧），VLM OCR 与 LLM 过滤使用
自适应线程池弹性并发，并打印数据处理速度进度日志
- 100% 行覆盖率（pytest --cov-fail-under=100）
|
2026-08-16 23:58:25 +08:00 |
|