"""Subtitle cleanup: remove long-duration closing/greeting hallucinations. Background (real run 20260905115050): after fixing the timing alignment, subtitles still contain "closing/greeting hallucination words" - fixed phrases like 'wan an / gan xie guan kan / gan xie nin de guan kan' (good night / thanks for watching) that the ASR/LLM repeatedly emits on empty segments, filling a full 30s block, unrelated to video content. Some 2s 'good night' might be real dialogue, so it must be kept. 处理策略（2026-09 用户确认改为"整条剔除"）： 幻觉识别出后（展示时长 ≥ 阈值 且 文本命中套话词表），应**连带时间戳把整条 字幕 cue 删除**（剩余条目重新编号），而不是把文本替换成 '-' 占位留给下游—— 占位会一路流到 ASS 渲染成可见的"减号"、在翻译/过滤阶段都要额外特殊处理， 处理位置绕且不彻底。因此清洗统一为：**在幻觉产生处（whisper 转录后 / LLM 翻译后）整条删除**，时间轴随之消失，字幕序号重新连续编号。 两类词表： - HALLUCINATION_TOKENS：中文（LLM 翻译产物中的寒暄，如"晚安/感谢观看"）； - JAPANESE_HALLUCINATION_TOKENS：日文（whisper decode_full 无 VAD 解码在 无语音段直接输出的套话，如"おやすみなさい/ご視聴ありがとうございました"）。 阈值从真实运行实测数据判定：30s 幻觉占位 vs 2s 真实词，分界明显， 默认 threshold=15s（≥15s 才删除；<15s 的相同词可能是剧情真实道晚安，保留）。 Pure functions, unit-testable (tests/test_hallucination_mask.py). """ from __future__ import annotations import re # Greeting/closing hallucination tokens that LLM repeats on empty/end segments. HALLUCINATION_TOKENS = ( "谢谢观看", "感谢观看", "感谢收看", "谢谢收看", "感谢您的观看", "感谢您的收看", "晚安", "下次再见", "再会", "敬请期待", "感谢您的光临", "欢迎光临", "再见", "多谢观看", "观看愉快", ) # Display-duration threshold (seconds): only remove entries longer than this. DEFAULT_THRESHOLD_SECONDS = 15.0 # 日文 ASR 直出（whisper 节点 decode_full 无 VAD 整段解码）的收尾/寒暄幻觉词。 # 无 VAD 解码会把无语音/音乐/呻吟段当语音，whisper 常在这些段重复输出套话 # （实测 savr-1054 全片 119-149s/600-630s 等出现 30s 长"おやすみなさい" # "ご視聴ありがとうございました"）。短时（≤阈值）的相同词可能是剧情里真实 # 互道晚安，须保留；仅删除展示时长 ≥ 阈值的条目（与中文表同一机制）。 JAPANESE_HALLUCINATION_TOKENS = ( "おやすみなさい", # 晚安 "ご視聴ありがとうございました", # 感谢观看 "ありがとうございました", # 感谢 "ご視聴ありがとうございます", # 感谢观看(现在时) "また見てね", # 下次再见 "お楽しみに", # 敬请期待 "チャンネル登録よろしくお願いします", # 求订阅 "さようなら", # 再见 "音楽", # 音乐(自述) "Goodbye", "Thank you for watching", ) # 纯呻吟/喘息字符集合（decode_full 救回弱语音后的去噪，2026-09 用户决策）。 # # 背景（实测 savr-1054-2 前 600s）：decode_full 无 VAD 解码会把呻吟/BGM 混叠 # 的弱语音也整段救回，但其中混有大量**纯语气词碎片**（あ…/ん?/はぁ…/あ!あ! # /んふふ 等），这类内容放进字幕是噪声。判据：文本（去空白/标点）**全部由本 # 集合字符组成**且有效假名数 ≤ 阈值才删除。集合**刻意排除** そ/こ/ね/や/ば/だ # /く/へ 等假名——真实短对话（そこ/やばい/ねえ/やだ/えへへ）都含这些字符， # 含任意非集合字符的条目天然不命中，从根上避免误删真实短句。 MOAN_CHARS = frozenset( # 平假名元音与ん/ふ/は（呻吟与喘息气流音的主干） "あいうえおんふはっ" # 小写假名（ぁぃぅぇぉ）与片假名对应（アィゥェォ、ン） "ぁぃぅぇぉアィゥェォン" # 长音符/省略号/半浊音（ー〜…、…）与空白、标点（呻吟常带这些装饰） "ー〜…\u2026。、!?？！、" " \t" ) # 短呻吟过滤的默认有效假名上限：真实呻吟/喘息碎片（あ/ん/ん?/はぁ…/あ!あ! # /んふふ）有效假名 ≤3；>3（如ああああ）或含非呻吟字符的一律保留。 DEFAULT_MOAN_MAX_CHARS = 3 def _moan_chars(text: str) -> int: """返回 text 中'有效假名字符'数量（呻吟判据的一部分）。 只统计假名（片/平）与发音健全字符，空白/标点/长音符/省略号不计入， 这样'あ…'/'ん?'/'あ〜' 的有效字符都是 1 个。 """ return sum(ch in "あいうえおんふはっぁぃぅぇぉアィゥェォン" for ch in text) def _is_pure_moan(text: str, max_chars: int) -> bool: """判断一条字幕文本是否为'纯呻吟/喘息碎片'（整条删除判据）。 两个条件同时满足才返回 True： 1. 去除空白/标点后剩余字符**全部** ∈ MOAN_CHARS（即整个文本只能由呻吟 字符、标点、空白组成，不允许出现そ/こ/ね/や/ば 等真实词假名）； 2. 有效假名字符数 ≤ max_chars（超过阈值即使是纯呻吟长串也不删）。 """ chars = [c for c in text if not c.isspace()] # 全部字符必须都在呻吟字符集合中（含标点/长音符）。 if not chars or any(c not in MOAN_CHARS for c in chars): return False return _moan_chars(text) <= max_chars # 解析 SRT：每个 cue 由 序号行 + 时间轴行 + 文本行(可能多行) + 空行 组成。 # 采用逐行解析（不依赖可能粘连的跨 cue 正则），兼容文本多行。 _TS_RE = re.compile(r"^(\d{2}:\d{2}:\d{2},\d{3})\s*-->\s*(\d{2}:\d{2}:\d{2},\d{3})\s*$") def _ts_to_seconds(ts: str) -> float: """Convert an SRT timestamp HH:MM:SS,mmm to seconds (float).""" hours, minutes, rest = ts.split(":") seconds, millis = rest.split(",") return int(hours) * 3600 + int(minutes) * 60 + int(seconds) + int(millis) / 1000 def remove_hallucination_entries( srt_text: str, tokens: tuple[str, ...], threshold_seconds: float = DEFAULT_THRESHOLD_SECONDS, ) -> str: """删除 SRT 中展示时长 ≥ 阈值且文本命中 tokens 的**整条 cue**（连带时间戳）。 被删除的 cue 不再输出（序号、时间轴、文本全部消失），剩余 cue 按原顺序 重新从 1 编号，保证产物是合法连续的 SRT。输入不被修改（纯函数）。 用途：幻觉在产生处直接剔除——whisper decode_full（日语词表）与 LLM 翻译后 （中文词表）均调用本函数，避免 '-' 占位一路流到 ASS 渲染成可见减号。 内部委托 _remove_cues_by_predicate，与短呻吟过滤共用同一套 SRT 解析/重建。 """ def _keep(start_sec: float, end_sec: float, text: str) -> bool: """保留判据：不命中寒暄幻觉才保留。""" duration = end_sec - start_sec return not (duration >= threshold_seconds and any(t in text for t in tokens)) return _remove_cues_by_predicate(srt_text, _keep) def remove_short_moan_entries( srt_text: str, max_chars: int = DEFAULT_MOAN_MAX_CHARS, ) -> str: """删除 SRT 中'纯呻吟/喘息碎片'的**整条 cue**（whisper decode_full 去噪）。 decode_full 无 VAD 解码会把呻吟也整段救回，字幕混入大量纯语气词碎片 （あ…/ん?/はぁ…）。判据：文本全部由 MOAN_CHARS 组成且有效假名数 ≤ max_chars（默认 3）才删除（见 _is_pure_moan），真实短对话（そこ/やばい/ ねえ/やだ/えへへ/行く行く行く）天然不命中。max_chars=0 时关闭过滤（原 样返回）。仅在 whisper 节点 decode_full=true 时调用（用户 2026-09 决策， 不作用于 learn-translate 等 VAD 链路）。纯函数，不修改输入。 """ if max_chars <= 0: return srt_text def _keep(start_sec: float, end_sec: float, text: str) -> bool: """保留判据：非纯呻吟碎片才保留。""" return not _is_pure_moan(text, max_chars) return _remove_cues_by_predicate(srt_text, _keep) def _remove_cues_by_predicate( srt_text: str, keep: callable, ) -> str: """通用 SRT 逐条过滤：keep(起始秒, 结束秒, 文本) 为 False 的 cue 整条删除。 删除 cue 时序号/时间轴/文本全部消失，剩余 cue 重新从 1 连续编号（合法 SRT）。用逐行解析（不依赖跨 cue 正则，兼容多行文本）。纯函数不修改输入。 """ lines = srt_text.splitlines() kept: list[str] = [] number = 1 index = 0 while index < len(lines): line = lines[index] if line.strip() and line.strip().isdigit() and index + 1 < len(lines): ts_match = _TS_RE.match(lines[index + 1].strip()) if ts_match: # 收集本 cue 文本：时间轴后直到空行前的所有非空行（可多行）。 text_lines: list[str] = [] cursor = index + 2 while cursor < len(lines) and lines[cursor].strip(): text_lines.append(lines[cursor].strip()) cursor += 1 text = "\n".join(text_lines) start_sec = _ts_to_seconds(ts_match.group(1)) end_sec = _ts_to_seconds(ts_match.group(2)) if keep(start_sec, end_sec, text): # 保留：输出 新序号+时间轴+文本+空行（重建标准 SRT）。 kept.append( f"{number}\n{lines[index + 1].strip()}\n{text}\n" ) number += 1 # 删除：整条跳过（序号/时间轴/文本都不输出）。 index = cursor continue # 非 cue 行（文件头/尾部噪声）跳过，避免序号/空行残留。 index += 1 return "\n".join(kept).rstrip() + "\n" def clean_japanese_hallucinations( srt_text: str, threshold_seconds: float = DEFAULT_THRESHOLD_SECONDS, ) -> str: """从 SRT 中整条删除日文收尾/寒暄长时幻觉（ASR 无 VAD 解码兜底）。 whisper 节点 decode_full=true（无 VAD 整段解码）在无语音段会输出长时 套话占位；本函数把展示时长 ≥ 阈值且文本含 JAPANESE_HALLUCINATION_TOKENS 的**整条 cue 连带时间戳删除**、剩余重编号。短时相同词（剧情真实道晚安） 保留。纯函数，不修改输入。 """ return remove_hallucination_entries(srt_text, JAPANESE_HALLUCINATION_TOKENS, threshold_seconds) def clean_srt_text( srt_text: str, threshold_seconds: float = DEFAULT_THRESHOLD_SECONDS, ) -> str: """从 SRT 中整条删除中文长时寒暄幻觉（LLM 翻译产物清洗）。 对展示时长 ≥ 阈值且文本含 HALLUCINATION_TOKENS 的 cue 连带时间戳整条 删除、剩余重编号；短时相同词（剧情真实互道晚安）保留。与 clean_japanese_hallucinations 同机制，词表不同。纯函数，不修改输入。 """ return remove_hallucination_entries(srt_text, HALLUCINATION_TOKENS, threshold_seconds)