feat: 优化学习视频转写与字幕清洗

nodes/subtitle_cleanup.py

@@ -58,6 +58,51 @@ JAPANESE_HALLUCINATION_TOKENS = (
     "Thank you for watching",
 )
 
+# 纯呻吟/喘息字符集合（decode_full 救回弱语音后的去噪，2026-09 用户决策）。
+#
+# 背景（实测 savr-1054-2 前 600s）：decode_full 无 VAD 解码会把呻吟/BGM 混叠
+# 的弱语音也整段救回，但其中混有大量**纯语气词碎片**（あ…/ん?/はぁ…/あ!あ!
+# /んふふ 等），这类内容放进字幕是噪声。判据：文本（去空白/标点）**全部由本
+# 集合字符组成**且有效假名数 ≤ 阈值才删除。集合**刻意排除** そ/こ/ね/や/ば/だ
+# /く/へ 等假名——真实短对话（そこ/やばい/ねえ/やだ/えへへ）都含这些字符，
+# 含任意非集合字符的条目天然不命中，从根上避免误删真实短句。
+MOAN_CHARS = frozenset(
+    # 平假名元音与ん/ふ/は（呻吟与喘息气流音的主干）
+    "あいうえおんふはっ"
+    # 小写假名（ぁぃぅぇぉ）与片假名对应（アィゥェォ、ン）
+    "ぁぃぅぇぉアィゥェォン"
+    # 长音符/省略号/半浊音（ー〜…、…）与空白、标点（呻吟常带这些装饰）
+    "ー〜…\u2026。、!?？！、"
+    " \t"
+)
+
+# 短呻吟过滤的默认有效假名上限：真实呻吟/喘息碎片（あ/ん/ん?/はぁ…/あ!あ!
+# /んふふ）有效假名 ≤3；>3（如ああああ）或含非呻吟字符的一律保留。
+DEFAULT_MOAN_MAX_CHARS = 3
+
+def _moan_chars(text: str) -> int:
+    """返回 text 中'有效假名字符'数量（呻吟判据的一部分）。
+
+    只统计假名（片/平）与发音健全字符，空白/标点/长音符/省略号不计入，
+    这样'あ…'/'ん?'/'あ〜' 的有效字符都是 1 个。
+    """
+    return sum(ch in "あいうえおんふはっぁぃぅぇぉアィゥェォン" for ch in text)
+
+
+def _is_pure_moan(text: str, max_chars: int) -> bool:
+    """判断一条字幕文本是否为'纯呻吟/喘息碎片'（整条删除判据）。
+
+    两个条件同时满足才返回 True：
+    1. 去除空白/标点后剩余字符**全部** ∈ MOAN_CHARS（即整个文本只能由呻吟
+       字符、标点、空白组成，不允许出现そ/こ/ね/や/ば 等真实词假名）；
+    2. 有效假名字符数 ≤ max_chars（超过阈值即使是纯呻吟长串也不删）。
+    """
+    chars = [c for c in text if not c.isspace()]
+    # 全部字符必须都在呻吟字符集合中（含标点/长音符）。
+    if not chars or any(c not in MOAN_CHARS for c in chars):
+        return False
+    return _moan_chars(text) <= max_chars
+
 # 解析 SRT：每个 cue 由 序号行 + 时间轴行 + 文本行(可能多行) + 空行 组成。
 # 采用逐行解析（不依赖可能粘连的跨 cue 正则），兼容文本多行。
 _TS_RE = re.compile(r"^(\d{2}:\d{2}:\d{2},\d{3})\s*-->\s*(\d{2}:\d{2}:\d{2},\d{3})\s*$")
@@ -82,6 +127,48 @@ def remove_hallucination_entries(
 
     用途：幻觉在产生处直接剔除——whisper decode_full（日语词表）与 LLM 翻译后
     （中文词表）均调用本函数，避免 '-' 占位一路流到 ASS 渲染成可见减号。
+    内部委托 _remove_cues_by_predicate，与短呻吟过滤共用同一套 SRT 解析/重建。
+    """
+
+    def _keep(start_sec: float, end_sec: float, text: str) -> bool:
+        """保留判据：不命中寒暄幻觉才保留。"""
+        duration = end_sec - start_sec
+        return not (duration >= threshold_seconds and any(t in text for t in tokens))
+
+    return _remove_cues_by_predicate(srt_text, _keep)
+
+
+def remove_short_moan_entries(
+    srt_text: str,
+    max_chars: int = DEFAULT_MOAN_MAX_CHARS,
+) -> str:
+    """删除 SRT 中'纯呻吟/喘息碎片'的**整条 cue**（whisper decode_full 去噪）。
+
+    decode_full 无 VAD 解码会把呻吟也整段救回，字幕混入大量纯语气词碎片
+    （あ…/ん?/はぁ…）。判据：文本全部由 MOAN_CHARS 组成且有效假名数 ≤
+    max_chars（默认 3）才删除（见 _is_pure_moan），真实短对话（そこ/やばい/
+    ねえ/やだ/えへへ/行く行く行く）天然不命中。max_chars=0 时关闭过滤（原
+    样返回）。仅在 whisper 节点 decode_full=true 时调用（用户 2026-09 决策，
+    不作用于 demo 等 VAD 链路）。纯函数，不修改输入。
+    """
+    if max_chars <= 0:
+        return srt_text
+
+    def _keep(start_sec: float, end_sec: float, text: str) -> bool:
+        """保留判据：非纯呻吟碎片才保留。"""
+        return not _is_pure_moan(text, max_chars)
+
+    return _remove_cues_by_predicate(srt_text, _keep)
+
+
+def _remove_cues_by_predicate(
+    srt_text: str,
+    keep: callable,
+) -> str:
+    """通用 SRT 逐条过滤：keep(起始秒, 结束秒, 文本) 为 False 的 cue 整条删除。
+
+    删除 cue 时序号/时间轴/文本全部消失，剩余 cue 重新从 1 连续编号（合法
+    SRT）。用逐行解析（不依赖跨 cue 正则，兼容多行文本）。纯函数不修改输入。
     """
     lines = srt_text.splitlines()
     kept: list[str] = []
@@ -101,17 +188,13 @@ def remove_hallucination_entries(
                 text = "\n".join(text_lines)
                 start_sec = _ts_to_seconds(ts_match.group(1))
                 end_sec = _ts_to_seconds(ts_match.group(2))
-                duration = end_sec - start_sec
-                is_hallucination = duration >= threshold_seconds and any(
-                    t in text for t in tokens
-                )
-                if not is_hallucination:
-                    # 非幻觉：输出 新序号+时间轴+文本+空行（重建标准 SRT）。
+                if keep(start_sec, end_sec, text):
+                    # 保留：输出 新序号+时间轴+文本+空行（重建标准 SRT）。
                     kept.append(
                         f"{number}\n{lines[index + 1].strip()}\n{text}\n"
                     )
                     number += 1
-                # 幻觉 cue：整条跳过（序号/时间轴/文本都不输出）。
+                # 删除：整条跳过（序号/时间轴/文本都不输出）。
                 index = cursor
                 continue
         # 非 cue 行（文件头/尾部噪声）跳过，避免序号/空行残留。