cat-shark
e98f90e164
fix: llm-filter 默认关闭 LLM 分类层,误删真实对话从 73 条降为 0
逐类人工审查真实任务 run_ac7f480a3ccb(1666 条 OCR 输出)后确认
LLM 五类分类层性价比为负:
- 规则层删除 782 条(47%),几乎全对(---/HTML/___/编号等);
- LLM 层额外删除 131 条,其中 **73 条(56%)是真实对话**,
如"好好教育她一番吧""腿不要合上""这家医院 为VIP患者提供了特殊服务";
- 它真正抓住而规则层抓不到的仅 58 条且大半可正则化;
- repeat 类别 67 条判定、0 条删除,形同虚设;
- 长文本保护/上下文净化/去重/429 退避/断点存档等机制全是在给
不稳定的分类器兜底,误删量超过净收益。
改动:
1. 规则层下沉原 LLM 层抓到的确定性模式:水印编号(SPHO-1/PHO一号馆)、
日期与数值(2011-11-27/4.0)、VLM 提示回显(no text is visible)、
角色标注((出演))。刻意不删(北冈果林)这类演员名括号——无法与
(小声)不要啊 可靠区分,且其本身是无害字幕文本;
2. 新增 use_llm 参数并**默认关闭** LLM 分类层,需要旧行为时显式开启;
ocr-subtitle 工作流显式声明 use_llm=0 并附 _note_use_llm 理由。
真实数据实测:保留 863 条(旧 588)、误删真对话 0 条(旧 73)、
LLM 调用 0 次(旧 680 次/52 秒)。
2026-09-13 10:15:41 +08:00
..
2026-09-03 08:22:42 +08:00
2026-09-05 22:32:15 +08:00
2026-09-11 15:59:46 +08:00
2026-08-16 23:58:25 +08:00
2026-08-23 16:25:17 +08:00
2026-09-11 16:12:32 +08:00
2026-08-16 23:58:25 +08:00
2026-09-07 11:25:33 +08:00
2026-09-11 16:12:32 +08:00
2026-08-16 23:58:25 +08:00
2026-09-11 14:26:02 +08:00
2026-09-05 19:36:23 +08:00
2026-09-05 19:36:23 +08:00
2026-08-17 23:20:11 +08:00
2026-08-16 23:58:25 +08:00
2026-08-16 23:58:25 +08:00
2026-08-16 23:58:25 +08:00
2026-09-07 17:21:04 +08:00
2026-09-13 10:15:31 +08:00
2026-09-13 10:15:41 +08:00
2026-09-13 10:15:41 +08:00
2026-08-23 16:25:09 +08:00
2026-08-16 23:58:25 +08:00
2026-09-11 17:19:25 +08:00
2026-09-11 17:19:25 +08:00
2026-09-11 17:19:25 +08:00
2026-09-05 22:32:40 +08:00
2026-08-16 23:58:25 +08:00
2026-09-11 15:40:09 +08:00
2026-09-11 17:19:40 +08:00
2026-09-11 14:26:02 +08:00
2026-09-06 10:44:09 +08:00
2026-09-11 17:19:25 +08:00
2026-09-13 10:15:23 +08:00
2026-09-11 17:19:25 +08:00
2026-09-06 18:02:31 +08:00
2026-08-16 23:58:25 +08:00
2026-09-06 08:14:59 +08:00
2026-09-11 17:19:40 +08:00