Files
lookingWeb/tests
cat-shark 827bbb6b6a feat: 新增种子目录清理脚本与配套 skill
主程序只能把 magnet 交给 Transmission,无法挑选文件,种子内的广告
(*.url、宣传页、样片/预告)会一并下载,同一部作品还会被多个发布站各下一份。
新增离线清理脚本处理下载完成后的目录。

clean_seed_extras.py:
- 保留:>=100MB 的视频(40+ 扩展名;无扩展名时读文件头嗅探)、字幕
  (含 .srt.old-<日期> 备份)、与同目录视频同名的海报、folder.jpg 等通用封面
- 删除:其余文件;同目录内内容相同的大视频只保留一份,校验方式为
  sha256(体积 + 头 4MB + 尾 4MB),体积相同但内容不同的不会误删
- 删除后自底向上级联清理空目录(可删到影片级目录,但不删 --root 本身)
- 默认预演,需 --apply 才真正删除;--manifest 导出待删清单供逐段复核
- 其他开关:--no-subtitles/--no-posters/--no-covers/--no-dedupe/--min-size-mb/
  --prefer-source/--keep-empty-dirs/--skip-recent-min

.agents/skills/torrent-download-cleanup:
- 记录完整流程(预演 -> 出清单 -> 用户确认 -> 执行 -> 复核)、保留/删除规则、
  去重策略、代码维护注意(decide() 必须是 视频 -> 去重 -> 海报匹配 的顺序)
- 附只读盘点脚本 find_missing_torrents.py:找出 Transmission 中数据已不在磁盘
  的任务(自包含,只用 requests)

tests/test_clean_seed_extras.py: 30 个离线用例(tmp_path 临时目录)
tests/README.md: 补充脚本用法与测试说明
2026-10-18 00:54:08 +08:00
..

测试说明

测试文件

MySQLDatabase 测试

  • test_database.py - MySQLDatabase 类测试
    • 测试数据库配置
    • 测试创建连接对象
    • 测试连接对象属性和方法
    • 测试关闭连接

seed_is_exist / all_seed_codes 测试

  • test_seed_is_exist.py - 真实数据库测试(含 all_seed_codes 作品级去重)
    • 首次运行自动创建 LookingWeb 库和 seeds_info 表(幂等)
    • 测试种子不存在 → False
    • 真实插入种子后 → True
    • 多个种子均识别为存在
    • 删除后再查询 → False
    • 数据库不可达 → False(不抛异常)
    • 测试数据测后自动清理

作品级去重与 magnet 校验测试

  • test_seed_dedupe.py - 离线测试(mock 网络/数据库/下载器,22 个用例)
    • magnet 链接校验:40 位十六进制 / 32 位 base32 合法;拒绝站点“复制模板”行 (多个 magnet 用 __JOIN_ITEM_SEP__magnet_link__ 拼接)与非法 btih (如 17i6okorc0zvocd3tzfompbktvveifcwt)
    • 影片番号解析(标题中的“影片番号为XXX”)与 SeedInfo.code
    • get_seed_from_element_detail 只保留合法 magnet
    • collect_new_seeds 两级去重:同一作品(番号)只下载一次、同一链接不重复收集、 解析不到番号时退回链接去重
    • main() 端到端:详情页 2 个合法 magnet(同一番号)+ 1 个模板行 → 只下载 1 个; 数据库已有该番号 → 一条都不下载

qBittorrent 下载器测试(备用下载器)

  • test_qbittorrent_downloader.py - qBittorrent 下载器单元测试
  • test_qbittorrent_downloader.py - qBittorrent 下载器离线单元测试(19 个用例,全部 mock 网络)
    • 测试初始化(带/不带认证、登录成功/被拒/异常)
    • 测试添加下载任务(成功 / HTTP 200 + "Fails." 被拒 / 非 200 / 异常 / 空链接)
    • 测试种子信息下载(含 seed_info 为 None)
    • 测试带选项的下载(保存路径、分类、标签)
    • 测试连接测试与获取下载列表
    • 说明:mock 目标为 requests.Session.post/get;QbittorrentDownloader.session 是实例属性, patch 模块属性会 AttributeError。qBittorrent Web API 的成功/失败不体现在 HTTP 状态码, 添加 torrent 成功返回 200 + Ok.、被拒绝返回 200 + Fails.,判定必须读响应体。

Transmission 下载器测试(主程序当前使用)

  • test_transmission_downloader.py - Transmission 下载器离线单元测试(26 个用例,全部 mock 网络)
    • 测试初始化(带/不带认证、409 握手后认证成功、401、非 200、异常)
    • 测试 409 会话握手:session id 过期自动更新重发、连续 409 不死循环
    • 测试添加下载任务(成功 / HTTP 200 + result != success 被拒 / 重复种子 / 401 / 非 JSON / 异常 / 空链接)
    • 测试保存路径映射为 download-dir、分类与标签映射为 labels
    • 测试种子信息下载(含 seedInfo 为 None、seedUrl 为空)
    • 测试连接测试与获取下载列表
    • 说明:下载器连接 http://192.168.123.199:9095/transmission/rpc(Transmission Web UI, Basic 认证 admin / GUOxy.5157)。mock 目标为 requests.Session.post; Transmission 首次请求返回 409 + X-Transmission-Session-Id 响应头,需要带上该头重发; 业务失败不体现在 HTTP 状态码上,必须读响应体的 result 字段。

下载目录清理脚本测试

  • test_clean_seed_extras.py - 离线单元测试(30 个用例,全部使用 tmp_path 临时目录)
    • 文件头嗅探 looks_like_video:mp4/ftyp、mkv、avi、flv、wmv、mpg、rmvb 识别; mpeg-ts 需两次 0x47 同步字节校验;随机数据判为非视频
    • 保留规则:>=100MB 视频保留、小体积样片删除、无扩展名大视频按文件头保留
    • 字幕保留(含 xxx.CN.srt.old-20260918 备份);--no-subtitles / --no-posters 可关闭
    • 海报只保留与「同目录视频文件名主干」匹配的图片; 通用封面(folder.jpg/poster.jpg/cover.jpg 等)默认保留,--no-covers 关闭; 目录内没有视频时封面图视为无主垃圾一并删除
    • 重复视频去重:同目录同体积 → 头尾指纹校验 → 只留一份; 体积相同但内容不同不去重、不同目录不去重、--no-dedupe 关闭、 --prefer-source 指定优先站点、dup_of 记录保留的那一份
    • 安全行为:默认预演不删除;--apply 才删除;空目录级联删除但保留 root; --keep-empty-dirs 保留空目录;不跟随符号链接目录;目录不存在返回码 2

运行测试

# 安装 pytest
uv pip install pytest

# 运行所有测试
uv run python -m pytest tests/ -v

# 运行 MySQLDatabase 测试
uv run python -m pytest tests/test_database.py -v

# 运行 qBittorrent 测试(已不再被主程序使用,保留备用)
uv run python -m pytest tests/test_qbittorrent_downloader.py -v

# 运行 Transmission 测试(主程序当前使用)
uv run python -m pytest tests/test_transmission_downloader.py -v

# 运行作品级去重与 magnet 校验测试(离线)
uv run python -m pytest tests/test_seed_dedupe.py -v

# 运行下载目录清理脚本测试(离线)
uv run python -m pytest tests/test_clean_seed_extras.py -v

去重规则(已修复的重复下载问题)

freejavbt 的同一个详情页会为同一部影片发布多个 magnet(如 VRKM-1872 的 “5个文件”与“6个文件”,info-hash 不同、内容重叠)。主程序原来只用 seed_url(完整 magnet 链接)去重,因此同一部影片的其他发布会被当成新种子 再次下载。现在改为两级去重(LookingWebMain.collect_new_seeds):

  1. 作品级(影片番号):标题中的“影片番号为XXX”为去重键,数据库里已有该番号 (MySqlService.all_seed_codes())或本次运行已收集过,就跳过;
  2. 链接级:完整 magnet 链接(原有 seed_is_exist 逻辑),并额外记录本次运行 已收集但尚未写库的链接(写库发生在下载之后)。

解析阶段还会丢弃两类脏数据(is_valid_seed_url):站点“复制模板”行拼接的伪 magnet, 以及站点发布的非法 btih;这两类链接发给 Transmission 只会被拒收(have_download=-1)。

关闭作品级去重可设置 LookingWebMain.DEDUPE_BY_SEED_CODE = False(退回仅按链接去重)。

环境要求

  • Python 3.7+
  • requests
  • loguru
  • beautifulsoup4
  • pymysql
  • cryptography(MySQL 8 caching_sha2_password 认证必需)
  • pytest

测试覆盖

  • MySQLDatabase: 4 个测试用例
  • seed_is_exist / all_seed_codes: 8 个测试用例(真实数据库)
  • 作品级去重与 magnet 校验: 22 个测试用例(离线 mock)
  • qBittorrentDownloader: 19 个测试用例(离线 mock,备用下载器)
  • TransmissionDownloader: 26 个测试用例(离线 mock,主程序当前使用)
  • clean_seed_extras: 30 个测试用例(离线,tmp_path 临时目录)
  • 其他: cf_session / 主程序函数(真实网络)

下载完成后的清理脚本(clean_seed_extras.py)

主程序只能把 magnet 交给 Transmission,无法挑选文件,种子内的广告文件会被一并下载。 下载完成后单独运行 clean_seed_extras.py 清理,保留「大体积视频 + 字幕 + 与视频同名的海报」:

# 预演(默认,只统计不删除)
uv run python clean_seed_extras.py

# 导出完整待删清单供逐段复核(不删除)
uv run python clean_seed_extras.py --manifest clean_manifest.txt

# 确认无误后真正删除
uv run python clean_seed_extras.py --apply

# 常用选项
uv run python clean_seed_extras.py --apply --list-all      # 列出每个被删文件
uv run python clean_seed_extras.py --min-size-mb 50        # 大视频阈值改为 50MB
uv run python clean_seed_extras.py --apply --no-subtitles  # 连字幕一起删
uv run python clean_seed_extras.py --apply --no-covers     # 不保留 folder.jpg 等通用封面
uv run python clean_seed_extras.py --apply --no-dedupe     # 不做重复视频去重
uv run python clean_seed_extras.py --prefer-source masex.tv,hkbisi.com
uv run python clean_seed_extras.py --root /mnt/fnOS/123    # 指定目录(默认值)

保留规则:

  1. 视频:扩展名在 VIDEO_EXTS 内且体积 >= --min-size-mb(默认 100MB); 扩展名未知时按文件头(magic bytes)嗅探识别;
  2. 字幕:文件名含字幕扩展名(.srt/.ass/.ssa/.vtt/.sub/.idx/.sup/.smi 等), 含 .srt.old-<日期> 备份;
  3. 海报:图片扩展名且文件名包含同目录下某个已保留视频的文件名主干;
  4. 通用封面:folder.jpg/poster.jpg/cover.jpg/backdrop.jpg/fanart.jpg 等 媒体库约定名(Jellyfin/Emby/Kodi 会当封面用),且同目录下确实还有保留的视频。

删除规则:其余文件删除;另外同一目录内内容相同的大视频只保留一份 (同一部作品被多个发布站各下一份时,文件名只差站点前缀,如 masex.tv@vrkm01874_1_8k.mp4 与 hkbisi.com@vrkm01874_1_8k.mp4)。

去重实现:先按「同目录 + 同体积」分组(几乎不耗 IO),再对每组算 sha256(体积 + 头部 4MB + 尾部 4MB) 确认内容一致——体积相同但内容不同的不会误删。 保留哪一份依次比较:无站点前缀 > --prefer-source 指定站点 > 同目录内该前缀出现次数多 > 文件名短 > 字典序。

删除文件后自底向上级联清理空目录(子目录先删,父目录变空后继续向上删, 可一路删到影片级目录,但不删 --root 本身;如 Jellyfin 的 *.trickplay/ 缩略图目录、 BT 的 BEP47 填充目录 .pad/)。脚本不跟随符号链接目录,删除符号链接只删链接本身。