主程序只能把 magnet 交给 Transmission,无法挑选文件,种子内的广告 (*.url、宣传页、样片/预告)会一并下载,同一部作品还会被多个发布站各下一份。 新增离线清理脚本处理下载完成后的目录。 clean_seed_extras.py: - 保留:>=100MB 的视频(40+ 扩展名;无扩展名时读文件头嗅探)、字幕 (含 .srt.old-<日期> 备份)、与同目录视频同名的海报、folder.jpg 等通用封面 - 删除:其余文件;同目录内内容相同的大视频只保留一份,校验方式为 sha256(体积 + 头 4MB + 尾 4MB),体积相同但内容不同的不会误删 - 删除后自底向上级联清理空目录(可删到影片级目录,但不删 --root 本身) - 默认预演,需 --apply 才真正删除;--manifest 导出待删清单供逐段复核 - 其他开关:--no-subtitles/--no-posters/--no-covers/--no-dedupe/--min-size-mb/ --prefer-source/--keep-empty-dirs/--skip-recent-min .agents/skills/torrent-download-cleanup: - 记录完整流程(预演 -> 出清单 -> 用户确认 -> 执行 -> 复核)、保留/删除规则、 去重策略、代码维护注意(decide() 必须是 视频 -> 去重 -> 海报匹配 的顺序) - 附只读盘点脚本 find_missing_torrents.py:找出 Transmission 中数据已不在磁盘 的任务(自包含,只用 requests) tests/test_clean_seed_extras.py: 30 个离线用例(tmp_path 临时目录) tests/README.md: 补充脚本用法与测试说明
测试说明
测试文件
MySQLDatabase 测试
test_database.py- MySQLDatabase 类测试- 测试数据库配置
- 测试创建连接对象
- 测试连接对象属性和方法
- 测试关闭连接
seed_is_exist / all_seed_codes 测试
test_seed_is_exist.py- 真实数据库测试(含 all_seed_codes 作品级去重)- 首次运行自动创建
LookingWeb库和seeds_info表(幂等) - 测试种子不存在 → False
- 真实插入种子后 → True
- 多个种子均识别为存在
- 删除后再查询 → False
- 数据库不可达 → False(不抛异常)
- 测试数据测后自动清理
- 首次运行自动创建
作品级去重与 magnet 校验测试
test_seed_dedupe.py- 离线测试(mock 网络/数据库/下载器,22 个用例)- magnet 链接校验:40 位十六进制 / 32 位 base32 合法;拒绝站点“复制模板”行
(多个 magnet 用
__JOIN_ITEM_SEP__magnet_link__拼接)与非法 btih (如17i6okorc0zvocd3tzfompbktvveifcwt) - 影片番号解析(标题中的“影片番号为XXX”)与
SeedInfo.code get_seed_from_element_detail只保留合法 magnetcollect_new_seeds两级去重:同一作品(番号)只下载一次、同一链接不重复收集、 解析不到番号时退回链接去重main()端到端:详情页 2 个合法 magnet(同一番号)+ 1 个模板行 → 只下载 1 个; 数据库已有该番号 → 一条都不下载
- magnet 链接校验:40 位十六进制 / 32 位 base32 合法;拒绝站点“复制模板”行
(多个 magnet 用
qBittorrent 下载器测试(备用下载器)
test_qbittorrent_downloader.py- qBittorrent 下载器单元测试test_qbittorrent_downloader.py- qBittorrent 下载器离线单元测试(19 个用例,全部 mock 网络)- 测试初始化(带/不带认证、登录成功/被拒/异常)
- 测试添加下载任务(成功 / HTTP 200 + "Fails." 被拒 / 非 200 / 异常 / 空链接)
- 测试种子信息下载(含 seed_info 为 None)
- 测试带选项的下载(保存路径、分类、标签)
- 测试连接测试与获取下载列表
- 说明:mock 目标为
requests.Session.post/get;QbittorrentDownloader.session是实例属性, patch 模块属性会 AttributeError。qBittorrent Web API 的成功/失败不体现在 HTTP 状态码, 添加 torrent 成功返回 200 +Ok.、被拒绝返回 200 +Fails.,判定必须读响应体。
Transmission 下载器测试(主程序当前使用)
test_transmission_downloader.py- Transmission 下载器离线单元测试(26 个用例,全部 mock 网络)- 测试初始化(带/不带认证、409 握手后认证成功、401、非 200、异常)
- 测试 409 会话握手:session id 过期自动更新重发、连续 409 不死循环
- 测试添加下载任务(成功 / HTTP 200 +
result != success被拒 / 重复种子 / 401 / 非 JSON / 异常 / 空链接) - 测试保存路径映射为
download-dir、分类与标签映射为labels - 测试种子信息下载(含 seedInfo 为 None、seedUrl 为空)
- 测试连接测试与获取下载列表
- 说明:下载器连接
http://192.168.123.199:9095/transmission/rpc(Transmission Web UI, Basic 认证 admin / GUOxy.5157)。mock 目标为requests.Session.post; Transmission 首次请求返回 409 +X-Transmission-Session-Id响应头,需要带上该头重发; 业务失败不体现在 HTTP 状态码上,必须读响应体的result字段。
下载目录清理脚本测试
test_clean_seed_extras.py- 离线单元测试(30 个用例,全部使用 tmp_path 临时目录)- 文件头嗅探
looks_like_video:mp4/ftyp、mkv、avi、flv、wmv、mpg、rmvb 识别; mpeg-ts 需两次 0x47 同步字节校验;随机数据判为非视频 - 保留规则:>=100MB 视频保留、小体积样片删除、无扩展名大视频按文件头保留
- 字幕保留(含
xxx.CN.srt.old-20260918备份);--no-subtitles/--no-posters可关闭 - 海报只保留与「同目录视频文件名主干」匹配的图片;
通用封面(folder.jpg/poster.jpg/cover.jpg 等)默认保留,
--no-covers关闭; 目录内没有视频时封面图视为无主垃圾一并删除 - 重复视频去重:同目录同体积 → 头尾指纹校验 → 只留一份;
体积相同但内容不同不去重、不同目录不去重、
--no-dedupe关闭、--prefer-source指定优先站点、dup_of记录保留的那一份 - 安全行为:默认预演不删除;
--apply才删除;空目录级联删除但保留 root;--keep-empty-dirs保留空目录;不跟随符号链接目录;目录不存在返回码 2
- 文件头嗅探
运行测试
# 安装 pytest
uv pip install pytest
# 运行所有测试
uv run python -m pytest tests/ -v
# 运行 MySQLDatabase 测试
uv run python -m pytest tests/test_database.py -v
# 运行 qBittorrent 测试(已不再被主程序使用,保留备用)
uv run python -m pytest tests/test_qbittorrent_downloader.py -v
# 运行 Transmission 测试(主程序当前使用)
uv run python -m pytest tests/test_transmission_downloader.py -v
# 运行作品级去重与 magnet 校验测试(离线)
uv run python -m pytest tests/test_seed_dedupe.py -v
# 运行下载目录清理脚本测试(离线)
uv run python -m pytest tests/test_clean_seed_extras.py -v
去重规则(已修复的重复下载问题)
freejavbt 的同一个详情页会为同一部影片发布多个 magnet(如 VRKM-1872 的
“5个文件”与“6个文件”,info-hash 不同、内容重叠)。主程序原来只用
seed_url(完整 magnet 链接)去重,因此同一部影片的其他发布会被当成新种子
再次下载。现在改为两级去重(LookingWebMain.collect_new_seeds):
- 作品级(影片番号):标题中的“影片番号为XXX”为去重键,数据库里已有该番号
(
MySqlService.all_seed_codes())或本次运行已收集过,就跳过; - 链接级:完整 magnet 链接(原有
seed_is_exist逻辑),并额外记录本次运行 已收集但尚未写库的链接(写库发生在下载之后)。
解析阶段还会丢弃两类脏数据(is_valid_seed_url):站点“复制模板”行拼接的伪 magnet,
以及站点发布的非法 btih;这两类链接发给 Transmission 只会被拒收(have_download=-1)。
关闭作品级去重可设置 LookingWebMain.DEDUPE_BY_SEED_CODE = False(退回仅按链接去重)。
环境要求
- Python 3.7+
- requests
- loguru
- beautifulsoup4
- pymysql
- cryptography(MySQL 8 caching_sha2_password 认证必需)
- pytest
测试覆盖
- MySQLDatabase: 4 个测试用例
- seed_is_exist / all_seed_codes: 8 个测试用例(真实数据库)
- 作品级去重与 magnet 校验: 22 个测试用例(离线 mock)
- qBittorrentDownloader: 19 个测试用例(离线 mock,备用下载器)
- TransmissionDownloader: 26 个测试用例(离线 mock,主程序当前使用)
- clean_seed_extras: 30 个测试用例(离线,tmp_path 临时目录)
- 其他: cf_session / 主程序函数(真实网络)
下载完成后的清理脚本(clean_seed_extras.py)
主程序只能把 magnet 交给 Transmission,无法挑选文件,种子内的广告文件会被一并下载。
下载完成后单独运行 clean_seed_extras.py 清理,保留「大体积视频 + 字幕 + 与视频同名的海报」:
# 预演(默认,只统计不删除)
uv run python clean_seed_extras.py
# 导出完整待删清单供逐段复核(不删除)
uv run python clean_seed_extras.py --manifest clean_manifest.txt
# 确认无误后真正删除
uv run python clean_seed_extras.py --apply
# 常用选项
uv run python clean_seed_extras.py --apply --list-all # 列出每个被删文件
uv run python clean_seed_extras.py --min-size-mb 50 # 大视频阈值改为 50MB
uv run python clean_seed_extras.py --apply --no-subtitles # 连字幕一起删
uv run python clean_seed_extras.py --apply --no-covers # 不保留 folder.jpg 等通用封面
uv run python clean_seed_extras.py --apply --no-dedupe # 不做重复视频去重
uv run python clean_seed_extras.py --prefer-source masex.tv,hkbisi.com
uv run python clean_seed_extras.py --root /mnt/fnOS/123 # 指定目录(默认值)
保留规则:
- 视频:扩展名在
VIDEO_EXTS内且体积 >=--min-size-mb(默认 100MB); 扩展名未知时按文件头(magic bytes)嗅探识别; - 字幕:文件名含字幕扩展名(
.srt/.ass/.ssa/.vtt/.sub/.idx/.sup/.smi等), 含.srt.old-<日期>备份; - 海报:图片扩展名且文件名包含同目录下某个已保留视频的文件名主干;
- 通用封面:
folder.jpg/poster.jpg/cover.jpg/backdrop.jpg/fanart.jpg等 媒体库约定名(Jellyfin/Emby/Kodi 会当封面用),且同目录下确实还有保留的视频。
删除规则:其余文件删除;另外同一目录内内容相同的大视频只保留一份
(同一部作品被多个发布站各下一份时,文件名只差站点前缀,如
masex.tv@vrkm01874_1_8k.mp4 与 hkbisi.com@vrkm01874_1_8k.mp4)。
去重实现:先按「同目录 + 同体积」分组(几乎不耗 IO),再对每组算
sha256(体积 + 头部 4MB + 尾部 4MB) 确认内容一致——体积相同但内容不同的不会误删。
保留哪一份依次比较:无站点前缀 > --prefer-source 指定站点 >
同目录内该前缀出现次数多 > 文件名短 > 字典序。
删除文件后自底向上级联清理空目录(子目录先删,父目录变空后继续向上删,
可一路删到影片级目录,但不删 --root 本身;如 Jellyfin 的 *.trickplay/ 缩略图目录、
BT 的 BEP47 填充目录 .pad/)。脚本不跟随符号链接目录,删除符号链接只删链接本身。