Files
lookingWeb/tests/README.md
T
cat-shark 827bbb6b6a feat: 新增种子目录清理脚本与配套 skill
主程序只能把 magnet 交给 Transmission,无法挑选文件,种子内的广告
(*.url、宣传页、样片/预告)会一并下载,同一部作品还会被多个发布站各下一份。
新增离线清理脚本处理下载完成后的目录。

clean_seed_extras.py:
- 保留:>=100MB 的视频(40+ 扩展名;无扩展名时读文件头嗅探)、字幕
  (含 .srt.old-<日期> 备份)、与同目录视频同名的海报、folder.jpg 等通用封面
- 删除:其余文件;同目录内内容相同的大视频只保留一份,校验方式为
  sha256(体积 + 头 4MB + 尾 4MB),体积相同但内容不同的不会误删
- 删除后自底向上级联清理空目录(可删到影片级目录,但不删 --root 本身)
- 默认预演,需 --apply 才真正删除;--manifest 导出待删清单供逐段复核
- 其他开关:--no-subtitles/--no-posters/--no-covers/--no-dedupe/--min-size-mb/
  --prefer-source/--keep-empty-dirs/--skip-recent-min

.agents/skills/torrent-download-cleanup:
- 记录完整流程(预演 -> 出清单 -> 用户确认 -> 执行 -> 复核)、保留/删除规则、
  去重策略、代码维护注意(decide() 必须是 视频 -> 去重 -> 海报匹配 的顺序)
- 附只读盘点脚本 find_missing_torrents.py:找出 Transmission 中数据已不在磁盘
  的任务(自包含,只用 requests)

tests/test_clean_seed_extras.py: 30 个离线用例(tmp_path 临时目录)
tests/README.md: 补充脚本用法与测试说明
2026-10-18 00:54:08 +08:00

182 lines
9.7 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 测试说明
## 测试文件
### MySQLDatabase 测试
- `test_database.py` - MySQLDatabase 类测试
- 测试数据库配置
- 测试创建连接对象
- 测试连接对象属性和方法
- 测试关闭连接
### seed_is_exist / all_seed_codes 测试
- `test_seed_is_exist.py` - 真实数据库测试(含 all_seed_codes 作品级去重)
- 首次运行自动创建 `LookingWeb` 库和 `seeds_info` 表(幂等)
- 测试种子不存在 → False
- 真实插入种子后 → True
- 多个种子均识别为存在
- 删除后再查询 → False
- 数据库不可达 → False(不抛异常)
- 测试数据测后自动清理
### 作品级去重与 magnet 校验测试
- `test_seed_dedupe.py` - 离线测试(mock 网络/数据库/下载器,22 个用例)
- magnet 链接校验:40 位十六进制 / 32 位 base32 合法;拒绝站点“复制模板”行
(多个 magnet 用 `__JOIN_ITEM_SEP__magnet_link__` 拼接)与非法 btih
(如 `17i6okorc0zvocd3tzfompbktvveifcwt`)
- 影片番号解析(标题中的“影片番号为XXX”)与 `SeedInfo.code`
- `get_seed_from_element_detail` 只保留合法 magnet
- `collect_new_seeds` 两级去重:同一作品(番号)只下载一次、同一链接不重复收集、
解析不到番号时退回链接去重
- `main()` 端到端:详情页 2 个合法 magnet(同一番号)+ 1 个模板行 → 只下载 1 个;
数据库已有该番号 → 一条都不下载
### qBittorrent 下载器测试(备用下载器)
- `test_qbittorrent_downloader.py` - qBittorrent 下载器单元测试
- `test_qbittorrent_downloader.py` - qBittorrent 下载器离线单元测试(19 个用例,全部 mock 网络)
- 测试初始化(带/不带认证、登录成功/被拒/异常)
- 测试添加下载任务(成功 / HTTP 200 + "Fails." 被拒 / 非 200 / 异常 / 空链接)
- 测试种子信息下载(含 seed_info 为 None)
- 测试带选项的下载(保存路径、分类、标签)
- 测试连接测试与获取下载列表
- 说明:mock 目标为 `requests.Session.post/get`;`QbittorrentDownloader.session` 是实例属性,
patch 模块属性会 AttributeError。qBittorrent Web API 的成功/失败不体现在 HTTP 状态码,
添加 torrent 成功返回 200 + `Ok.`、被拒绝返回 200 + `Fails.`,判定必须读响应体。
### Transmission 下载器测试(主程序当前使用)
- `test_transmission_downloader.py` - Transmission 下载器离线单元测试(26 个用例,全部 mock 网络)
- 测试初始化(带/不带认证、409 握手后认证成功、401、非 200、异常)
- 测试 409 会话握手:session id 过期自动更新重发、连续 409 不死循环
- 测试添加下载任务(成功 / HTTP 200 + `result != success` 被拒 / 重复种子 / 401 / 非 JSON / 异常 / 空链接)
- 测试保存路径映射为 `download-dir`、分类与标签映射为 `labels`
- 测试种子信息下载(含 seedInfo 为 None、seedUrl 为空)
- 测试连接测试与获取下载列表
- 说明:下载器连接 `http://192.168.123.199:9095/transmission/rpc`(Transmission Web UI,
Basic 认证 admin / GUOxy.5157)。mock 目标为 `requests.Session.post`;
Transmission 首次请求返回 409 + `X-Transmission-Session-Id` 响应头,需要带上该头重发;
业务失败不体现在 HTTP 状态码上,必须读响应体的 `result` 字段。
### 下载目录清理脚本测试
- `test_clean_seed_extras.py` - 离线单元测试(30 个用例,全部使用 tmp_path 临时目录)
- 文件头嗅探 `looks_like_video`:mp4/ftyp、mkv、avi、flv、wmv、mpg、rmvb 识别;
mpeg-ts 需两次 0x47 同步字节校验;随机数据判为非视频
- 保留规则:>=100MB 视频保留、小体积样片删除、无扩展名大视频按文件头保留
- 字幕保留(含 `xxx.CN.srt.old-20260918` 备份);`--no-subtitles` / `--no-posters` 可关闭
- 海报只保留与「同目录视频文件名主干」匹配的图片;
通用封面(folder.jpg/poster.jpg/cover.jpg 等)默认保留,`--no-covers` 关闭;
目录内没有视频时封面图视为无主垃圾一并删除
- 重复视频去重:同目录同体积 → 头尾指纹校验 → 只留一份;
体积相同但内容不同不去重、不同目录不去重、`--no-dedupe` 关闭、
`--prefer-source` 指定优先站点、`dup_of` 记录保留的那一份
- 安全行为:默认预演不删除;`--apply` 才删除;空目录级联删除但保留 root;
`--keep-empty-dirs` 保留空目录;不跟随符号链接目录;目录不存在返回码 2
## 运行测试
```bash
# 安装 pytest
uv pip install pytest
# 运行所有测试
uv run python -m pytest tests/ -v
# 运行 MySQLDatabase 测试
uv run python -m pytest tests/test_database.py -v
# 运行 qBittorrent 测试(已不再被主程序使用,保留备用)
uv run python -m pytest tests/test_qbittorrent_downloader.py -v
# 运行 Transmission 测试(主程序当前使用)
uv run python -m pytest tests/test_transmission_downloader.py -v
# 运行作品级去重与 magnet 校验测试(离线)
uv run python -m pytest tests/test_seed_dedupe.py -v
# 运行下载目录清理脚本测试(离线)
uv run python -m pytest tests/test_clean_seed_extras.py -v
```
## 去重规则(已修复的重复下载问题)
freejavbt 的同一个详情页会为同一部影片发布多个 magnet(如 VRKM-1872 的
“5个文件”与“6个文件”,info-hash 不同、内容重叠)。主程序原来只用
`seed_url`(完整 magnet 链接)去重,因此同一部影片的其他发布会被当成新种子
再次下载。现在改为两级去重(`LookingWebMain.collect_new_seeds`):
1. **作品级(影片番号)**:标题中的“影片番号为XXX”为去重键,数据库里已有该番号
(`MySqlService.all_seed_codes()`)或本次运行已收集过,就跳过;
2. **链接级**:完整 magnet 链接(原有 `seed_is_exist` 逻辑),并额外记录本次运行
已收集但尚未写库的链接(写库发生在下载之后)。
解析阶段还会丢弃两类脏数据(`is_valid_seed_url`):站点“复制模板”行拼接的伪 magnet,
以及站点发布的非法 btih;这两类链接发给 Transmission 只会被拒收(`have_download=-1`)。
关闭作品级去重可设置 `LookingWebMain.DEDUPE_BY_SEED_CODE = False`(退回仅按链接去重)。
## 环境要求
- Python 3.7+
- requests
- loguru
- beautifulsoup4
- pymysql
- cryptography(MySQL 8 caching_sha2_password 认证必需)
- pytest
## 测试覆盖
- MySQLDatabase: 4 个测试用例
- seed_is_exist / all_seed_codes: 8 个测试用例(真实数据库)
- 作品级去重与 magnet 校验: 22 个测试用例(离线 mock)
- qBittorrentDownloader: 19 个测试用例(离线 mock,备用下载器)
- TransmissionDownloader: 26 个测试用例(离线 mock,主程序当前使用)
- clean_seed_extras: 30 个测试用例(离线,tmp_path 临时目录)
- 其他: cf_session / 主程序函数(真实网络)
## 下载完成后的清理脚本(clean_seed_extras.py)
主程序只能把 magnet 交给 Transmission,无法挑选文件,种子内的广告文件会被一并下载。
下载完成后单独运行 `clean_seed_extras.py` 清理,保留「大体积视频 + 字幕 + 与视频同名的海报」:
```bash
# 预演(默认,只统计不删除)
uv run python clean_seed_extras.py
# 导出完整待删清单供逐段复核(不删除)
uv run python clean_seed_extras.py --manifest clean_manifest.txt
# 确认无误后真正删除
uv run python clean_seed_extras.py --apply
# 常用选项
uv run python clean_seed_extras.py --apply --list-all # 列出每个被删文件
uv run python clean_seed_extras.py --min-size-mb 50 # 大视频阈值改为 50MB
uv run python clean_seed_extras.py --apply --no-subtitles # 连字幕一起删
uv run python clean_seed_extras.py --apply --no-covers # 不保留 folder.jpg 等通用封面
uv run python clean_seed_extras.py --apply --no-dedupe # 不做重复视频去重
uv run python clean_seed_extras.py --prefer-source masex.tv,hkbisi.com
uv run python clean_seed_extras.py --root /mnt/fnOS/123 # 指定目录(默认值)
```
保留规则:
1. **视频**:扩展名在 `VIDEO_EXTS` 内且体积 >= `--min-size-mb`(默认 100MB);
扩展名未知时按文件头(magic bytes)嗅探识别;
2. **字幕**:文件名含字幕扩展名(`.srt/.ass/.ssa/.vtt/.sub/.idx/.sup/.smi` 等),
含 `.srt.old-<日期>` 备份;
3. **海报**:图片扩展名且文件名包含**同目录**下某个已保留视频的文件名主干;
4. **通用封面**:`folder.jpg`/`poster.jpg`/`cover.jpg`/`backdrop.jpg`/`fanart.jpg` 等
媒体库约定名(Jellyfin/Emby/Kodi 会当封面用),且同目录下确实还有保留的视频。
删除规则:其余文件删除;另外**同一目录内内容相同的大视频只保留一份**
(同一部作品被多个发布站各下一份时,文件名只差站点前缀,如
`masex.tv@vrkm01874_1_8k.mp4` 与 `hkbisi.com@vrkm01874_1_8k.mp4`)。
去重实现:先按「同目录 + 同体积」分组(几乎不耗 IO),再对每组算
`sha256(体积 + 头部 4MB + 尾部 4MB)` 确认内容一致——**体积相同但内容不同的不会误删**。
保留哪一份依次比较:无站点前缀 > `--prefer-source` 指定站点 >
同目录内该前缀出现次数多 > 文件名短 > 字典序。
删除文件后自底向上级联清理空目录(子目录先删,父目录变空后继续向上删,
可一路删到影片级目录,但不删 `--root` 本身;如 Jellyfin 的 `*.trickplay/` 缩略图目录、
BT 的 BEP47 填充目录 `.pad/`)。脚本不跟随符号链接目录,删除符号链接只删链接本身。