# 测试说明 ## 测试文件 ### MySQLDatabase 测试 - `test_database.py` - MySQLDatabase 类测试 - 测试数据库配置 - 测试创建连接对象 - 测试连接对象属性和方法 - 测试关闭连接 ### seed_is_exist / all_seed_codes 测试 - `test_seed_is_exist.py` - 真实数据库测试(含 all_seed_codes 作品级去重) - 首次运行自动创建 `LookingWeb` 库和 `seeds_info` 表(幂等) - 测试种子不存在 → False - 真实插入种子后 → True - 多个种子均识别为存在 - 删除后再查询 → False - 数据库不可达 → False(不抛异常) - 测试数据测后自动清理 ### 作品级去重与 magnet 校验测试 - `test_seed_dedupe.py` - 离线测试(mock 网络/数据库/下载器,22 个用例) - magnet 链接校验:40 位十六进制 / 32 位 base32 合法;拒绝站点“复制模板”行 (多个 magnet 用 `__JOIN_ITEM_SEP__magnet_link__` 拼接)与非法 btih (如 `17i6okorc0zvocd3tzfompbktvveifcwt`) - 影片番号解析(标题中的“影片番号为XXX”)与 `SeedInfo.code` - `get_seed_from_element_detail` 只保留合法 magnet - `collect_new_seeds` 两级去重:同一作品(番号)只下载一次、同一链接不重复收集、 解析不到番号时退回链接去重 - `main()` 端到端:详情页 2 个合法 magnet(同一番号)+ 1 个模板行 → 只下载 1 个; 数据库已有该番号 → 一条都不下载 ### qBittorrent 下载器测试(备用下载器) - `test_qbittorrent_downloader.py` - qBittorrent 下载器单元测试 - `test_qbittorrent_downloader.py` - qBittorrent 下载器离线单元测试(19 个用例,全部 mock 网络) - 测试初始化(带/不带认证、登录成功/被拒/异常) - 测试添加下载任务(成功 / HTTP 200 + "Fails." 被拒 / 非 200 / 异常 / 空链接) - 测试种子信息下载(含 seed_info 为 None) - 测试带选项的下载(保存路径、分类、标签) - 测试连接测试与获取下载列表 - 说明:mock 目标为 `requests.Session.post/get`;`QbittorrentDownloader.session` 是实例属性, patch 模块属性会 AttributeError。qBittorrent Web API 的成功/失败不体现在 HTTP 状态码, 添加 torrent 成功返回 200 + `Ok.`、被拒绝返回 200 + `Fails.`,判定必须读响应体。 ### Transmission 下载器测试(主程序当前使用) - `test_transmission_downloader.py` - Transmission 下载器离线单元测试(26 个用例,全部 mock 网络) - 测试初始化(带/不带认证、409 握手后认证成功、401、非 200、异常) - 测试 409 会话握手:session id 过期自动更新重发、连续 409 不死循环 - 测试添加下载任务(成功 / HTTP 200 + `result != success` 被拒 / 重复种子 / 401 / 非 JSON / 异常 / 空链接) - 测试保存路径映射为 `download-dir`、分类与标签映射为 `labels` - 测试种子信息下载(含 seedInfo 为 None、seedUrl 为空) - 测试连接测试与获取下载列表 - 说明:下载器连接 `http://192.168.123.199:9095/transmission/rpc`(Transmission Web UI, Basic 认证 admin / GUOxy.5157)。mock 目标为 `requests.Session.post`; Transmission 首次请求返回 409 + `X-Transmission-Session-Id` 响应头,需要带上该头重发; 业务失败不体现在 HTTP 状态码上,必须读响应体的 `result` 字段。 ### 下载目录清理脚本测试 - `test_clean_seed_extras.py` - 离线单元测试(30 个用例,全部使用 tmp_path 临时目录) - 文件头嗅探 `looks_like_video`:mp4/ftyp、mkv、avi、flv、wmv、mpg、rmvb 识别; mpeg-ts 需两次 0x47 同步字节校验;随机数据判为非视频 - 保留规则:>=100MB 视频保留、小体积样片删除、无扩展名大视频按文件头保留 - 字幕保留(含 `xxx.CN.srt.old-20260918` 备份);`--no-subtitles` / `--no-posters` 可关闭 - 海报只保留与「同目录视频文件名主干」匹配的图片; 通用封面(folder.jpg/poster.jpg/cover.jpg 等)默认保留,`--no-covers` 关闭; 目录内没有视频时封面图视为无主垃圾一并删除 - 重复视频去重:同目录同体积 → 头尾指纹校验 → 只留一份; 体积相同但内容不同不去重、不同目录不去重、`--no-dedupe` 关闭、 `--prefer-source` 指定优先站点、`dup_of` 记录保留的那一份 - 安全行为:默认预演不删除;`--apply` 才删除;空目录级联删除但保留 root; `--keep-empty-dirs` 保留空目录;不跟随符号链接目录;目录不存在返回码 2 ## 运行测试 ```bash # 安装 pytest uv pip install pytest # 运行所有测试 uv run python -m pytest tests/ -v # 运行 MySQLDatabase 测试 uv run python -m pytest tests/test_database.py -v # 运行 qBittorrent 测试(已不再被主程序使用,保留备用) uv run python -m pytest tests/test_qbittorrent_downloader.py -v # 运行 Transmission 测试(主程序当前使用) uv run python -m pytest tests/test_transmission_downloader.py -v # 运行作品级去重与 magnet 校验测试(离线) uv run python -m pytest tests/test_seed_dedupe.py -v # 运行下载目录清理脚本测试(离线) uv run python -m pytest tests/test_clean_seed_extras.py -v ``` ## 去重规则(已修复的重复下载问题) freejavbt 的同一个详情页会为同一部影片发布多个 magnet(如 VRKM-1872 的 “5个文件”与“6个文件”,info-hash 不同、内容重叠)。主程序原来只用 `seed_url`(完整 magnet 链接)去重,因此同一部影片的其他发布会被当成新种子 再次下载。现在改为两级去重(`LookingWebMain.collect_new_seeds`): 1. **作品级(影片番号)**:标题中的“影片番号为XXX”为去重键,数据库里已有该番号 (`MySqlService.all_seed_codes()`)或本次运行已收集过,就跳过; 2. **链接级**:完整 magnet 链接(原有 `seed_is_exist` 逻辑),并额外记录本次运行 已收集但尚未写库的链接(写库发生在下载之后)。 解析阶段还会丢弃两类脏数据(`is_valid_seed_url`):站点“复制模板”行拼接的伪 magnet, 以及站点发布的非法 btih;这两类链接发给 Transmission 只会被拒收(`have_download=-1`)。 关闭作品级去重可设置 `LookingWebMain.DEDUPE_BY_SEED_CODE = False`(退回仅按链接去重)。 ## 环境要求 - Python 3.7+ - requests - loguru - beautifulsoup4 - pymysql - cryptography(MySQL 8 caching_sha2_password 认证必需) - pytest ## 测试覆盖 - MySQLDatabase: 4 个测试用例 - seed_is_exist / all_seed_codes: 8 个测试用例(真实数据库) - 作品级去重与 magnet 校验: 22 个测试用例(离线 mock) - qBittorrentDownloader: 19 个测试用例(离线 mock,备用下载器) - TransmissionDownloader: 26 个测试用例(离线 mock,主程序当前使用) - clean_seed_extras: 30 个测试用例(离线,tmp_path 临时目录) - 其他: cf_session / 主程序函数(真实网络) ## 下载完成后的清理脚本(clean_seed_extras.py) 主程序只能把 magnet 交给 Transmission,无法挑选文件,种子内的广告文件会被一并下载。 下载完成后单独运行 `clean_seed_extras.py` 清理,保留「大体积视频 + 字幕 + 与视频同名的海报」: ```bash # 预演(默认,只统计不删除) uv run python clean_seed_extras.py # 导出完整待删清单供逐段复核(不删除) uv run python clean_seed_extras.py --manifest clean_manifest.txt # 确认无误后真正删除 uv run python clean_seed_extras.py --apply # 常用选项 uv run python clean_seed_extras.py --apply --list-all # 列出每个被删文件 uv run python clean_seed_extras.py --min-size-mb 50 # 大视频阈值改为 50MB uv run python clean_seed_extras.py --apply --no-subtitles # 连字幕一起删 uv run python clean_seed_extras.py --apply --no-covers # 不保留 folder.jpg 等通用封面 uv run python clean_seed_extras.py --apply --no-dedupe # 不做重复视频去重 uv run python clean_seed_extras.py --prefer-source masex.tv,hkbisi.com uv run python clean_seed_extras.py --root /mnt/fnOS/123 # 指定目录(默认值) ``` 保留规则: 1. **视频**:扩展名在 `VIDEO_EXTS` 内且体积 >= `--min-size-mb`(默认 100MB); 扩展名未知时按文件头(magic bytes)嗅探识别; 2. **字幕**:文件名含字幕扩展名(`.srt/.ass/.ssa/.vtt/.sub/.idx/.sup/.smi` 等), 含 `.srt.old-<日期>` 备份; 3. **海报**:图片扩展名且文件名包含**同目录**下某个已保留视频的文件名主干; 4. **通用封面**:`folder.jpg`/`poster.jpg`/`cover.jpg`/`backdrop.jpg`/`fanart.jpg` 等 媒体库约定名(Jellyfin/Emby/Kodi 会当封面用),且同目录下确实还有保留的视频。 删除规则:其余文件删除;另外**同一目录内内容相同的大视频只保留一份** (同一部作品被多个发布站各下一份时,文件名只差站点前缀,如 `masex.tv@vrkm01874_1_8k.mp4` 与 `hkbisi.com@vrkm01874_1_8k.mp4`)。 去重实现:先按「同目录 + 同体积」分组(几乎不耗 IO),再对每组算 `sha256(体积 + 头部 4MB + 尾部 4MB)` 确认内容一致——**体积相同但内容不同的不会误删**。 保留哪一份依次比较:无站点前缀 > `--prefer-source` 指定站点 > 同目录内该前缀出现次数多 > 文件名短 > 字典序。 删除文件后自底向上级联清理空目录(子目录先删,父目录变空后继续向上删, 可一路删到影片级目录,但不删 `--root` 本身;如 Jellyfin 的 `*.trickplay/` 缩略图目录、 BT 的 BEP47 填充目录 `.pad/`)。脚本不跟随符号链接目录,删除符号链接只删链接本身。