fix: 修复自适应线程池限流扩容及缩容滞后

2026-09-11 15:59:46 +08:00
parent 13f72178e9
commit f3faad0391
4 changed files with 262 additions and 179 deletions
@@ -9,7 +9,7 @@
 | ID | 优先级 | 问题 | 状态 | 验收标准 |
 | --- | --- | --- | --- | --- |
 | R01 | P0 | 普通删除接口可能删除批量源视频目录；清理逻辑从输入路径推导删除范围 | 已修复 | 普通接口拒绝单独删除批量 run；手动与自动清理只删除该上传任务的私有目录；视频、旁挂字幕及其他任务文件不受影响 |
-| R02 | P1 | 自适应线程池限流后可能扩容；退出标记位于积压队列尾部，缩容不及时 | 待处理 | 限流不增加并发；降低目标后不再超额提交；真实积压队列验证 |
+| R02 | P1 | 自适应线程池限流后可能扩容；退出标记位于积压队列尾部，缩容不及时 | 已修复 | 限流不增加并发；降低目标后不再超额提交；真实积压队列验证 |
 | R03 | P1 | 最后节点执行时暂停再继续会覆盖有效下载 URI；批量缺产物仍清理并完成 | 待处理 | 收尾幂等，恢复后全部必需产物可下载；缺产物不清理工作空间 |
 | R04 | P1 | 环形 DAG 可通过保存校验，执行失败后仍在 QUEUED 堵塞队列 | 待处理 | 保存/发布拒绝无效 DAG；历史无效任务进入 FAILED，不阻塞后续任务 |
 | R05 | P1 | 翻译按固定四行解析 SRT；补齐行数不能保证文本与时间轴对应 | 待处理 | 合法多行 cue 正确解析；按稳定 ID 回填译文并校验缺失、重复项 |
@@ -48,6 +48,17 @@
 - 状态：修复及验证完成，纳入 `fix/review-improvements` 分支；未部署。运行中的旧进程需加载新代码后才能获得保护。
 - 后续边界：普通列表仍会显示批量 run，但点击删除会收到批量入口提示；运行中删除的统一取消/状态协调属于 O08，未在本次展开。

+## R02 修复记录
+
+- 根因：`report_failure()` 用降低后的最大值直接调用扩缩容，导致当前 1 并发扩为 19；缩容哨兵追加在 FIFO 积压队列尾部，存量任务仍按旧并发执行。
+- 实现：[adaptive_pool.py](../nodes/adaptive_pool.py) 改为标准 `ThreadPoolExecutor` 复用线程，map 按目标额度有界提交并串行收集结果。移除自建工作队列与退出哨兵，限流更新和提交共享锁。
+- 限流语义：只保持或降低当前额度；已发出的请求允许完成，后续提交遵守新额度；错误窗口不扩容，干净窗口逐步恢复上限。有效上限跨重试 map 保留，每批重新统计窗口与真实单任务耗时。
+- 兼容行为：map 按输入顺序返回结果，worker 异常仍作为结果返回；cancel 仍只抑制进度回调，OCR 自行检测暂停。线程执行器在 map 结束时回收。
+- TDD 红：3 个新增复现测试全部失败，分别观测到限流后目标 19、缩容后后续实际并发 4、错误窗口仍增加额度。
+- TDD 绿及调用方回归：`uv run pytest tests/test_adaptive_pool.py tests/test_llm_filter.py tests/test_ocr_flow.py tests/test_subtitle_ocr_order_threading.py -q --tb=short`，85 passed，51.60 秒；包含真实 14236 帧顺序数据、OCR 暂停、过滤限流重试。
+- 补充重试额度用例后：`uv run pytest tests/test_adaptive_pool.py -q`，22 passed，0.27 秒。连续限流后的第二轮 map 保持 1 并发，进度序号重新从 1 开始。`git diff --check` 通过。
+- 状态：修复及验证完成，纳入 `fix/review-improvements` 分支；未部署。尚未对真实服务配额下的吞吐做性能结论；已发出请求的终止依赖节点自身超时。
+
 ## 审查基线

 - 修复前全套测试：`uv run pytest`，369 passed、6 skipped，76.75 秒。