feat: 任务队列改为并发池并支持幂等复用与退避重试

This commit is contained in:
cat
2026-10-08 17:32:34 +08:00
parent 7c751bfc02
commit bf56c2bd46
10 changed files with 1296 additions and 123 deletions
+20 -4
View File
@@ -1,11 +1,27 @@
# LLM 提供商配置(SiliconFlow OpenAI 兼容接口)
LLM_API_URL=https://api.siliconflow.cn/v1/chat/completions
# LLM 提供商配置(DeepSeek OpenAI 兼容接口)
LLM_API_URL=https://api.deepseek.com/v1/chat/completions
# API Key(必填,未配置时服务返回 503)
LLM_API_KEY=
# 模型名(32B 级别即可满足残片聚合需求)
LLM_MODEL=Qwen/Qwen2.5-32B-Instruct
# 模型名(轻量快速即可满足残片聚合需求)
LLM_MODEL=deepseek-flash
# 请求超时(毫秒)
LLM_TIMEOUT_MS=60000
# 服务端口
PORT=5199
# ---- 任务队列 ----
# 并发处理的任务数。设得越高吞吐越高,但要注意 LLM 服务商的限流配额
LPT_AI_CONCURRENCY=2
# 单个任务的总尝试次数(含首次);1 表示不重试
LPT_AI_MAX_ATTEMPTS=3
# 退避重试的首次等待(毫秒),之后按 2 倍增长
LPT_AI_RETRY_BASE_MS=1000
# 单次退避上限(毫秒)
LPT_AI_RETRY_MAX_MS=20000
# 完成记录的保留时长(毫秒)
LPT_AI_TTL_MS=3600000
# 已完成结果可被相同请求复用的时间窗口(毫秒)
LPT_AI_RESULT_CACHE_MS=600000
# 过期记录清理间隔(毫秒)
LPT_AI_CLEANUP_MS=300000