feat: 任务队列改为并发池并支持幂等复用与退避重试
This commit is contained in:
+20
-4
@@ -1,11 +1,27 @@
|
||||
# LLM 提供商配置(SiliconFlow OpenAI 兼容接口)
|
||||
LLM_API_URL=https://api.siliconflow.cn/v1/chat/completions
|
||||
# LLM 提供商配置(DeepSeek OpenAI 兼容接口)
|
||||
LLM_API_URL=https://api.deepseek.com/v1/chat/completions
|
||||
# API Key(必填,未配置时服务返回 503)
|
||||
LLM_API_KEY=
|
||||
# 模型名(32B 级别即可满足残片聚合需求)
|
||||
LLM_MODEL=Qwen/Qwen2.5-32B-Instruct
|
||||
# 模型名(轻量快速即可满足残片聚合需求)
|
||||
LLM_MODEL=deepseek-flash
|
||||
# 请求超时(毫秒)
|
||||
LLM_TIMEOUT_MS=60000
|
||||
|
||||
# 服务端口
|
||||
PORT=5199
|
||||
|
||||
# ---- 任务队列 ----
|
||||
# 并发处理的任务数。设得越高吞吐越高,但要注意 LLM 服务商的限流配额
|
||||
LPT_AI_CONCURRENCY=2
|
||||
# 单个任务的总尝试次数(含首次);1 表示不重试
|
||||
LPT_AI_MAX_ATTEMPTS=3
|
||||
# 退避重试的首次等待(毫秒),之后按 2 倍增长
|
||||
LPT_AI_RETRY_BASE_MS=1000
|
||||
# 单次退避上限(毫秒)
|
||||
LPT_AI_RETRY_MAX_MS=20000
|
||||
# 完成记录的保留时长(毫秒)
|
||||
LPT_AI_TTL_MS=3600000
|
||||
# 已完成结果可被相同请求复用的时间窗口(毫秒)
|
||||
LPT_AI_RESULT_CACHE_MS=600000
|
||||
# 过期记录清理间隔(毫秒)
|
||||
LPT_AI_CLEANUP_MS=300000
|
||||
|
||||
Reference in New Issue
Block a user