1.9 KiB
1.9 KiB
任务队列
- 功能:定义 lpt-ai 异步任务队列(Worker 池、退避重试、相同输入幂等复用、TTL 清理)的行为与不可改契约。
- 何时用:改动
/ai/tasks的提交/轮询、并发度、重试、幂等复用、TTL 清理、管理面板日志,或调整任务响应契约时。
任务队列设计
- 异步任务模式:submit + poll,避免 LLM 长耗时(10-60s)超时。
- Worker 池:并发度由
LPT_AI_CONCURRENCY控制(默认 2)。 不要改回单 worker 串行:N 个请求会等 N × LLM 耗时,客户端会先超时。 - 退避重试:429 / 5xx / 超时等瞬时抖动会重试(
LPT_AI_MAX_ATTEMPTS,默认 3), 4xx 客户端错误与「API Key 未配置」不重试。服务端返回的Retry-After优先于自算退避。 - 相同输入复用:以
type + params的稳定哈希为幂等键。- 同键任务 pending/running → 合并为同一个任务,不重复调用 LLM(不重复计费)
- 同键任务已完成且在
LPT_AI_RESULT_CACHE_MS窗口内 → 复用结果 - 同键任务已失败 → 新建(失败必须可重试)
- 请求体传
force: true可跳过复用(用户主动「重新生成」) - 也可传
idempotencyKey显式指定幂等键
- TTL 清理:按
LPT_AI_CLEANUP_MS周期移除过期记录,同时清理幂等索引。 - 异常隔离:单个任务失败不影响后续任务。
- 管理面板日志:复用
logStore,记录最近 200 条请求/响应。
不要改动的契约
/ai/tasks必须固定返回 201。Java 端AiServiceClient.submitTask()把非 201 视为提交失败, 所以不能用 200 表达「复用了已有任务」;复用信息放在响应体的reused/status字段里。TaskRecord的status/result/error字段名被 Java 端轮询逻辑依赖,新增字段可以,改名不行。