perf: LLM 按 prompt 长度自适应思考强度
This commit is contained in:
+4
-1
@@ -1,7 +1,7 @@
|
||||
# 任务队列
|
||||
|
||||
- **功能**:定义 lpt-ai 异步任务队列(Worker 池、退避重试、相同输入幂等复用、TTL 清理)的行为与不可改契约。
|
||||
- **何时用**:改动 `/ai/tasks` 的提交/轮询、并发度、重试、幂等复用、TTL 清理、管理面板日志,或调整任务响应契约时。
|
||||
- **何时用**:改动 `/ai/tasks` 的提交/轮询、并发度、重试、幂等复用、TTL 清理、管理面板日志,或调整任务响应契约与单次调用参数(温度 / 思考强度)时。
|
||||
|
||||
## 任务队列设计
|
||||
|
||||
@@ -17,6 +17,9 @@
|
||||
- 请求体传 `force: true` 可跳过复用(用户主动「重新生成」)
|
||||
- 也可传 `idempotencyKey` 显式指定幂等键
|
||||
- TTL 清理:按 `LPT_AI_CLEANUP_MS` 周期移除过期记录,同时清理幂等索引。
|
||||
- **单次调用参数**:温度与输出上限按任务类型固定;思考强度(`reasoning_effort`)按 prompt 总字符数自适应,
|
||||
短输入直接 `none` 关掉思考(DeepSeek 缺省 `high`,不显式指定就会满档思考)。
|
||||
调用参数不参与幂等键,改阈值不会让已有缓存失效。映射实现在 `src/llm/thinking.ts`。
|
||||
- 异常隔离:单个任务失败不影响后续任务。
|
||||
- 管理面板日志:复用 `logStore`,记录最近 200 条请求/响应。
|
||||
|
||||
|
||||
Reference in New Issue
Block a user