perf: LLM 按 prompt 长度自适应思考强度

This commit is contained in:
2026-10-10 17:53:41 +08:00
parent 09d16dfb98
commit fd1193a66f
9 changed files with 321 additions and 6 deletions
+12
View File
@@ -26,6 +26,7 @@ lpt-ai/src/
├── routes/ai.ts → AI 路由(health, tasks, fetch-title)
├── llm/
│ ├── client.ts → LLM 客户端(DeepSeek 接口)
│ ├── thinking.ts → 按 prompt 长度选思考强度(reasoning_effort)
│ ├── retry.ts → 退避重试(哪些错误可重试、等多久)
│ ├── prompts.ts → Prompt 模板(3 种任务类型)
│ └── prompts.test.ts
@@ -54,6 +55,11 @@ lpt-ai/src/
| `aggregate-report` | 残片聚合为学习报告 | 0.3 | 2048 |
| `generate-mind-map` | 从报告/残片生成思维导图大纲 | 0.3 | 4096 |
| `compare-recall` | 用户回忆 vs 标准导图语义对比 | 0.2 | 4096 |
| `guidance` | 学习引导单轮追问 | 0.7 | 1024 |
> 思考强度(`reasoning_effort`)不按任务类型固定,而是按 **prompt 总字符数**(所有 message 正文之和)自适应:
> 低于 `LPT_AI_REASONING_LOW_AT` → `none`(直接关掉思考),之后依次 `low` / `high`,超过 `LPT_AI_REASONING_MAX_AT` → `max`。
> 原因是 DeepSeek 缺省 `high`,不显式指定则短输入也会满档思考。映射实现在 `src/llm/thinking.ts`,阈值见 `.env.example`。
## LLM 配置
@@ -64,6 +70,12 @@ LLM_MODEL=deepseek-flash
LLM_TIMEOUT_MS=60000 # 单次 LLM 调用超时
PORT=5199
# 思考强度自适应(完整注释见 .env.example)
LPT_AI_REASONING_ENABLED=true # 显式 false 才关闭自适应,回到供应商默认
LPT_AI_REASONING_LOW_AT=500 # 达到该长度起用 low,低于则为 none
LPT_AI_REASONING_HIGH_AT=2000 # 达到该长度起用 high
LPT_AI_REASONING_MAX_AT=8000 # 达到该长度起用 max
# 任务队列(完整注释见 .env.example)
LPT_AI_CONCURRENCY=2 # Worker 池并发度
LPT_AI_MAX_ATTEMPTS=3 # 单任务总尝试次数(含首次)