perf: LLM 按 prompt 长度自适应思考强度
This commit is contained in:
@@ -26,6 +26,7 @@ lpt-ai/src/
|
||||
├── routes/ai.ts → AI 路由(health, tasks, fetch-title)
|
||||
├── llm/
|
||||
│ ├── client.ts → LLM 客户端(DeepSeek 接口)
|
||||
│ ├── thinking.ts → 按 prompt 长度选思考强度(reasoning_effort)
|
||||
│ ├── retry.ts → 退避重试(哪些错误可重试、等多久)
|
||||
│ ├── prompts.ts → Prompt 模板(3 种任务类型)
|
||||
│ └── prompts.test.ts
|
||||
@@ -54,6 +55,11 @@ lpt-ai/src/
|
||||
| `aggregate-report` | 残片聚合为学习报告 | 0.3 | 2048 |
|
||||
| `generate-mind-map` | 从报告/残片生成思维导图大纲 | 0.3 | 4096 |
|
||||
| `compare-recall` | 用户回忆 vs 标准导图语义对比 | 0.2 | 4096 |
|
||||
| `guidance` | 学习引导单轮追问 | 0.7 | 1024 |
|
||||
|
||||
> 思考强度(`reasoning_effort`)不按任务类型固定,而是按 **prompt 总字符数**(所有 message 正文之和)自适应:
|
||||
> 低于 `LPT_AI_REASONING_LOW_AT` → `none`(直接关掉思考),之后依次 `low` / `high`,超过 `LPT_AI_REASONING_MAX_AT` → `max`。
|
||||
> 原因是 DeepSeek 缺省 `high`,不显式指定则短输入也会满档思考。映射实现在 `src/llm/thinking.ts`,阈值见 `.env.example`。
|
||||
|
||||
## LLM 配置
|
||||
|
||||
@@ -64,6 +70,12 @@ LLM_MODEL=deepseek-flash
|
||||
LLM_TIMEOUT_MS=60000 # 单次 LLM 调用超时
|
||||
PORT=5199
|
||||
|
||||
# 思考强度自适应(完整注释见 .env.example)
|
||||
LPT_AI_REASONING_ENABLED=true # 显式 false 才关闭自适应,回到供应商默认
|
||||
LPT_AI_REASONING_LOW_AT=500 # 达到该长度起用 low,低于则为 none
|
||||
LPT_AI_REASONING_HIGH_AT=2000 # 达到该长度起用 high
|
||||
LPT_AI_REASONING_MAX_AT=8000 # 达到该长度起用 max
|
||||
|
||||
# 任务队列(完整注释见 .env.example)
|
||||
LPT_AI_CONCURRENCY=2 # Worker 池并发度
|
||||
LPT_AI_MAX_ATTEMPTS=3 # 单任务总尝试次数(含首次)
|
||||
|
||||
Reference in New Issue
Block a user