feat: 采集 LLM token 用量并上报 lpt-be
- 客户端解析上游 usage(含 DeepSeek 缓存命中/未命中),跨重试累加 - 新增计价表(三档单价 + 峰谷时段),费用在结算时冻结 - 新增用量上报与本地 outbox 重试;4xx 判定为确定性拒绝,不无限重试 - 面板补充 Token/费用/调用次数与计价快照 - 顺带修复面板内联脚本转义错误(模板字面量吃掉 \n 与 \',面板一直空白)
This commit is contained in:
@@ -22,23 +22,27 @@
|
||||
|
||||
```text
|
||||
lpt-ai/src/
|
||||
├── index.ts → 服务入口(加载 .env,启动 Fastify)
|
||||
├── index.ts → 服务入口(加载 .env,启动 Fastify 与用量上报)
|
||||
├── routes/ai.ts → AI 路由(health, tasks, fetch-title)
|
||||
├── llm/
|
||||
│ ├── client.ts → LLM 客户端(DeepSeek 接口)
|
||||
│ ├── client.ts → LLM 客户端(DeepSeek 接口,返回正文 + token 用量)
|
||||
│ ├── usage.ts → 用量归一化(null 与 0 区分、跨尝试累加)
|
||||
│ ├── thinking.ts → 按 prompt 长度选思考强度(reasoning_effort)
|
||||
│ ├── retry.ts → 退避重试(哪些错误可重试、等多久)
|
||||
│ ├── prompts.ts → Prompt 模板(3 种任务类型)
|
||||
│ ├── prompts.ts → Prompt 模板(4 种任务类型)
|
||||
│ └── prompts.test.ts
|
||||
├── task-queue.ts → 异步任务队列(Worker 池 + 幂等复用)
|
||||
├── task-queue.ts → 异步任务队列(Worker 池 + 幂等复用 + 用量归集)
|
||||
├── task-queue.test.ts
|
||||
└── admin/
|
||||
├── index.ts → 管理面板路由
|
||||
├── routes.ts
|
||||
└── store.ts → 日志存储
|
||||
├── store.ts → 日志存储(环形缓冲 + 原子落盘)
|
||||
├── pricing.ts → 计价(DeepSeek 三档单价 + 峰谷时段)
|
||||
├── reporter.ts → 用量上报(lpt-ai → lpt-be,本地 outbox 重试)
|
||||
└── balance.ts → 上游余额查询(对账用)
|
||||
```
|
||||
|
||||
## API 端点(5 个)
|
||||
## API 端点(6 个)
|
||||
|
||||
| 方法 | 路径 | 说明 |
|
||||
|------|------|------|
|
||||
@@ -46,7 +50,25 @@ lpt-ai/src/
|
||||
| POST | `/ai/tasks` | 提交异步任务(返回 taskId) |
|
||||
| GET | `/ai/tasks/:taskId` | 轮询任务结果 |
|
||||
| POST | `/fetch-title` | 抓取网页标题 |
|
||||
| GET | `/admin` | 管理面板(查看最近 200 条日志) |
|
||||
| GET | `/admin` | 管理面板(最近 500 条日志、用量与计价快照) |
|
||||
| GET | `/admin/usage/balance` | 上游账户余额(对账用;未配置时 `configured:false`) |
|
||||
|
||||
## 用量统计
|
||||
|
||||
用量是「任务级」口径,不是「请求级」:一个任务重试 N 次就是 N 次计费。
|
||||
|
||||
- `llm/usage.ts`:把上游 `usage` 归一成 6 个维度(输入/输出/总计/缓存命中/缓存未命中/推理)。
|
||||
**`null` 表示上游未上报,与「明确上报为 0」不同**,面板上必须区分显示。
|
||||
- `task-queue.ts`:跨所有尝试累加用量(含失败尝试,如上游 200 但内容为空);`attempts` 是实际发起的调用次数。
|
||||
- `admin/pricing.ts`:DeepSeek 三档单价(缓存命中/未命中/输出,USD per 1M)+ 峰谷时段。
|
||||
峰时窗口按 UTC 判定(`01:00-04:00`、`06:00-10:00`,周一至周五),谷时 = 峰时 × 0.5。
|
||||
计价结果在结算时**冻结进日志快照**,改价不会重算历史账。
|
||||
- `admin/reporter.ts`:把用量推给 lpt-be(长期账本)。上报失败先落本地 outbox 再重试,
|
||||
幂等靠 `record_id` 唯一索引。未配置 `LPT_AI_REPORT_URL` 时为空操作。
|
||||
- **权威口径在 lpt-be 的 MySQL**;本地面板只是最近 500 条的调试视图。
|
||||
|
||||
> `/admin` 用 `?token=…` 首次打开时会换发 `HttpOnly` cookie,否则面板 HTML 与它内部的
|
||||
> `fetch` 是两个独立请求,内部请求会全部 401。详见 `roles/security-and-degradation.md`。
|
||||
|
||||
## 支持的任务类型
|
||||
|
||||
@@ -55,6 +77,7 @@ lpt-ai/src/
|
||||
| `aggregate-report` | 残片聚合为学习报告 | 0.3 | 2048 |
|
||||
| `generate-mind-map` | 从报告/残片生成思维导图大纲 | 0.3 | 4096 |
|
||||
| `compare-recall` | 用户回忆 vs 标准导图语义对比 | 0.2 | 4096 |
|
||||
| `guidance` | 学习引导多轮对话 | 0.7 | 1024 |
|
||||
| `guidance` | 学习引导单轮追问 | 0.7 | 1024 |
|
||||
|
||||
> 思考强度(`reasoning_effort`)不按任务类型固定,而是按 **prompt 总字符数**(所有 message 正文之和)自适应:
|
||||
@@ -89,6 +112,19 @@ LPT_AI_RATE_LIMIT=30 # 每来源每窗口允许提交的 AI 任务数
|
||||
LPT_AI_RATE_WINDOW_MS=60000 # 限流窗口
|
||||
LPT_AI_BODY_LIMIT_BYTES=262144 # 请求体上限
|
||||
LPT_AI_FETCH_ALLOWED_PORTS= # 抓取允许的额外端口(默认只有 80/443)
|
||||
|
||||
# 用量统计(完整注释见 .env.example)
|
||||
LLM_BALANCE_URL= # 留空按 LLM_API_URL 的 origin 推导
|
||||
LLM_PRICE_CACHE_HIT_PER_M=0.006
|
||||
LLM_PRICE_CACHE_MISS_PER_M=0.3
|
||||
LLM_PRICE_OUTPUT_PER_M=1.2
|
||||
LLM_PRICE_OFFPEAK_FACTOR=0.5
|
||||
LLM_PRICE_PEAK_WINDOWS=01:00-04:00,06:00-10:00
|
||||
LLM_PRICE_PEAK_HOLIDAYS= # 中国法定节假日,每年需要更新
|
||||
|
||||
# 用量上报(lpt-ai → lpt-be);留空表示不上报,只保留本地面板
|
||||
LPT_AI_REPORT_URL=
|
||||
LPT_AI_REPORT_TOKEN=
|
||||
```
|
||||
|
||||
> 部署侧的变量在 `lpt-infra` 的 `dev/`、`prod/` configmap 里;本服务只读环境变量,默认值写在 `src/llm/client.ts` 与 `loadQueueConfig()` 里。
|
||||
|
||||
Reference in New Issue
Block a user