perf: 补齐查询索引并批量失效 AI 任务

This commit is contained in:
2026-11-21 17:47:20 +08:00
parent bc7888ab8c
commit cf3fa6418b
5 changed files with 73 additions and 23 deletions
@@ -51,7 +51,11 @@ Status: implemented
- `PUT /markers/rename`:逐条标记一次 `exists` + 一次 `update` → 一次预取目标标签命中的对象、一条批量 `UPDATE`、一条批量 `DELETE`。
- 隐私清算按范围类型过滤:标签改名/标签变化只解析 `scope_type='TAG'` 的回忆,删任务只解析该任务的 `TASK` 范围回忆,
不再整表解析 `document_json`。
- `GET /review/report/{id}/structured`:按归属分组时逐个查任务名 → 先收集 ownerTaskNum,一次 `IN` 取齐。
- `GET /review/report/{id}/structured`:按归属分组时逐个查任务名 → 先收集 ownerTaskNum,一次 `IN` 取齐(会话任务名并入同一次)。
- 回忆删除与隐私抹除:对每条 AI 请求各查各改(每条请求 2–3 条语句)→ 整份回忆一次批量失效
(`invalidateTasks`:查远程任务号 + 改请求 + 改 AI 任务,共 3 条),`deleteUnreadable` 的逐条删除也改成一条。
- `GET /review/feed` 的随机/智能取样:`selectPage` 白算了一条 COUNT → `Page(current, size, false)`。
- 标签范围校验加载标记时只取 `object_num` / `marker_name` 两列,不再把审计列一起搬进内存。
## Alternatives considered
@@ -64,6 +68,16 @@ Status: implemented
真正需要跨表的是详情里的两批装饰,`IN` 已经够用,JOIN 只会把 JSON 文档拆成多行再在内存里重组,反而更慢。
- **把 `reconcile` 挪到定时任务、读路径不再校验。** 事务最短,但来源被删除后列表会继续显示 `VALID`/可用正文,直到下一轮扫描,不符合隐私口径。
## 索引补齐
`V20261121_1__add_query_indexes.sql` 补两条被漏掉的索引(2026-11-21 复查发现,不是本次批量化引入的问题):
- `study_expectations (created_by, session_num)`:这张表此前只有主键,而报告分页、报告详情、会话详情都按会话号查它,等于每次全表扫。
- `review_recalls (created_by, deleted, last_modified_time, id)`:原有索引以 `scope_type` / `scope_key` 打头,未指定范围时(首页的「最近回忆」、
`status=ACTIVE` 取草稿)无法利用排序,只能取完 `created_by` 前缀再 filesort;`status` 由索引外过滤(活跃草稿通常就是最近修改的那条)。
两条索引都按「租户拦截器统一追加 `created_by`」的约定以 `created_by` 打头;键长远小于 InnoDB 的 3072 字节上限,`MigrationIndexKeyLengthTest` 已复算。
## Consequences
列表仍是「每个用户串行」的读路径:并发两个列表请求时第二个会等第一个提交,只是等待从几十秒降到几百毫秒。
@@ -75,6 +89,10 @@ Status: implemented
优先级批量重算不再经过 `updateById`,因此自动填充不再参与:`last_modified_time` 由调用方传入,`last_modified_by` / `device_info` 只在取到身份时写入。
新增「任务优先级」批量 SQL 时必须保留 `deleted = 0`(自定义 SQL 不会自动追加逻辑删除条件),租户条件仍由拦截器追加。
已知的下一层瓶颈(语句数已经是常数,但数据量随用户增长):回忆读路径仍会整表取「可达碎片 id + 用户标签」来做范围校验与可达性判断
(`RecallReferenceLoader`),隐私清算 `sourceDeleted` 仍需扫用户全部回忆并解析 `document_json`。要再降一档需要一张「来源 → 回忆」的索引表,
或把范围校验下推成聚合 SQL,属于独立改动。
## Verification
- 真实 MySQL 并发复现:脚本对同一用户并发发两个列表请求,旧锁形态 6/6 轮死锁,新锁形态 0/12 次失败;`performance_schema.data_locks` 中不再出现同事务的 S+X 并存。
@@ -83,3 +101,6 @@ Status: implemented
资料清除、AI 结果装饰等断言,以及新增的 `PriorityWeightsIntegrationTest`(真实事务里校验批量 CASE 更新写回的值与审计时间)。
- 批量 `CASE id` 更新语句在真实 MySQL 上单独执行验证(同一事务内 affected=2 后回滚),确认语法与索引条件可用;H2 集成测试同时覆盖了
租户拦截器对这条 `UPDATE` 的改写。
- 真实 MySQL 上跑过一遍首页会话的读接口并数语句:`GET /review/feed` 4 条、`GET /review/summary` 3 条、`GET /review/tasks` 6 条、
`GET /tasks` 2 条、`GET /tasks/options` 1 条、`GET /report-fragments/pending-ownership` 1 条、`GET /study-sessions/active` 2 条,
均不随行数增长;迁移在真实库执行成功(`flyway_schema_history` 20261121.1,两条索引已建)。