fix: 修复回忆列表并发死锁并收敛多表查询

This commit is contained in:
2026-11-21 16:54:07 +08:00
parent 4b65eb57b1
commit 9c3e22680d
17 changed files with 497 additions and 128 deletions
@@ -0,0 +1,74 @@
# Agent Note: 回忆列表首次请求 500 与逐行 N+1 查询
Status: implemented
## Problem
进入 `/review` 时前端同时发出两个回忆列表请求(「继续上次回忆」的 `status=ACTIVE&pageSize=1` 与「最近回忆」的 `pageSize=4`)。首次进入时其中一个稳定返回
`{"code":500,"message":"操作没有成功,请稍后再试"}`,另一个常常挂到前端 30s 超时才被放弃;刷新一次后又能正常返回。
根因有两层,互相放大:
1. **所有者锁的取法会死锁。** `ReviewRecallStore.lock()` 先发 `INSERT IGNORE INTO review_recall_owner_locks`,行已存在时这条语句只拿
共享锁(S),紧接着的 `SELECT ... FOR UPDATE` 要升级成排他锁(X)。两个并发请求各持 S 锁互等 X 锁,InnoDB 判定死锁并回滚其一,
Spring 抛 `DeadlockLoserDataAccessException`,被 `GlobalExceptionHandler` 兜底成 500。
`SHOW ENGINE INNODB STATUS` 的 `LATEST DETECTED DEADLOCK` 里两条事务都是
`SELECT owner_id FROM review_recall_owner_locks WHERE owner_id = '1' FOR UPDATE`,各自 `HOLDS S, WAITING X`;同一份并发用纯 JDBC 复现,
旧写法 6/6 轮死锁,改成新写法 0/12 次失败。
2. **读路径逐行放大成几十条查询。** `list()` 对每一行都 `store.load()`:按 `recall_num` 回表一次、`reconcile` 做两次全表校验(碎片 id、用户标签)、
再对每个来源 `selectById` 判可达性、最后 `store.detail()` 对每条 AI 请求各查 `review_recall_requests` 与 `ai_tasks` 两次。
样例回忆(13 个来源、13 条 AI 请求)单行约 **47 条 SQL**;远端 MySQL 单程 40–80ms,一次 4 行的列表就是十几秒,整个事务期间一直持着所有者锁,
把第 1 点里的冲突窗口拉到几十秒。而 `list` 返回的 `RecallSummary` 里根本没有 `requests` 字段,那 26 条查询是纯浪费。
## Decision
**锁的形态:** `ReviewRecallMapper.ensureOwnerLock` 改为
`INSERT INTO review_recall_owner_locks (owner_id) VALUES (?) ON DUPLICATE KEY UPDATE owner_id = owner_id`。
命中已有行时 MySQL 对这个「无变化更新」加的是排他锁,随后的 `SELECT ... FOR UPDATE` 在同一事务里已是 X 锁,不再有 S→X 升级,也就没有互等。
读路径继续保留这把所有者锁:`reconcile` 会就地抹除已不可访问的来源,必须和草稿写入串行,否则一次先读后写的草稿提交会把刚抹掉的内容写回来。
**读路径:**
- `list()` 直接用分页行里已经查出来的 `document_json` 解析文档,不再按 `recall_num` 回表;只发 `selectPage` 自带的一次 COUNT,不再额外 `selectCount`。
- 新增 `RecallReferenceLoader.SourceIndex`:按需把「可达碎片 id / 报告 id / 应用场景 id / 任务号 / 用户标签」各查一次(整表 `select(id)` 级别),
标签范围有效性与来源可达性都在内存里判断。`list` 一次建索引、逐行复用;单文档入口按需建一次。原来对每个来源一次 `selectById` 的循环消失。
- 新增 `RecallDetailAssembler`:`review_recall_requests` 与 `ai_tasks` 各一条 `IN` 取齐整批 taskNum,按 `taskNum` 建索引后逐条装饰。
列表走 `summary()`,连这两批都不查;详情、草稿、结束等写路径走 `detail(doc)`,文档内所有 AI 请求共用一次批量取数。
- `RecallExpressionValidator` 只在确实出现新出处时才装配一次详情,把「每条出处各查两次」变成「每次保存最多两次」。
样例回忆上的 SQL 条数:列表 **47 → 7**,详情 **44 → 8**;并发两请求的等待时间从 2.1–4.4s(且约 80% 概率 500)降到 0.4–0.9s,5 轮并发 10 次全部成功。
同一批把其它「随行数/次数放大」的读路径一并收敛(都是换成批量 IN 或一条 SET 更新,不改响应字段):
- `GET /study-sessions/tasks/{num}/reports`:逐个报告查学习预期 → 整页一次 `IN`。
- 标签导图「待更新」:逐张 `UPDATE` → 命中集合一条 `UPDATE ... WHERE id IN (...)`。
- 隐私清算:删除任务时对每个报告/应用场景各递归一次(每次重新加锁 + 重扫整张回忆表)→ 先收集 sourceId 再扫一遍;
`tagsChanged` 里逐篇回忆两次全表校验 → 整批共用一个来源索引。
- `GET /export/range`:逐任务调 `getReviewTaskStats`(每任务 4 条聚合)→ 一批任务一次取齐;`sumTaskDuration` 的整表 `GROUP BY`
加上 `task_num IN (...)` 过滤(T 个任务时约 `4 + 5T` 条降为固定 9 条)。
## Alternatives considered
- **读路径完全不加锁。** 列表并发度最高,也能彻底避开锁争用;但 `reconcile` 的抹除是隐私要求,无锁时一次并发草稿保存会用旧文档覆盖抹除结果,
等同于把已删除内容写回来。要安全就得改成带旧文档摘要的 CAS 写入,复杂度和风险都高于本次收益,因此保留锁、只把事务缩短到个位数查询。
- **在登录时就把所有者锁行种好,读路径只做 `SELECT ... FOR UPDATE`。** 稳态下同样没有 S→X 升级,语义更直白;但需要一条回填迁移,
而且「行缺失」的兜底插入仍在,等于两套路径并存。`ON DUPLICATE KEY UPDATE` 一行同时覆盖「确保存在」和「取得排他锁」,故采用后者。
- **捕获死锁后重试。** 能消掉 500,但两个请求仍在做无效功,且重试会掩盖下一次同类写法回归;根因是锁模式,应该在 SQL 形态上消灭。
- **把回忆列表改成单条 JOIN 查询。** 回忆的读取单位是整份 `document_json`(表达树 + 冻结的资料快照),跨表的只有 AI 请求状态;
真正需要跨表的是详情里的两批装饰,`IN` 已经够用,JOIN 只会把 JSON 文档拆成多行再在内存里重组,反而更慢。
- **把 `reconcile` 挪到定时任务、读路径不再校验。** 事务最短,但来源被删除后列表会继续显示 `VALID`/可用正文,直到下一轮扫描,不符合隐私口径。
## Consequences
列表仍是「每个用户串行」的读路径:并发两个列表请求时第二个会等第一个提交,只是等待从几十秒降到几百毫秒。
`list` 现在依赖分页行里的 `document_json`,若以后列表查询改成 `.select(...)` 裁列,必须同时把文档列选回来,否则所有行都会被当成不可读文档删除。
`SourceIndex` 用「整表 id 集合」判断可达性,前提是这些表按 `created_by` 租户过滤(拦截器已保证);绕过租户的查询不能复用这个索引。
`RecallsSummary` 不再经过 `detail()` 装饰,`reference` 也只保留文档里的汇总;如果以后摘要需要展示 AI 请求状态,必须显式调用 `detail()`,不能假设它已经在。
## Verification
- 真实 MySQL 并发复现:脚本对同一用户并发发两个列表请求,旧锁形态 6/6 轮死锁,新锁形态 0/12 次失败;`performance_schema.data_locks` 中不再出现同事务的 S+X 并存。
- SQL 条数:用 `logging.level...mapper=DEBUG` 抓单次调用语句数,列表 7 条、详情 8 条(改造前 47 / 44)。
- `./mvnw -o validate`(Checkstyle)与 `./mvnw -o test` 全量 608 个用例通过,含 `ReviewRecallServiceIntegrationTest` 的列表删除不可读文档、
资料清除、AI 结果装饰等断言。