Initial commit: feasibility report and experiment design for

graph-enhanced 32B LLM reasoning
2026-07-03 09:20:43 +08:00
commit aa8ba6a6d7
8 changed files with 554 additions and 0 deletions
@@ -0,0 +1,41 @@
+# s-LLM-project: Graph-Enhanced Reasoning for 32B LLMs
+
+研究目标：验证"思维图(Graph of Thought)或其他图论应用，可以让32b大小的模型有极大的智能提升"这一假设。
+
+## 可行性结论
+
+**可行，且证据充分。**
+
+经过对 5 篇核心研究论文的深入分析，判断图论方法对 32B 模型的推理能力提升高度可行，
+主要依据来自三个方面：
+
+1. **直接证据**：NeurIPS 2025 的 "Topology of Reasoning" 论文系统分析了
+   DeepSeek-R1-Distill-Qwen-32B 的推理图属性，发现该模型展现出显著的循环结构
+   (~5次/样本)、最大的图直径（与准确率正相关）及约 6 倍于基础模型的小世界特性。
+2. **多条技术路线均已验证**：GoT (AAAI 2024) 排序质量比 ToT 提升 62% 且成本降低 31%；
+   AGoT (2025) 在 GPQA 科学推理上实现 +46.2%；SaGoT (ACL 2025) 修改 Transformer
+   内部注意力实现图推理。
+3. **32B 是甜点规模**：相比 7B/14B，32B 在推理图直径和循环数上达到最优，性价比最高。
+
+详见 [docs/feasibility_report.md](docs/feasibility_report.md)。
+
+## 实验设计
+
+设计了 5 个阶段的实验方案，详见 [docs/experiment_design.md](docs/experiment_design.md)。
+
+包含：
+- Phase 1: 基线建立（IO / CoT / ToT 基准测试）
+- Phase 2: AGoT 测试时推理增强
+- Phase 3: 图感知 SFT 数据训练
+- Phase 4: 消融实验与机制分析
+- Phase 5: 跨任务泛化测试
+
+## 已下载论文
+
+| 文件 | 来源 | 内容 |
+|------|------|------|
+| `papers/2308.09687_GoT_Solving_Elaborate_Problems.pdf` | AAAI 2024 | GoT 基础框架 |
+| `papers/2502.05078_AGoT_Adaptive_Graph_of_Thoughts.pdf` | arXiv 2025 | 自适应图推理 |
+| `papers/2506.05744_Topology_of_Reasoning.pdf` | NeurIPS 2025 | 32B 推理图分析 |
+| `papers/2025.acl_SaGoT_Self_Attention_GoT.pdf` | ACL 2025 | 自注意力图推理 |
+| `papers/2502.13247_Grounding_LLM_Reasoning_KG.pdf` | arXiv 2025 | 知识图谱推理 |