cat
d84f98799b
## Added ### Core framework - src/llm_client.py — Ollama API wrapper for local Docker inference - src/samples.py — Embedded benchmark datasets (GSM8K/MATH/AIME + Chinese) - src/run_all.py — Unified experiment runner ### Phase 1: Baselines - src/baseline/benchmark.py — IO, CoT, CoT-SC, ToT evaluation with Chinese support ### Phase 2: AGoT - src/agot/agot.py — AGoT core algorithm (6 agent types, recursive decomposition) - src/agot/graph_utils.py — DAG graph data structure with cycle detection - src/agot/prompts.py — 6 agent prompt templates (EN + ZH) - src/agot/run.py — AGoT experiment runner ### Graph Analysis - src/graph_analysis/reasoning_graph.py — Graph property computation (cyclicity, diameter, small-world) - src/graph_analysis/visualize.py — Visualization charts ### Documentation - docs/graph_reasoning_principles.md — Comprehensive principles document - docs/next_steps.md — Roadmap for reliable reasoning tool ### Experiment Results - GSM8K/MATH baselines on qwen2.5:32b and qwq:latest - AGoT validation (100% on small sample) - Chinese dataset benchmarks (C-GSM8K, CMATH) - Graph property analysis confirming Topology of Reasoning findings
58 lines
5.4 KiB
JSON
58 lines
5.4 KiB
JSON
{
|
|
"summary": {
|
|
"method": "CoT",
|
|
"model": "qwen2.5:32b",
|
|
"task": "c_gsm8k",
|
|
"samples": 5,
|
|
"correct": 5,
|
|
"accuracy": 1.0,
|
|
"avg_time_s": 24.78
|
|
},
|
|
"details": [
|
|
{
|
|
"question": "小明有 12 个苹果，他给了小红 5 个，又给了小刚 3 个。请问小明还剩下几个苹果？",
|
|
"expected": "4",
|
|
"predicted": "4",
|
|
"full_response": "首先，我们确定小明初始拥有的苹果数量为 12 个。\n\n接着，小明给小红的苹果数是 5 个，因此我们可以从小明原有的苹果中减去这 5 个。计算如下：\n\n\\[12 - 5 = 7\\]\n\n这意味着在给了小红之后，小明还剩下 7 个苹果。\n\n然后，小明又给了小刚 3 个苹果。我们再从剩下的苹果数中减去这 3 个。计算如下：\n\n\\[7 - 3 = 4\\]\n\n所以，在给完小红和小刚之后，小明最后剩下的苹果数量是 \\boxed{4}。",
|
|
"correct": true,
|
|
"time_s": 15.32,
|
|
"tokens": 71
|
|
},
|
|
{
|
|
"question": "一个长方形的长是 8 厘米，宽是 5 厘米。如果长增加 2 厘米，宽不变，新的长方形面积比原来的大多少平方厘米？",
|
|
"expected": "10",
|
|
"predicted": "10",
|
|
"full_response": "首先，我们计算原始长方形的面积。\n\n原始长方形的长为 \\(8\\) 厘米，宽为 \\(5\\) 厘米。因此，原始面积是：\n\\[ \\text{原始面积} = 8 \\times 5 = 40 \\, \\text{平方厘米} \\]\n\n接下来，我们考虑长增加后的新的尺寸。\n\n新长方形的长变为 \\(8 + 2 = 10\\) 厘米，宽保持不变为 \\(5\\) 厘米。因此，新的面积是：\n\\[ \\text{新面积} = 10 \\times 5 = 50 \\, \\text{平方厘米} \\]\n\n最后，我们计算两个面积之间的差值来确定增加的面积。\n\n\\[ \\text{面积增加量} = \\text{新面积} - \\text{原始面积} = 50 - 40 = 10 \\, \\text{平方厘米} \\]\n\n所以，新的长方形面积比原来的大了 \\(\\boxed{10}\\) 平方厘米。",
|
|
"correct": true,
|
|
"time_s": 24.47,
|
|
"tokens": 126
|
|
},
|
|
{
|
|
"question": "超市里一瓶牛奶卖 6 元，一袋面包卖 4 元。小华买了 3 瓶牛奶和 2 袋面包，付了 50 元，请问应找回多少元？",
|
|
"expected": "24",
|
|
"predicted": "24",
|
|
"full_response": "首先计算小华购买的总费用。\n\n1. 小华买了 3 瓶牛奶，每瓶牛奶的价格是 6 元。因此，牛奶的总价为 \\(3 \\times 6 = 18\\) 元。\n2. 小华还买了 2 袋面包，每袋面包的价格是 4 元。所以，面包的总价为 \\(2 \\times 4 = 8\\) 元。\n\n接下来，计算小华购买所有物品的总费用：\n\\[牛奶总价 + 面包总价 = 18元 + 8元 = 26元\\]\n\n最后，根据题目中小华付了 50 元，我们来计算应该找回多少元。\n\\[找回金额 = 小华支付的金额 - 购买总费用 = 50元 - 26元 = 24元\\]\n\n所以，应找回 \\(\\boxed{24}\\) 元。",
|
|
"correct": true,
|
|
"time_s": 21.21,
|
|
"tokens": 98
|
|
},
|
|
{
|
|
"question": "一本书有 200 页，小明第一天看了全书的 1/4，第二天看了余下的 1/3。请问小明两天一共看了多少页？",
|
|
"expected": "100",
|
|
"predicted": "100",
|
|
"full_response": "首先，我们计算出小明第一天看的页数：\n\n- 全书共有 200 页。\n- 小明第一天看了全书的 \\(\\frac{1}{4}\\)，即 \\(200 \\times \\frac{1}{4} = 50\\) 页。\n\n接着，我们计算出小明第二天看的页数：\n\n- 第一天之后剩余的页数为 \\(200 - 50 = 150\\) 页。\n- 小明第二天看了余下的 \\(\\frac{1}{3}\\)，即 \\(150 \\times \\frac{1}{3} = 50\\) 页。\n\n最后，我们计算小明两天一共看的页数：\n\n- 第一天和第二天总共看了 \\(50 + 50 = 100\\) 页。\n\n所以，答案是 \\(\\boxed{100}\\)。",
|
|
"correct": true,
|
|
"time_s": 20.15,
|
|
"tokens": 102
|
|
},
|
|
{
|
|
"question": "一个水池有甲、乙两个进水管。单开甲管 6 小时可以注满水池，单开乙管 8 小时可以注满水池。如果两管同时开放，多少小时可以注满水池？",
|
|
"expected": "24/7",
|
|
"predicted": "\\frac{24}{7}",
|
|
"full_response": "首先，我们来分析每个管道单独工作时的效率。\n\n1. **甲管的工作效率**：\n - 单独使用甲管可以在 6 小时内将水池注满。\n - 因此，甲管每小时可以注满 \\(\\frac{1}{6}\\) 的水池。\n\n2. **乙管的工作效率**：\n - 单独使用乙管可以在 8 小时内将水池注满。\n - 因此，乙管每小时可以注满 \\(\\frac{1}{8}\\) 的水池。\n\n3. **两管同时工作时的总工作效率**：\n - 当甲、乙两个管道同时开启时，它们每小时共同可以注满 \\(\\frac{1}{6} + \\frac{1}{8}\\) 的水池。\n - 计算这个和：\\[\n \\frac{1}{6} + \\frac{1}{8} = \\frac{4}{24} + \\frac{3}{24} = \\frac{7}{24}\n \\]\n - 所以，两管同时工作时每小时可以注满水池的 \\(\\frac{7}{24}\\)。\n\n4. **计算所需时间**：\n - 如果两管同时开启，它们每小时可以完成 \\(\\frac{7}{24}\\) 的工作量。\n - 要完全填满整个水池（即完成 1 单位的工作），需要的时间 \\(T\\) 满足：\\[\n T \\times \\frac{7}{24} = 1\n \\]\n - 解这个方程得到：\\[\n T = \\frac{24}{7}\n \\]\n\n因此，两管同时开放时注满水池需要的时间是 \\(\\boxed{\\frac{24}{7}}\\) 小时。",
|
|
"correct": true,
|
|
"time_s": 42.74,
|
|
"tokens": 222
|
|
}
|
|
]
|
|
} |