List your company
ResearchFormerly WizWand

Mathematical Reasoning on CHAMP standard (test)

68.5AccuracyMDToC
11.92426.61241.355.988Dec 21, 2025Dec 29, 2025Jan 6, 2026Jan 15, 2026Jan 23, 2026Jan 31, 2026Feb 9, 2026
Updated 8mo ago

Evaluation results

MethodLinks
MDToCLLM=GPT-4o, Prompt=MDToC2025.1268.5
GoTLLM=GPT-4o, Prompt=GoT2025.1263.4
ToTLLM=GPT-4o, Prompt=ToT2025.1261.3
MDToCLLM=GPT-4-Turbo, Prompt=MDToC2025.1259
GoTLLM=GPT-4-Turbo, Prompt=GoT2025.1254.2
ToTLLM=GPT-4-Turbo, Prompt=ToT2025.1252.7
MDToCLLM=GPT-4o-mini, Prompt=MDToC2025.1247.1
Ours (theory-guided context selection strategy)Model=Qwen3-8B2026.0241.1
ExpRAGModel=Qwen3-8B2026.0240.7
ReMemModel=Qwen3-8B2026.0240.7
DCModel=Qwen3-8B2026.0240.4
BM25Model=Qwen3-8B2026.0240
ZeroModel=Qwen3-8B2026.0239.6
GoTLLM=GPT-4o-mini, Prompt=GoT2025.1239.3
ToTLLM=GPT-4o-mini, Prompt=ToT2025.1237.8
MDToCLLM=Llama-3-70B, Prompt=MDToC2025.1236.1
MDToCLLM=Mistral-8x22B, Prompt=MDToC2025.1234.5
MDToCLLM=GPT-3.5-Turbo, Prompt=MDToC2025.1233.9
GoTLLM=Llama-3-70B, Prompt=GoT2025.1232.7
GoTLLM=Mistral-8x22B, Prompt=GoT2025.1232.4
GoTLLM=GPT-3.5-Turbo, Prompt=GoT2025.1232.3
ToTLLM=Mistral-8x22B, Prompt=ToT2025.1231.9
ToTLLM=GPT-3.5-Turbo, Prompt=ToT2025.1231.7
ToTLLM=Llama-3-70B, Prompt=ToT2025.1231.3
MDToCLLM=Llama-3-8B, Prompt=MDToC2025.1221.5
GoTLLM=Llama-3-8B, Prompt=GoT2025.1220.9
MDToCLLM=Mistral-7B, Prompt=MDToC2025.1219.7
ToTLLM=Llama-3-8B, Prompt=ToT2025.1219.2
GoTLLM=Mistral-7B, Prompt=GoT2025.1218.8
ToTLLM=Mistral-7B, Prompt=ToT2025.1218.1
ReMemModel=Llama-3.1-8B2026.0215.2
Ours (theory-guided context selection strategy)Model=Llama-3.1-8B2026.0215.2
DCModel=Llama-3.1-8B2026.0214.8
ExpRAGModel=Llama-3.1-8B2026.0214.8
BM25Model=Llama-3.1-8B2026.0214.4
ZeroModel=Llama-3.1-8B2026.0214.1