List your company
ResearchFormerly WizWand

Mathematical Reasoning on Game of 24 (test)

98AccuracyCR
0.2425.625176.38Aug 8, 2023Dec 30, 2023May 22, 2024Oct 14, 2024Mar 7, 2025Jul 29, 2025Dec 21, 2025
Updated 8mo ago

Evaluation results

MethodLinks
CRBackbone=GPT-4, Search breadth (b)=52023.089814.86
CRBackbone=GPT-4, Search breadth (b)=32023.089714.25
CRBackbone=GPT-4, Search breadth (b)=42023.089714.77
CRBackbone=GPT-4, Search breadth (b)=22023.089413.7
GoTLLM=GPT-4o, Prompt=GoT2025.1290—
MDToCLLM=GPT-4o, Prompt=MDToC2025.1290—
ToTLLM=GPT-4o, Prompt=ToT2025.1288—
MDToCLLM=GPT-4-Turbo, Prompt=MDToC2025.1285—
CRBackbone=GPT-4, Search breadth (b)=12023.088411.68
GoTLLM=GPT-4-Turbo, Prompt=GoT2025.1281—
ToTLLM=GPT-4-Turbo, Prompt=ToT2025.1279—
ToTBackbone=GPT-4, Search breadth (b)=52023.087461.72
MDToCLLM=GPT-4o-mini, Prompt=MDToC2025.1274—
GoTLLM=GPT-4o-mini, Prompt=GoT2025.1262—
ToTLLM=GPT-4o-mini, Prompt=ToT2025.1256—
CoT (best of 100)Backbone=GPT-4, sample size (k)=1002023.0849100
Direct (best of 100)Backbone=GPT-4, sample size (k)=1002023.0833100
MDToCLLM=Llama-3-70B, Prompt=MDToC2025.1229—
MDToCLLM=Mistral-8x22B, Prompt=MDToC2025.1226—
GoTLLM=Llama-3-70B, Prompt=GoT2025.1226—
MDToCLLM=GPT-3.5-Turbo, Prompt=MDToC2025.1225—
ToTLLM=Llama-3-70B, Prompt=ToT2025.1224—
GoTLLM=Mistral-8x22B, Prompt=GoT2025.1223—
ToTLLM=Mistral-8x22B, Prompt=ToT2025.1222—
GoTLLM=GPT-3.5-Turbo, Prompt=GoT2025.1221—
ToTLLM=GPT-3.5-Turbo, Prompt=ToT2025.1219—
MDToCLLM=Llama-3-8B, Prompt=MDToC2025.1210—
CoT-SCBackbone=GPT-4, sample size (k)=1002023.089100
GoTLLM=Mistral-7B, Prompt=GoT2025.129—
MDToCLLM=Mistral-7B, Prompt=MDToC2025.129—
ToTLLM=Mistral-7B, Prompt=ToT2025.128—
GoTLLM=Llama-3-8B, Prompt=GoT2025.128—
DirectBackbone=GPT-42023.087.31
ToTLLM=Llama-3-8B, Prompt=ToT2025.127—
CoTBackbone=GPT-42023.0841