List your company
ResearchFormerly WizWand

Mathematical Reasoning (Calculator) on MATH-500

73.6AccuracyEFFGEN
6.83224.16641.558.834Jan 31, 2026
Updated 8mo ago

Evaluation results

MethodLinks
EFFGENModel=Gemma 3 (27B)2026.0173.6
Raw ModelModel=Gemma 3 (27B)2026.0171.2
AutoGenModel=Gemma 3 (27B)2026.0170.8
SmolagentsModel=Gemma 3 (27B)2026.0166.4
EFFGENModel=Gemma 3 (12B)2026.0164.8
EFFGENModel=GPT-OSS (20B)2026.0164.6
Raw ModelModel=Gemma 3 (12B)2026.0163.4
Raw ModelModel=GPT-OSS (20B)2026.0162.8
AutoGenModel=Gemma 3 (12B)2026.0162.4
AutoGenModel=GPT-OSS (20B)2026.0161.6
LangChainModel=Gemma 3 (27B)2026.0157.8
EFFGENModel=Gemma 3 (4B)2026.0156.8
Raw ModelModel=Gemma 3 (4B)2026.0152.6
LangChainModel=GPT-OSS (20B)2026.0150.4
AutoGenModel=Gemma 3 (4B)2026.0149.8
LangChainModel=Gemma 3 (4B)2026.0146.4
LangChainModel=Gemma 3 (12B)2026.0140.2
SmolagentsModel=GPT-OSS (20B)2026.0118.4
SmolagentsModel=Gemma 3 (12B)2026.0115.6
EFFGENModel=Gemma 3 (1B)2026.0115.4
Raw ModelModel=Gemma 3 (1B)2026.0113
AutoGenModel=Gemma 3 (1B)2026.0112.2
LangChainModel=Gemma 3 (1B)2026.0110.8
SmolagentsModel=Gemma 3 (4B)2026.0110.42
SmolagentsModel=Gemma 3 (1B)2026.019.4