List your company
ResearchFormerly WizWand

Mathematical Reasoning (Calculator) on GSM8K

94.11AccuracyEFFGEN
16.650836.760456.8776.9796Jan 31, 2026
Updated 8mo ago

Evaluation results

MethodLinks
EFFGENModel=Gemma 3 (27B)2026.0194.11
Raw ModelModel=Gemma 3 (27B)2026.0193.25
LangChainModel=Gemma 3 (27B)2026.0193.08
AutoGenModel=Gemma 3 (27B)2026.0192.67
SmolagentsModel=Gemma 3 (27B)2026.0191.82
EFFGENModel=GPT-OSS (20B)2026.0190.28
EFFGENModel=Gemma 3 (12B)2026.0189.54
Raw ModelModel=GPT-OSS (20B)2026.0188.75
Raw ModelModel=Gemma 3 (12B)2026.0188.42
AutoGenModel=Gemma 3 (12B)2026.0188.14
AutoGenModel=GPT-OSS (20B)2026.0188.14
SmolagentsModel=GPT-OSS (20B)2026.0185.68
LangChainModel=GPT-OSS (20B)2026.0185.32
LangChainModel=Gemma 3 (12B)2026.0182.65
SmolagentsModel=Gemma 3 (12B)2026.0182.41
EFFGENModel=Gemma 3 (4B)2026.0181.35
Raw ModelModel=Gemma 3 (4B)2026.0177.2
LangChainModel=Gemma 3 (4B)2026.0175.48
AutoGenModel=Gemma 3 (4B)2026.0174.83
SmolagentsModel=Gemma 3 (4B)2026.0165.21
EFFGENModel=Gemma 3 (1B)2026.0128.28
Raw ModelModel=Gemma 3 (1B)2026.0125.8
AutoGenModel=Gemma 3 (1B)2026.0124.95
LangChainModel=Gemma 3 (1B)2026.0124.12
SmolagentsModel=Gemma 3 (1B)2026.0119.63