Mathematical Reasoning (Calculator) on MATH-500
73.6AccuracyEFFGEN
Evaluation Results
| Method | Links | |
|---|---|---|
| EFFGENModel=Gemma 3 (27B)2026.01 | 73.6 | |
| Raw ModelModel=Gemma 3 (27B)2026.01 | 71.2 | |
| AutoGenModel=Gemma 3 (27B)2026.01 | 70.8 | |
| SmolagentsModel=Gemma 3 (27B)2026.01 | 66.4 | |
| EFFGENModel=Gemma 3 (12B)2026.01 | 64.8 | |
| EFFGENModel=GPT-OSS (20B)2026.01 | 64.6 | |
| Raw ModelModel=Gemma 3 (12B)2026.01 | 63.4 | |
| Raw ModelModel=GPT-OSS (20B)2026.01 | 62.8 | |
| AutoGenModel=Gemma 3 (12B)2026.01 | 62.4 | |
| AutoGenModel=GPT-OSS (20B)2026.01 | 61.6 | |
| LangChainModel=Gemma 3 (27B)2026.01 | 57.8 | |
| EFFGENModel=Gemma 3 (4B)2026.01 | 56.8 | |
| Raw ModelModel=Gemma 3 (4B)2026.01 | 52.6 | |
| LangChainModel=GPT-OSS (20B)2026.01 | 50.4 | |
| AutoGenModel=Gemma 3 (4B)2026.01 | 49.8 | |
| LangChainModel=Gemma 3 (4B)2026.01 | 46.4 | |
| LangChainModel=Gemma 3 (12B)2026.01 | 40.2 | |
| SmolagentsModel=GPT-OSS (20B)2026.01 | 18.4 | |
| SmolagentsModel=Gemma 3 (12B)2026.01 | 15.6 | |
| EFFGENModel=Gemma 3 (1B)2026.01 | 15.4 | |
| Raw ModelModel=Gemma 3 (1B)2026.01 | 13 | |
| AutoGenModel=Gemma 3 (1B)2026.01 | 12.2 | |
| LangChainModel=Gemma 3 (1B)2026.01 | 10.8 | |
| SmolagentsModel=Gemma 3 (4B)2026.01 | 10.42 | |
| SmolagentsModel=Gemma 3 (1B)2026.01 | 9.4 |