Mathematical Reasoning (Calculator) on GSM8K
94.11AccuracyEFFGEN
Evaluation Results
| Method | Links | |
|---|---|---|
| EFFGENModel=Gemma 3 (27B)2026.01 | 94.11 | |
| Raw ModelModel=Gemma 3 (27B)2026.01 | 93.25 | |
| LangChainModel=Gemma 3 (27B)2026.01 | 93.08 | |
| AutoGenModel=Gemma 3 (27B)2026.01 | 92.67 | |
| SmolagentsModel=Gemma 3 (27B)2026.01 | 91.82 | |
| EFFGENModel=GPT-OSS (20B)2026.01 | 90.28 | |
| EFFGENModel=Gemma 3 (12B)2026.01 | 89.54 | |
| Raw ModelModel=GPT-OSS (20B)2026.01 | 88.75 | |
| Raw ModelModel=Gemma 3 (12B)2026.01 | 88.42 | |
| AutoGenModel=Gemma 3 (12B)2026.01 | 88.14 | |
| AutoGenModel=GPT-OSS (20B)2026.01 | 88.14 | |
| SmolagentsModel=GPT-OSS (20B)2026.01 | 85.68 | |
| LangChainModel=GPT-OSS (20B)2026.01 | 85.32 | |
| LangChainModel=Gemma 3 (12B)2026.01 | 82.65 | |
| SmolagentsModel=Gemma 3 (12B)2026.01 | 82.41 | |
| EFFGENModel=Gemma 3 (4B)2026.01 | 81.35 | |
| Raw ModelModel=Gemma 3 (4B)2026.01 | 77.2 | |
| LangChainModel=Gemma 3 (4B)2026.01 | 75.48 | |
| AutoGenModel=Gemma 3 (4B)2026.01 | 74.83 | |
| SmolagentsModel=Gemma 3 (4B)2026.01 | 65.21 | |
| EFFGENModel=Gemma 3 (1B)2026.01 | 28.28 | |
| Raw ModelModel=Gemma 3 (1B)2026.01 | 25.8 | |
| AutoGenModel=Gemma 3 (1B)2026.01 | 24.95 | |
| LangChainModel=Gemma 3 (1B)2026.01 | 24.12 | |
| SmolagentsModel=Gemma 3 (1B)2026.01 | 19.63 |