Mathematical Reasoning (Calculator) on GSM-PLUS
76.54AccuracyEFFGEN
Evaluation Results
| Method | Links | |
|---|---|---|
| EFFGENModel=Gemma 3 (27B)2026.01 | 76.54 | |
| Raw ModelModel=Gemma 3 (27B)2026.01 | 74.58 | |
| AutoGenModel=Gemma 3 (27B)2026.01 | 74.12 | |
| LangChainModel=Gemma 3 (27B)2026.01 | 73.25 | |
| SmolagentsModel=Gemma 3 (27B)2026.01 | 72.46 | |
| EFFGENModel=GPT-OSS (20B)2026.01 | 70.15 | |
| Raw ModelModel=Gemma 3 (12B)2026.01 | 69.83 | |
| AutoGenModel=Gemma 3 (12B)2026.01 | 68.92 | |
| Raw ModelModel=GPT-OSS (20B)2026.01 | 68.42 | |
| AutoGenModel=GPT-OSS (20B)2026.01 | 67.58 | |
| EFFGENModel=Gemma 3 (12B)2026.01 | 66.28 | |
| LangChainModel=Gemma 3 (12B)2026.01 | 65.42 | |
| LangChainModel=GPT-OSS (20B)2026.01 | 64.75 | |
| SmolagentsModel=GPT-OSS (20B)2026.01 | 63.92 | |
| SmolagentsModel=Gemma 3 (12B)2026.01 | 62.73 | |
| EFFGENModel=Gemma 3 (4B)2026.01 | 59.67 | |
| Raw ModelModel=Gemma 3 (4B)2026.01 | 57.4 | |
| AutoGenModel=Gemma 3 (4B)2026.01 | 55.27 | |
| LangChainModel=Gemma 3 (4B)2026.01 | 53.92 | |
| SmolagentsModel=Gemma 3 (4B)2026.01 | 47.35 | |
| EFFGENModel=Gemma 3 (1B)2026.01 | 16.04 | |
| Raw ModelModel=Gemma 3 (1B)2026.01 | 14.6 | |
| AutoGenModel=Gemma 3 (1B)2026.01 | 13.42 | |
| LangChainModel=Gemma 3 (1B)2026.01 | 12.83 | |
| SmolagentsModel=Gemma 3 (1B)2026.01 | 10.25 |