Mathematical Reasoning (Coding Tools) on BB Easy
95.12AccuracyEFFGEN
Evaluation results
| Method | Links | |
|---|---|---|
| EFFGENModel=Gemma 3 (27B)2026.01 | 95.12 | |
| EFFGENModel=GPT-OSS (20B)2026.01 | 94.88 | |
| SmolagentsModel=Gemma 3 (27B)2026.01 | 92.93 | |
| SmolagentsModel=GPT-OSS (20B)2026.01 | 92.44 | |
| AutoGenModel=Gemma 3 (27B)2026.01 | 90.73 | |
| AutoGenModel=GPT-OSS (20B)2026.01 | 89.27 | |
| EFFGENModel=Gemma 3 (12B)2026.01 | 87.07 | |
| LangChainModel=GPT-OSS (20B)2026.01 | 86.59 | |
| LangChainModel=Gemma 3 (27B)2026.01 | 86.34 | |
| Raw ModelModel=GPT-OSS (20B)2026.01 | 84.17 | |
| EFFGENModel=Gemma 3 (4B)2026.01 | 78.54 | |
| SmolagentsModel=Gemma 3 (12B)2026.01 | 78.29 | |
| AutoGenModel=Gemma 3 (12B)2026.01 | 75.61 | |
| LangChainModel=Gemma 3 (12B)2026.01 | 70.49 | |
| Raw ModelModel=Gemma 3 (27B)2026.01 | 69.76 | |
| SmolagentsModel=Gemma 3 (4B)2026.01 | 60.98 | |
| EFFGENModel=Gemma 3 (1B)2026.01 | 57.56 | |
| Raw ModelModel=Gemma 3 (12B)2026.01 | 57.32 | |
| AutoGenModel=Gemma 3 (4B)2026.01 | 56.1 | |
| LangChainModel=Gemma 3 (4B)2026.01 | 50.73 | |
| SmolagentsModel=Gemma 3 (1B)2026.01 | 44.17 | |
| AutoGenModel=Gemma 3 (1B)2026.01 | 41.22 | |
| Raw ModelModel=Gemma 3 (4B)2026.01 | 40.24 | |
| LangChainModel=Gemma 3 (1B)2026.01 | 38.54 | |
| Raw ModelModel=Gemma 3 (1B)2026.01 | 28.05 |