Mathematical Reasoning (Coding Tools) on BB-Hard
63.33AccuracyEFFGEN
Evaluation Results
| Method | Links | |
|---|---|---|
| EFFGENModel=GPT-OSS (20B)2026.01 | 63.33 | |
| EFFGENModel=Gemma 3 (27B)2026.01 | 56.67 | |
| AutoGenModel=GPT-OSS (20B)2026.01 | 52.14 | |
| Raw ModelModel=GPT-OSS (20B)2026.01 | 51.57 | |
| LangChainModel=GPT-OSS (20B)2026.01 | 48.33 | |
| SmolagentsModel=GPT-OSS (20B)2026.01 | 46.67 | |
| SmolagentsModel=Gemma 3 (27B)2026.01 | 43.75 | |
| AutoGenModel=Gemma 3 (27B)2026.01 | 28.75 | |
| EFFGENModel=Gemma 3 (12B)2026.01 | 26.9 | |
| LangChainModel=Gemma 3 (27B)2026.01 | 26.43 | |
| Raw ModelModel=Gemma 3 (27B)2026.01 | 24.58 | |
| SmolagentsModel=Gemma 3 (12B)2026.01 | 22.5 | |
| EFFGENModel=Gemma 3 (4B)2026.01 | 19.58 | |
| Raw ModelModel=Gemma 3 (12B)2026.01 | 14.17 | |
| LangChainModel=Gemma 3 (12B)2026.01 | 12.14 | |
| SmolagentsModel=Gemma 3 (4B)2026.01 | 7.86 | |
| Raw ModelModel=Gemma 3 (4B)2026.01 | 6.67 | |
| AutoGenModel=Gemma 3 (12B)2026.01 | 6.67 | |
| EFFGENModel=Gemma 3 (1B)2026.01 | 6.43 | |
| AutoGenModel=Gemma 3 (4B)2026.01 | 6.43 | |
| LangChainModel=Gemma 3 (4B)2026.01 | 5.24 | |
| Raw ModelModel=Gemma 3 (1B)2026.01 | 2.14 | |
| AutoGenModel=Gemma 3 (1B)2026.01 | 1.67 | |
| LangChainModel=Gemma 3 (1B)2026.01 | 1.43 | |
| SmolagentsModel=Gemma 3 (1B)2026.01 | 1.43 |