Mathematical Reasoning (Coding Tools) on BB-Med
76.8AccuracyEFFGEN
Evaluation Results
| Method | Links | |
|---|---|---|
| EFFGENModel=GPT-OSS (20B)2026.01 | 76.8 | |
| SmolagentsModel=GPT-OSS (20B)2026.01 | 71.2 | |
| LangChainModel=GPT-OSS (20B)2026.01 | 68.4 | |
| SmolagentsModel=Gemma 3 (27B)2026.01 | 66.8 | |
| AutoGenModel=GPT-OSS (20B)2026.01 | 65.2 | |
| EFFGENModel=Gemma 3 (27B)2026.01 | 62.2 | |
| Raw ModelModel=GPT-OSS (20B)2026.01 | 61.91 | |
| AutoGenModel=Gemma 3 (27B)2026.01 | 61.6 | |
| LangChainModel=Gemma 3 (27B)2026.01 | 58 | |
| EFFGENModel=Gemma 3 (12B)2026.01 | 52.8 | |
| SmolagentsModel=Gemma 3 (12B)2026.01 | 47.6 | |
| Raw ModelModel=Gemma 3 (27B)2026.01 | 46.4 | |
| LangChainModel=Gemma 3 (12B)2026.01 | 43.6 | |
| AutoGenModel=Gemma 3 (12B)2026.01 | 41.2 | |
| EFFGENModel=Gemma 3 (4B)2026.01 | 33.6 | |
| EFFGENModel=Gemma 3 (1B)2026.01 | 30.2 | |
| LangChainModel=Gemma 3 (4B)2026.01 | 27.6 | |
| SmolagentsModel=Gemma 3 (4B)2026.01 | 27.2 | |
| Raw ModelModel=Gemma 3 (12B)2026.01 | 26 | |
| AutoGenModel=Gemma 3 (4B)2026.01 | 25.2 | |
| SmolagentsModel=Gemma 3 (1B)2026.01 | 24 | |
| AutoGenModel=Gemma 3 (1B)2026.01 | 22.4 | |
| Raw ModelModel=Gemma 3 (4B)2026.01 | 17.2 | |
| LangChainModel=Gemma 3 (1B)2026.01 | 16.8 | |
| Raw ModelModel=Gemma 3 (1B)2026.01 | 8.4 |