List your company
ResearchFormerly WizWand

Mathematical Reasoning (Coding Tools) on BB-Hard

63.33AccuracyEFFGEN
-1.04615.66732.3849.093Jan 31, 2026
Updated 8mo ago

Evaluation results

MethodLinks
EFFGENModel=GPT-OSS (20B)2026.0163.33
EFFGENModel=Gemma 3 (27B)2026.0156.67
AutoGenModel=GPT-OSS (20B)2026.0152.14
Raw ModelModel=GPT-OSS (20B)2026.0151.57
LangChainModel=GPT-OSS (20B)2026.0148.33
SmolagentsModel=GPT-OSS (20B)2026.0146.67
SmolagentsModel=Gemma 3 (27B)2026.0143.75
AutoGenModel=Gemma 3 (27B)2026.0128.75
EFFGENModel=Gemma 3 (12B)2026.0126.9
LangChainModel=Gemma 3 (27B)2026.0126.43
Raw ModelModel=Gemma 3 (27B)2026.0124.58
SmolagentsModel=Gemma 3 (12B)2026.0122.5
EFFGENModel=Gemma 3 (4B)2026.0119.58
Raw ModelModel=Gemma 3 (12B)2026.0114.17
LangChainModel=Gemma 3 (12B)2026.0112.14
SmolagentsModel=Gemma 3 (4B)2026.017.86
Raw ModelModel=Gemma 3 (4B)2026.016.67
AutoGenModel=Gemma 3 (12B)2026.016.67
EFFGENModel=Gemma 3 (1B)2026.016.43
AutoGenModel=Gemma 3 (4B)2026.016.43
LangChainModel=Gemma 3 (4B)2026.015.24
Raw ModelModel=Gemma 3 (1B)2026.012.14
AutoGenModel=Gemma 3 (1B)2026.011.67
LangChainModel=Gemma 3 (1B)2026.011.43
SmolagentsModel=Gemma 3 (1B)2026.011.43