Retrieval-augmented Reasoning on ARC-E
94.25AccuracyEFFGEN
Evaluation results
| Method | Links | |
|---|---|---|
| EFFGENModel=Gemma 3 (27B)2026.01 | 94.25 | |
| SmolagentsModel=Gemma 3 (27B)2026.01 | 93.94 | |
| LangChainModel=Gemma 3 (27B)2026.01 | 93.68 | |
| Raw ModelModel=Gemma 3 (27B)2026.01 | 93.52 | |
| EFFGENModel=GPT-OSS (20B)2026.01 | 93.14 | |
| AutoGenModel=Gemma 3 (27B)2026.01 | 91.35 | |
| EFFGENModel=Gemma 3 (4B)2026.01 | 91.28 | |
| EFFGENModel=Gemma 3 (12B)2026.01 | 90.68 | |
| LangChainModel=Gemma 3 (12B)2026.01 | 89.94 | |
| Raw ModelModel=Gemma 3 (12B)2026.01 | 89.72 | |
| Raw ModelModel=GPT-OSS (20B)2026.01 | 89.27 | |
| LangChainModel=GPT-OSS (20B)2026.01 | 88.94 | |
| Raw ModelModel=Gemma 3 (4B)2026.01 | 87.33 | |
| SmolagentsModel=GPT-OSS (20B)2026.01 | 82.38 | |
| AutoGenModel=GPT-OSS (20B)2026.01 | 81.65 | |
| AutoGenModel=Gemma 3 (4B)2026.01 | 80.92 | |
| SmolagentsModel=Gemma 3 (12B)2026.01 | 79.82 | |
| LangChainModel=Gemma 3 (4B)2026.01 | 79.65 | |
| AutoGenModel=Gemma 3 (12B)2026.01 | 78.85 | |
| EFFGENModel=Gemma 3 (1B)2026.01 | 78.42 | |
| Raw ModelModel=Gemma 3 (1B)2026.01 | 68.52 | |
| LangChainModel=Gemma 3 (1B)2026.01 | 59.84 | |
| AutoGenModel=Gemma 3 (1B)2026.01 | 52.71 | |
| SmolagentsModel=Gemma 3 (4B)2026.01 | 40.25 | |
| SmolagentsModel=Gemma 3 (1B)2026.01 | 30.18 |