Retrieval-augmented Reasoning on ARC-C
92.56AccuracyLangChain
Evaluation results
| Method | Links | |
|---|---|---|
| LangChainModel=Gemma 3 (27B)2026.01 | 92.56 | |
| SmolagentsModel=Gemma 3 (27B)2026.01 | 92.18 | |
| EFFGENModel=Gemma 3 (27B)2026.01 | 91.64 | |
| Raw ModelModel=Gemma 3 (27B)2026.01 | 91.38 | |
| EFFGENModel=GPT-OSS (20B)2026.01 | 88.52 | |
| AutoGenModel=Gemma 3 (27B)2026.01 | 88.14 | |
| EFFGENModel=Gemma 3 (12B)2026.01 | 86.35 | |
| LangChainModel=Gemma 3 (12B)2026.01 | 85.27 | |
| LangChainModel=GPT-OSS (20B)2026.01 | 83.72 | |
| EFFGENModel=Gemma 3 (4B)2026.01 | 82.64 | |
| Raw ModelModel=Gemma 3 (12B)2026.01 | 82.13 | |
| Raw ModelModel=GPT-OSS (20B)2026.01 | 81.45 | |
| AutoGenModel=GPT-OSS (20B)2026.01 | 77.38 | |
| AutoGenModel=Gemma 3 (12B)2026.01 | 74.63 | |
| SmolagentsModel=GPT-OSS (20B)2026.01 | 73.15 | |
| Raw ModelModel=Gemma 3 (4B)2026.01 | 72.45 | |
| SmolagentsModel=Gemma 3 (12B)2026.01 | 69.74 | |
| LangChainModel=Gemma 3 (4B)2026.01 | 68.32 | |
| AutoGenModel=Gemma 3 (4B)2026.01 | 67.18 | |
| EFFGENModel=Gemma 3 (1B)2026.01 | 63.18 | |
| Raw ModelModel=Gemma 3 (1B)2026.01 | 52.3 | |
| LangChainModel=Gemma 3 (1B)2026.01 | 45.21 | |
| SmolagentsModel=Gemma 3 (1B)2026.01 | 41.52 | |
| AutoGenModel=Gemma 3 (1B)2026.01 | 41.38 | |
| SmolagentsModel=Gemma 3 (4B)2026.01 | 33.48 |