Accuracy on LoCoMo
30.18AccuracyEFFGEN
Evaluation Results
| Method | Links | |
|---|---|---|
| EFFGENModel=Gemma 3 (27B)2026.01 | 30.18 | |
| AutoGenModel=Gemma 3 (27B)2026.01 | 29.45 | |
| Raw ModelModel=Gemma 3 (27B)2026.01 | 25.84 | |
| EFFGENModel=GPT-OSS (20B)2026.01 | 25.47 | |
| LangChainModel=Gemma 3 (27B)2026.01 | 24.12 | |
| EFFGENModel=Gemma 3 (12B)2026.01 | 23.64 | |
| Raw ModelModel=GPT-OSS (20B)2026.01 | 21.36 | |
| Raw ModelModel=Gemma 3 (12B)2026.01 | 20.74 | |
| EFFGENModel=Gemma 3 (4B)2026.01 | 19.72 | |
| AutoGenModel=GPT-OSS (20B)2026.01 | 17.42 | |
| SmolagentsModel=Gemma 3 (27B)2026.01 | 16.24 | |
| Raw ModelModel=Gemma 3 (4B)2026.01 | 15.83 | |
| AutoGenModel=Gemma 3 (12B)2026.01 | 15.38 | |
| LangChainModel=Gemma 3 (4B)2026.01 | 11.84 | |
| EFFGENModel=Gemma 3 (1B)2026.01 | 11.54 | |
| SmolagentsModel=GPT-OSS (20B)2026.01 | 11.48 | |
| AutoGenModel=Gemma 3 (4B)2026.01 | 10.26 | |
| LangChainModel=GPT-OSS (20B)2026.01 | 10.25 | |
| SmolagentsModel=Gemma 3 (12B)2026.01 | 9.62 | |
| LangChainModel=Gemma 3 (12B)2026.01 | 8.47 | |
| AutoGenModel=Gemma 3 (1B)2026.01 | 7.53 | |
| LangChainModel=Gemma 3 (1B)2026.01 | 6.94 | |
| SmolagentsModel=Gemma 3 (1B)2026.01 | 6.87 | |
| SmolagentsModel=Gemma 3 (4B)2026.01 | 6.84 | |
| Raw ModelModel=Gemma 3 (1B)2026.01 | 4.82 |