Memory Evaluation on LongMemEval (Accuracy)
34.72AccuracyEFFGEN
Evaluation Results
| Method | Links | |
|---|---|---|
| EFFGENModel=Gemma 3 (27B)2026.01 | 34.72 | |
| EFFGENModel=GPT-OSS (20B)2026.01 | 34.28 | |
| EFFGENModel=Gemma 3 (12B)2026.01 | 33.82 | |
| EFFGENModel=Gemma 3 (4B)2026.01 | 29.85 | |
| Raw ModelModel=Gemma 3 (27B)2026.01 | 29.45 | |
| Raw ModelModel=GPT-OSS (20B)2026.01 | 28.92 | |
| Raw ModelModel=Gemma 3 (12B)2026.01 | 28.65 | |
| SmolagentsModel=GPT-OSS (20B)2026.01 | 27.24 | |
| AutoGenModel=Gemma 3 (27B)2026.01 | 27.18 | |
| AutoGenModel=GPT-OSS (20B)2026.01 | 26.73 | |
| Raw ModelModel=Gemma 3 (4B)2026.01 | 26.72 | |
| AutoGenModel=Gemma 3 (12B)2026.01 | 26.47 | |
| SmolagentsModel=Gemma 3 (27B)2026.01 | 26.35 | |
| SmolagentsModel=Gemma 3 (12B)2026.01 | 26.18 | |
| EFFGENModel=Gemma 3 (1B)2026.01 | 25.31 | |
| AutoGenModel=Gemma 3 (4B)2026.01 | 18.63 | |
| Raw ModelModel=Gemma 3 (1B)2026.01 | 18.45 | |
| SmolagentsModel=Gemma 3 (1B)2026.01 | 17.92 | |
| SmolagentsModel=Gemma 3 (4B)2026.01 | 17.54 | |
| LangChainModel=Gemma 3 (27B)2026.01 | 17.42 | |
| LangChainModel=GPT-OSS (20B)2026.01 | 16.58 | |
| AutoGenModel=Gemma 3 (1B)2026.01 | 15.27 | |
| LangChainModel=Gemma 3 (12B)2026.01 | 15.23 | |
| LangChainModel=Gemma 3 (1B)2026.01 | 12.68 | |
| LangChainModel=Gemma 3 (4B)2026.01 | 10.45 |