List your company
ResearchFormerly WizWand

Memory Evaluation on LongMemEval (Accuracy)

34.72AccuracyEFFGEN
9.479216.032122.58529.1379Jan 31, 2026
Updated 8mo ago

Evaluation results

MethodLinks
EFFGENModel=Gemma 3 (27B)2026.0134.72
EFFGENModel=GPT-OSS (20B)2026.0134.28
EFFGENModel=Gemma 3 (12B)2026.0133.82
EFFGENModel=Gemma 3 (4B)2026.0129.85
Raw ModelModel=Gemma 3 (27B)2026.0129.45
Raw ModelModel=GPT-OSS (20B)2026.0128.92
Raw ModelModel=Gemma 3 (12B)2026.0128.65
SmolagentsModel=GPT-OSS (20B)2026.0127.24
AutoGenModel=Gemma 3 (27B)2026.0127.18
AutoGenModel=GPT-OSS (20B)2026.0126.73
Raw ModelModel=Gemma 3 (4B)2026.0126.72
AutoGenModel=Gemma 3 (12B)2026.0126.47
SmolagentsModel=Gemma 3 (27B)2026.0126.35
SmolagentsModel=Gemma 3 (12B)2026.0126.18
EFFGENModel=Gemma 3 (1B)2026.0125.31
AutoGenModel=Gemma 3 (4B)2026.0118.63
Raw ModelModel=Gemma 3 (1B)2026.0118.45
SmolagentsModel=Gemma 3 (1B)2026.0117.92
SmolagentsModel=Gemma 3 (4B)2026.0117.54
LangChainModel=Gemma 3 (27B)2026.0117.42
LangChainModel=GPT-OSS (20B)2026.0116.58
AutoGenModel=Gemma 3 (1B)2026.0115.27
LangChainModel=Gemma 3 (12B)2026.0115.23
LangChainModel=Gemma 3 (1B)2026.0112.68
LangChainModel=Gemma 3 (4B)2026.0110.45