Multimodal Agentic Reasoning and Retrieval on M3Exam

0.5921SS F1A-Mem

Evaluation results

Method
A-Mem2026.06	0.5921	0.7247	0.3998	0.5345	0.1298	0.1697	0.2403	0.3727	0.1361	0.3493	0.1227	0.2872	0.2875	0.9243	0.345
Universal-RAG2026.06	0.5858	0.7328	0.4349	0.5769	0.3903	0.4431	0.2938	0.4369	0.2691	0.4872	0.1586	0.5559	0.5367	0.8241	0.4366
RAG-Anything2026.06	0.5849	0.6418	0.394	0.5474	0.4353	0.4465	0.3863	0.497	0.2782	0.439	0.1873	0.6201	0.4572	0.8508	0.4481
Doubao-Seed-2.0-Pro2026.06	0.5638	0.2917	0.633	0.3607	0.6514	0.6437	0.7204	0.6586	0.548	0.1364	0.3005	0.4103	0.195	0.9532	0.4938
MemoryOS2026.06	0.541	0.7047	0.3399	0.5145	0.1248	0.3977	0.2146	0.3299	0.1274	0.3327	0.1162	0.3175	0.315	0.9733	0.347
GLM-5.12026.06	0.5409	0.651	0.6361	0.6066	0.5142	0.5115	0.5515	0.655	0.5843	0.6193	0.3735	0.5667	0.1667	0.9332	0.5493
Mem0 (w/o vision)2026.06	0.5343	0.6957	0.3837	0.5448	0.1361	0.1853	0.2471	0.3787	0.1346	0.3843	0.0962	0.3	0.1544	0.9243	0.341
Gemini-3.1-Pro-Preview2026.06	0.532	0.7693	0.2991	0.5437	0.4926	0.5404	0.3789	0.5111	0.3161	0.4417	0.287	0.6875	0.2403	0.9666	0.4668
GPT-5.42026.06	0.5257	0.7623	0.3276	0.6274	0.4975	0.495	0.4477	0.6389	0.1683	0.4333	0.3227	0.7125	0.189	0.9621	0.4823
M3Proctor2026.06	0.4993	0.6924	0.3697	0.5667	0.3952	0.4877	0.4305	0.6063	0.2202	0.4786	0.3021	0.6515	0.5688	0.9844	0.4838
MIRIX2026.06	0.4954	0.6378	0.2853	0.4875	0.4564	0.4949	0.4076	0.5775	0.2999	0.5917	0.1054	0.5375	0.3807	0.8664	0.456
MemVerse2026.06	0.485	0.6406	0.3895	0.5662	0.3229	0.4096	0.4591	0.5613	0.2518	0.4223	0.1849	0.6048	0.5474	0.9042	0.4481
Mem0 (with vision)2026.06	0.4798	0.6457	0.4181	0.5548	0.1511	0.1837	0.4459	0.5607	0.1485	0.3527	0.1286	0.5973	0.1942	0.9176	0.3969
Qwen3.6-Plus2026.06	0.4713	0.6354	0.5907	0.6004	0.5218	0.4799	0.5167	0.6406	0.5325	0.5227	0.3347	0.3833	0.152	0.98	0.5049
NaiveRAG2026.06	0.443	0.6547	0.3117	0.4429	0.2349	0.4167	0.208	0.2572	0.1321	0.2806	0.1263	0.3202	0.2569	0.784	0.3249
Grok-42026.06	0.4383	0.6211	0.3129	0.6125	0.3259	0.515	0.3912	0.7034	0.145	0.3667	0.2322	0.6875	0.1871	0.7923	0.4357
Kimi-k2.52026.06	0.4269	0.6304	0.341	0.4536	0.4642	0.505	0.5614	0.6556	0.1987	0.4351	0.2487	0.5589	0.1308	0.8667	0.4493
NGM2026.06	0.3559	0.5266	0.3453	0.466	0.1716	0.1601	0.4708	0.5479	0.2288	0.3905	0.1807	0.606	0.6208	0.9042	0.3813
Qwen-2.5-VL-7B2026.06	0.2742	0.5468	0.4587	0.3471	0.4378	0.5063	0.5425	0.4682	0.2461	0.0635	0.1672	0.0523	0.207	0.7904	0.4179
Claude-Opus-4.62026.06	0.2593	0.605	0.3678	0.5687	0.3754	0.5813	0.5354	0.7306	0.2387	0.6083	0.2412	0.6501	0.2203	0.9443	0.4937