Discriminative Task on RPEval Implicit Memory, Multi-Preference benchmark leaderboard · SOTA2 Research

Discriminative Task on RPEval Implicit Memory, Multi-Preference

0.44IA (Macro)GPT-4.1 + RP-Reasoner

Evaluation Results

Method	Links
GPT-4.1 + RP-Reasoner2026.01		0.44	0.08	0.22	0.67	0.55	0.59
DeepSeek-V3 + CoT2026.01		0.38	0.13	0.23	0.7	0.61	0.64
Qwen2.5-7B + RP-Reasoner2026.01		0.31	0.02	0.13	0.52	0.44	0.46
DeepSeek-V3 + RP-Reasoner2026.01		0.31	0.14	0.21	0.65	0.65	0.65
GPT-5 + CoT2026.01		0.26	0.06	0.15	0.46	0.49	0.48
GPT-5 + RP-Reasoner2026.01		0.19	0.09	0.13	0.53	0.54	0.53
Qwen2.5-7B2026.01		0.15	0	0.06	0.36	0.22	0.27
DeepSeek-V3 + Reminder2026.01		0.14	0.07	0.09	0.62	0.55	0.57
GPT-4.1 + CoT2026.01		0.14	0.08	0.1	0.38	0.49	0.46
DeepSeek-V32026.01		0.12	0.07	0.09	0.6	0.56	0.57
Qwen2.5-7B + CoT2026.01		0.05	0	0.02	0.42	0.32	0.35
GPT-4.1 + Reminder2026.01		0.05	0.01	0.03	0.31	0.231	0.26
GPT-52026.01		0.05	0.01	0.03	0.32	0.42	0.39
Qwen2.5-7B + Reminder2026.01		0.03	0.01	0.02	0.27	0.26	0.26
GPT-5 + Reminder2026.01		0.03	0.04	0.03	0.32	0.43	0.39
GPT-4.12026.01		0.02	0	0.01	0.27	0.19	0.22