Literature Retrieval on ScholarGym Hard (test) benchmark leaderboard · SOTA2 Research

Literature Retrieval on ScholarGym Hard (test)

0.397RecallGPT-5.2

Evaluation Results

Method	Links
GPT-5.22026.01		0.397	0.045	0.081	0.505	0.008	0.016
DeepSeek-V3.22026.01		0.372	0.017	0.032	0.43	0.006	0.012
Gemini3-Pro2026.01		0.365	0.028	0.052	0.504	0.01	0.02
DeepSeek-V3.22026.01		0.355	0.041	0.074	0.448	0.008	0.016
Qwen3-30B2026.01		0.226	0.016	0.03	0.316	0.006	0.011
GLM-4.72026.01		0.216	0.017	0.031	0.398	0.006	0.012
Qwen3-30B2026.01		0.172	0.058	0.087	0.264	0.01	0.019
Qwen3-8B2026.01		0.123	0.016	0.028	0.165	0.005	0.01
Qwen3-8B2026.01		0.12	0.013	0.023	0.213	0.007	0.014
Qwen3-30B2026.01		0.089	0.006	0.011	0.095	0.005	0.01
Qwen3-8B2026.01		0.048	0.004	0.007	0.055	0.003	0.006