Scientific Impact Forecasting on arXiv June 2024 to November 2025 (temporal OOD) benchmark leaderboard · SOTA2 Research

Scientific Impact Forecasting on arXiv June 2024 to November 2025 (temporal OOD)

0.582Forecast Score (2025.08)FAME

Evaluation Results

Method	Links
FAME2026.05		0.582	0.521	0.633	0.483	0.531	0.562	0.482	0.524	0.433	0.563	0.492	0.45	0.617	0.616	0.676	0.552	0.399	0.37
TGCN2026.05		0.508	0.351	0.383	0.102	0.207	0.295	0.22	0.277	0.248	0.344	0.151	0.212	0.268	0.077	0.409	0.534	0.355	-0.155
Transformer2026.05		0.454	0.115	0.41	0.397	0.375	0.243	0.127	0.257	0.377	0.422	0.062	0.297	0.512	0.507	0.441	0.35	0.057	-0.047
XGBoost2026.05		0.288	0.148	0.321	0.301	0.105	0.182	-0.067	0.154	0.183	0.298	0.364	0.219	0.362	0.347	0.037	0.169	0.061	0.054
SVR2026.05		0.27	0.151	0.225	0.227	0.394	0.281	0.32	0.37	0.319	0.467	0.447	0.309	0.479	0.459	0.2	0.32	0.297	0.238
SciJudge-4B2026.05		0.226	—	—	—	—	—	—	—	0.122	0.156	0.269	0.254	0.312	0.174	0.419	0.213	0.274	0.178
GPT-4.1-mini2026.05		0.174	0.237	0.069	0.209	0.269	0.314	0.131	0.26	0.048	0.16	0.141	0.051	0.096	0.009	0.151	0.14	0.251	0.143
DeepSeek-V3.22026.05		0.134	—	—	—	—	—	—	—	0.043	0.23	0.255	0.306	0.214	0.156	0.345	0.237	0.129	0.143
Gemini-3.1-Pro-Preview2026.05		0.104	—	—	—	—	—	—	—	0.072	0.146	0.243	0.315	0.298	0.005	0.088	0.28	0.14	0.168
GPT-5.22026.05		0.082	—	—	—	—	—	—	—	—	—	—	—	—	—	—	0.25	0.2	0.183
Gemini-3-Flash-Preview2026.05		0.06	—	—	—	—	—	—	—	0.061	0.149	0.209	0.303	0.259	0.142	0.263	0.197	0.216	0.231
GPT-4.12026.05		-0.184	0.07	0.078	0.076	0.301	0.22	0.021	0.106	-0.004	0.103	0.058	0.116	0.093	-0.131	-0.057	0.103	0.22	0.07