RAG Performance Prediction on HotpotQA benchmark leaderboard · SOTA2 Research

RAG Performance Prediction on HotpotQA

0.78QE5Bert-Gen

Evaluation Results

Method	Links
Bert-Gen2026.04		0.78	0.715	0.523
Bert-Gen2026.04		0.779	0.697	0.521
Bert-Gen2026.04		0.744	0.609	0.59
Bert-Gen2026.04		0.733	0.562	0.599
Bert-Post2026.04		0.486	0.233	0.267
Bert-Post2026.04		0.484	0.288	0.327
Uncertainty2026.04		0.419	0.006	0.196
Uncertainty2026.04		0.385	-0.035	0.134
Bert-Post2026.04		0.375	0.324	0.405
Uncertainty2026.04		0.371	0.212	0.28
Bert-Post2026.04		0.37	0.328	0.378
Uncertainty2026.04		0.358	0.198	0.245
Entailment2026.04		0.258	0.122	0.15
REF2026.04		0.255	0.146	0.203
Entailment2026.04		0.233	0.112	0.106
U_WIG2026.04		0.19	0.121	0.135
U_SMV2026.04		0.181	0.118	0.106
WIG2026.04		0.18	0.117	0.116
SMV2026.04		0.18	0.115	0.105
U_WIG2026.04		0.176	0.065	0.063
REF2026.04		0.173	0.176	0.213
REF2026.04		0.167	0.099	0.101
QC2026.04		0.16	0.089	0.069
NQC2026.04		0.159	0.086	0.068
REF2026.04		0.124	0.101	0.143
U_WIG2026.04		0.122	0.107	0.143
QC2026.04		0.12	0.083	0.091
U_SMV2026.04		0.12	0.083	0.091
U_WIG2026.04		0.118	0.096	0.144
Entailment2026.04		0.116	0.091	0.173
QC2026.04		0.112	0.106	0.136
NQC2026.04		0.104	0.087	0.124
Entailment2026.04		0.103	0.092	0.153
QC2026.04		0.102	0.086	0.125
U_SMV2026.04		0.091	0.081	0.108
WIG2026.04		0.089	0.095	0.124
SMV2026.04		0.081	0.063	0.054
NQC2026.04		0.08	0.063	0.054
meanSCQ2026.04		0.073	0.051	0.053
NQC2026.04		0.067	0.107	0.107
SMV2026.04		0.067	0.107	0.107
SMV2026.04		0.05	0.077	0.117
U_SMV2026.04		0.049	0.076	0.118
maxSCQ2026.04		0.044	0.027	0.051
maxVAR2026.04		0.042	0.065	0.025
maxVAR2026.04		0.04	0.06	0.057
maxSCQ2026.04		0.039	0.054	0.058
maxIDF2026.04		0.038	0.062	0.048
meanSCQ2026.04		0.038	0.037	0.055
minVAR2026.04		0.035	0.03	0.012
maxIDF2026.04		0.031	0.06	0.047
maxSCQ2026.04		0.03	0.023	0.024
maxSCQ2026.04		0.029	0.031	0.039
minVAR2026.04		0.023	0.006	0.029
minSCQ2026.04		0.02	0.021	0.017
meanSCQ2026.04		0.019	0.036	0.036
meanIDF2026.04		0.018	0.049	0.033
meanVAR2026.04		0.015	0.053	0.015
minIDF2026.04		0.013	0.018	0.013
meanSCQ2026.04		0.013	0.023	0.044
minVAR2026.04		0.01	0.01	0.029
WIG2026.04		0.008	-0.012	-0.018
minSCQ2026.04		0.007	0.014	0.033
maxVAR2026.04		0.007	0.034	0.004
maxVAR2026.04		0.002	0.028	0.012
minVAR2026.04		0	-0.001	0.004
minIDF2026.04		-0.002	0.013	0.025
meanVAR2026.04		-0.007	0.03	0.016
minSCQ2026.04		-0.007	0.007	0.024
meanIDF2026.04		-0.013	0.03	0.009
minSCQ2026.04		-0.013	-0.001	0.001
minIDF2026.04		-0.015	0.002	0.021
maxIDF2026.04		-0.017	0.007	-0.018
minIDF2026.04		-0.022	-0.007	-0.001
WIG2026.04		-0.027	0.006	0.033
meanVAR2026.04		-0.033	0.017	-0.009
meanVAR2026.04		-0.038	0.007	-0.01
maxIDF2026.04		-0.039	0.004	-0.007
meanIDF2026.04		-0.041	0.009	0.003
meanIDF2026.04		-0.042	-0.001	-0.024