Reward Model Suitability Audit on RM Bench Chat

0.313EFGRM-llama3-8B-distill

Evaluation Results

Method
GRM-llama3-8B-distill2025.11	0.313	0.019	0.349	0.422	0.247	-0.036	0.032	0.337	0.581	0.19
internlm2-7b-reward2025.11	0.302	0.006	0.344	0.406	0.387	-0.062	0.1	0.313	0.465	0.195
internlm2-1.8b-reward2025.11	0.16	0.242	0.162	0.114	0.35	0.036	0.046	0.151	0.229	0.258
GRM-llama3-8B-sftreg2025.11	0.148	-0.03	0.315	0.382	0.254	-0.01	0.009	0.304	0.549	0.176
Skywork-Reward-Gemma-2-27B2025.11	0.131	-0.001	0.034	0.046	0.115	0.087	-0.037	0.043	0.102	-0.009
Skywork-Reward-V2-Qwen2-8B2025.11	0.12	-0.032	-0.039	0.186	0.05	-0.197	-0.107	0.347	0.435	0.079
Llama3-8B-IDRM2025.11	0.115	-0.144	0.363	0.36	0.155	0.162	0.247	0.336	0.525	0.34
UltraRM-13b2025.11	0.091	-0.166	0.174	0.366	0.162	0.121	0.255	0.267	0.303	-0.118
GRM-Llama3-8B-rewardmodel-ft2025.11	0.076	0.148	0.23	0.263	0.391	-0.087	0.162	0.359	0.639	0.204
URM-LLaMa-3-8B2025.11	0.068	0.057	-0.018	0.03	0.037	-0.107	0.039	0.37	0.49	0.114
Skywork-Reward-V2-Llama-3.1-8B2025.11	0.067	0.143	0.188	0.255	0.271	-0.382	-0.489	0.449	0.549	0.171
Eurus-RM-7b2025.11	0.062	-0.009	-0.062	-0.07	0.042	0.395	0.389	0.207	0.393	0.399
Skywork-Reward-Gemma-2-27B-v0.22025.11	0.052	0.085	0.132	0.109	0.174	0.19	0.077	0.026	0.182	0.192
SOLAR-10.7B-Instruct-v1.02025.11	0.047	-0.067	-0.163	-0.117	0.067	0.774	0.906	0.266	0.458	0.696
internlm2-20b-reward2025.11	0.029	-0.003	0.265	0.25	0.26	-0.062	0.001	0.199	0.515	0.476
Llama-3.1-70B-Instruct2025.11	0.004	0.029	0.018	0.239	-0.023	0.092	0.081	0.262	0.241	0.037
FsfairX-LLaMA3-RM-v0.12025.11	-0.006	0.066	0.502	0.466	0.202	-0.069	0.013	0.328	0.55	0.128
Qwen2.5-72B-Instruct2025.11	-0.033	0.041	-0.102	-0.007	0.043	0.002	0.312	-0.221	0.229	-0.008
Skywork-Reward-Llama-3.1-8B2025.11	-0.052	0.214	0.265	0.273	0.306	0.058	0.234	0.381	0.457	0.254
URM-LLaMa-3.1-8B2025.11	-0.059	0.002	0.049	0.01	-0.063	-0.127	-0.039	0.237	0.446	0.025
Llama-3-OffsetBias-RM-8B2025.11	-0.065	0.247	0.509	0.53	0.385	-0.202	-0.112	0.376	0.741	0.047
ArmoRM-Llama3-8B-v0.12025.11	-0.071	-0.127	0.061	-0.165	-0.055	-0.216	-0.117	0.35	0.5	-0.004
Qwen2-7B2025.11	-0.081	0.034	0.151	0.019	-0.302	0.206	0.166	0.109	0.141	-0.21
Skywork-Reward-Llama-3.1-8B-v0.22025.11	-0.1	0.147	0.17	0.205	0.228	-0.044	0.255	0.435	0.436	0.149
Starling-RM-34B2025.11	-0.12	-0.135	-0.002	-0.088	-0.04	0.094	0.093	0.008	-0.074	0.019
tulu-2-dpo-13b2025.11	-0.145	0.043	-0.105	-0.113	0.037	0.089	0.081	-0.045	-0.081	0.006