Reward Model Evaluation on RewardBench
0.001P-valueDPO
Evaluation results
| Method | Links | ||||
|---|---|---|---|---|---|
| DPOcomparison=vs EvoPref2026.05 | 0.001 | 0.001 | 0.78 | — | |
| IPOcomparison=vs EvoPref2026.05 | 0.001 | 0.001 | 0.82 | — | |
| KTOcomparison=vs EvoPref2026.05 | 0.001 | 0.001 | 0.85 | — | |
| CMA-EScomparison=vs EvoPref2026.05 | 0.003 | 0.009 | 0.72 | — | |
| ORPOcomparison=vs EvoPref2026.05 | 0.018 | 0.036 | 0.67 | — | |
| MOEA/Dcomparison=vs EvoPref2026.05 | 0.024 | 0.041 | 0.64 | — | |
| SMS-EMOAcomparison=vs EvoPref2026.05 | 0.031 | 0.048 | 0.62 | — |