Safety Alignment on HH-RLHF

1.09MD RateShaPO-T

Evaluation Results

Method
ShaPO-T2026.02	1.09	0.12
ShaPO-R2026.02	1.31	0.12
wDPO2026.03	1.64	0.15
ShaPO-T2026.02	1.75	0.23
ShaPO-R2026.02	1.86	0.12
ShaPO-R2026.02	2.09	0.33
Dr.DPO2026.02	2.39	0.22
Dr.DPO2026.03	2.39	0.22
Llama-3.2-3B + wDPO2026.03	2.39	0.33
Dr.DPO2026.02	2.57	0.34
Llama-3.2-3B + Dr.DPO2026.03	2.57	0.34
ShaPO-T2026.02	2.94	0.19
wDPO2026.03	4.17	0.39
Dr.DPO2026.02	4.58	0.37
Dr.DPO2026.03	4.58	0.37
rDPO2026.02	5.92	2.02
Llama-3.2-3B + rDPO2026.03	5.92	2.02
rDPO2026.02	6.14	1.76
rDPO2026.03	6.14	1.76
rDPO2026.02	6.88	2.25
rDPO2026.03	6.88	2.25
IPO2026.02	12.1	5.26
Llama-3.2-3B + IPO2026.03	12.1	5.26
DPO2026.02	12.12	5.45
Llama-3.2-3B + DPO2026.03	12.12	5.45
ShaPO-R2026.02	12.39	2.72
Pythia-2.8B + wDPO2026.03	12.95	2.25
ShaPO-T2026.02	14.14	1.67
Pythia-2.8B + Dr.DPO2026.03	16.77	4.76
DPO2026.02	17.7	4.9
DPO2026.03	17.7	4.9
IPO2026.02	18.02	5.03
IPO2026.03	18.02	5.03
IPO2026.02	21.7	8.3
IPO2026.03	21.7	8.3
DPO2026.02	23.05	10.3
DPO2026.03	23.05	10.3
cDPO2026.02	24.55	10.67
Llama-3.2-3B + cDPO2026.03	24.55	10.67
cDPO2026.02	26.13	8.59
cDPO2026.03	26.13	8.59
Dr.DPO2026.02	29.35	19.94
cDPO2026.02	30.32	13.34
cDPO2026.03	30.32	13.34
Vanilla2026.02	32.52	10.76
Qwen-2.5-7B2026.03	32.52	10.76
rDPO2026.02	55.19	21.95
Pythia-2.8B + rDPO2026.03	55.19	21.95
DPO2026.02	58.82	21.06
Pythia-2.8B + DPO2026.03	58.82	21.06
IPO2026.02	59.49	22.78
Pythia-2.8B + IPO2026.03	59.49	22.78
cDPO2026.02	60.33	18.08
Pythia-2.8B + cDPO2026.03	60.33	18.08
Vanilla2026.02	65.1	19.92
Llama-3-8B2026.03	65.1	19.92
SFT2026.02	66.93	38.67
Llama-3.2-3B + SFT2026.03	66.93	38.67
Vallina2026.02	67.61	18.89
Llama-3.2-3B2026.03	67.61	18.89
SFT2026.02	69.27	47.54
SFT2026.03	69.27	47.54
SFT2026.02	70.54	48.01
SFT2026.03	70.54	48.01
Vallina2026.02	72.02	24.95
Pythia-2.8B2026.03	72.02	24.95
SFT2026.02	72.21	25.75
Pythia-2.8B + SFT2026.03	72.21	25.75