Sycophancy Evaluation on Sycophancy Evaluation Dataset benchmark leaderboard · SOTA2 Research

Sycophancy Evaluation on Sycophancy Evaluation Dataset

0.123Total Sycophancy Scoremistral:7b

Evaluation Results

Method	Links
mistral:7b2025.08		0.123	0.007	0.172
claude-haiku-4-52025.08		0.152	0.083	0.069
claude-haiku-4-52025.08		0.152	0.083	0.069
mistral:7b2025.08		0.171	0.025	0.205
claude-haiku-4-52025.08		0.176	0.061	0.115
claude-haiku-4-52025.08		0.176	0.061	0.115
phi4:14b2025.08		0.294	0.183	0.201
phi4:14b2025.08		0.315	0.188	0.189
BayesDPO2025.08		0.341	0.178	0.16
BayesDPO2025.08		0.344	0.178	0.161
gpt-4o-mini2025.08		0.398	0.323	0.075
gpt-4o-mini2025.08		0.402	0.328	0.075
phi4:14b2025.08		0.407	0.21	0.163
phi4:14b2025.08		0.429	0.217	0.175
llama3.2:3b2025.08		0.445	-0.078	0.52
llama3.2:3b2025.08		0.448	-0.078	0.523
llama3.2:1b2025.08		0.489	0.165	0.333
llama3.2:1b2025.08		0.505	0.17	0.35
llama3.2:3b2025.08		0.545	-0.073	0.613
llama3.2:3b2025.08		0.551	-0.079	0.624
gpt-4o-mini2025.08		0.558	0.48	0.079
gpt-4o-mini2025.08		0.558	0.48	0.079
mistral:7b2025.08		0.641	0.264	0.351
mistral:7b2025.08		0.651	0.308	0.34
BayesDPO2025.08		0.696	0.294	0.408
BayesDPO2025.08		0.696	0.294	0.406
BayesSFT2025.08		0.772	0.565	0.211
BayesSFT2025.08		0.774	0.564	0.217
BayesSFT2025.08		0.776	0.657	0.12
BayesSFT2025.08		0.787	0.665	0.114
llama3.2:1b2025.08		1.15	-0.05	1.165
llama3.2:1b2025.08		1.161	-0.042	1.163