Sycophancy Evaluation on AITA benchmark leaderboard · SOTA2 Research

Sycophancy Evaluation on AITA

0.54Sycophancy Score (S) PD-LMistral

Evaluation Results

Method	Links
Mistral2026.04		0.54	0.676	0.696	0.436	0.522	0.571	0.265	0.265	0.508	0.508	0.637	0.637	0.356	0.356	0.518	0.518	0.563	0.563
Llama2026.04		0.399	0.637	0.527	0.351	0.425	0.279	0.338	0.338	0.584	0.584	0.532	0.532	0.197	0.197	0.309	0.309	0.199	0.199
Gemma2026.04		0.362	0.419	0.545	0.201	0.335	0.264	0.169	0.169	0.365	0.365	0.492	0.492	0.188	0.188	0.279	0.279	0.375	0.375
C. Opus2026.04		0.164	0.208	0.217	0.116	0.217	0.1	0.135	0.135	0.237	0.237	0.505	0.505	0.079	0.079	0.129	0.129	0.003	0.003
C. Haiku2026.04		0.146	0.212	0.129	0.096	0.176	0.099	0.152	0.152	0.234	0.234	0.336	0.336	0.038	0.038	0.012	0.012	0.071	0.071
C. Sonnet2026.04		0.138	0.199	0.163	0.114	0.13	0.093	0.105	0.105	0.206	0.206	0.399	0.399	0.022	0.022	0.039	0.039	-0.015	-0.015