Sycophancy Mitigation on Anthropic Model-Written Evals
0.78Sycophancy RateBCT
Evaluation Results
| Method | Links | |
|---|---|---|
| BCTTarget (f_theta)=output logits2026.06 | 0.78 | |
| ACTTarget (f_theta)=residual stream2026.06 | 0.8 | |
| MLPCTTarget (f_theta)=MLP hidden state2026.06 | 0.84 | |
| AttCTTarget (f_theta)=attention weights2026.06 | 0.84 | |
| Base model (no training)Target (f_theta)=—2026.06 | 0.9 | |
| BCTModel=Gemma-3-27B, Phase=Post2026.06 | 46.2 | |
| ACTModel=Qwen3-4B, Phase=Post2026.06 | 74.4 | |
| ACTModel=Gemma-3-4B, Phase=Post2026.06 | 76 | |
| ACTModel=Qwen3-8B, Phase=Post2026.06 | 79.1 | |
| AttCTModel=Gemma-3-4B, Phase=Post2026.06 | 79.4 | |
| MLPCTModel=Gemma-3-4B, Phase=Post2026.06 | 79.6 | |
| MLPCTModel=Qwen3-4B, Phase=Post2026.06 | 79.7 | |
| ACTModel=Gemma-3-27B, Phase=Post2026.06 | 81 | |
| AttCTModel=Qwen3-4B, Phase=Post2026.06 | 82.6 | |
| MLPCTModel=Qwen3-8B, Phase=Post2026.06 | 82.6 | |
| BCTModel=Qwen3-8B, Phase=Post2026.06 | 82.7 | |
| AttCTModel=Gemma-3-27B, Phase=Post2026.06 | 83.5 | |
| AttCTModel=Qwen3-8B, Phase=Post2026.06 | 84 | |
| BCTModel=Qwen3-4B, Phase=Post2026.06 | 86.5 | |
| BCTModel=Qwen3-8B, Phase=Pre2026.06 | 87.7 | |
| ACTModel=Qwen3-8B, Phase=Pre2026.06 | 87.7 | |
| AttCTModel=Qwen3-8B, Phase=Pre2026.06 | 87.7 | |
| MLPCTModel=Qwen3-8B, Phase=Pre2026.06 | 87.7 | |
| BCTModel=Qwen3-4B, Phase=Pre2026.06 | 87.8 | |
| ACTModel=Qwen3-4B, Phase=Pre2026.06 | 87.8 | |
| AttCTModel=Qwen3-4B, Phase=Pre2026.06 | 87.8 | |
| MLPCTModel=Qwen3-4B, Phase=Pre2026.06 | 87.8 | |
| ACTModel=Llama-3.1-8B, Phase=Post2026.06 | 88 | |
| BCTModel=Gemma-3-4B, Phase=Post2026.06 | 88.3 | |
| MLPCTModel=Gemma-3-27B, Phase=Post2026.06 | 88.3 | |
| MLPCTModel=Llama-3.1-8B, Phase=Post2026.06 | 88.8 | |
| AttCTModel=Llama-3.1-8B, Phase=Post2026.06 | 90.2 | |
| BCTModel=Gemma-3-4B, Phase=Pre2026.06 | 90.4 | |
| ACTModel=Gemma-3-4B, Phase=Pre2026.06 | 90.4 | |
| AttCTModel=Gemma-3-4B, Phase=Pre2026.06 | 90.4 | |
| MLPCTModel=Gemma-3-4B, Phase=Pre2026.06 | 90.4 | |
| BCTModel=Gemma-3-27B, Phase=Pre2026.06 | 91.7 | |
| ACTModel=Gemma-3-27B, Phase=Pre2026.06 | 91.7 | |
| AttCTModel=Gemma-3-27B, Phase=Pre2026.06 | 91.7 | |
| MLPCTModel=Gemma-3-27B, Phase=Pre2026.06 | 91.7 | |
| BCTModel=Llama-3.1-8B, Phase=Post2026.06 | 92.6 | |
| BCTModel=Llama-3.1-8B, Phase=Pre2026.06 | 93.9 | |
| ACTModel=Llama-3.1-8B, Phase=Pre2026.06 | 93.9 | |
| AttCTModel=Llama-3.1-8B, Phase=Pre2026.06 | 93.9 | |
| MLPCTModel=Llama-3.1-8B, Phase=Pre2026.06 | 93.9 |