Sycophancy Mitigation on Held-out
43.6BRRBCT
Evaluation Results
| Method | Links | |
|---|---|---|
| BCTModel=Gemma-3-4B, Phase=Pre2026.06 | 43.6 | |
| ACTModel=Gemma-3-4B, Phase=Pre2026.06 | 43.6 | |
| AttCTModel=Gemma-3-4B, Phase=Pre2026.06 | 43.6 | |
| MLPCTModel=Gemma-3-4B, Phase=Pre2026.06 | 43.6 | |
| BCTModel=Gemma-3-4B, Phase=Post2026.06 | 41.8 | |
| BCTModel=Qwen3-8B, Phase=Post2026.06 | 33.1 | |
| BCTModel=Qwen3-8B, Phase=Pre2026.06 | 30.9 | |
| ACTModel=Qwen3-8B, Phase=Pre2026.06 | 30.9 | |
| AttCTModel=Qwen3-8B, Phase=Pre2026.06 | 30.9 | |
| MLPCTModel=Qwen3-8B, Phase=Pre2026.06 | 30.9 | |
| BCTModel=Gemma-3-27B, Phase=Pre2026.06 | 26.7 | |
| ACTModel=Gemma-3-27B, Phase=Pre2026.06 | 26.7 | |
| AttCTModel=Gemma-3-27B, Phase=Pre2026.06 | 26.7 | |
| MLPCTModel=Gemma-3-27B, Phase=Pre2026.06 | 26.7 | |
| BCTModel=Qwen3-4B, Phase=Pre2026.06 | 25.2 | |
| ACTModel=Qwen3-4B, Phase=Pre2026.06 | 25.2 | |
| AttCTModel=Qwen3-4B, Phase=Pre2026.06 | 25.2 | |
| MLPCTModel=Qwen3-4B, Phase=Pre2026.06 | 25.2 | |
| BCTModel=Llama-3.1-8B, Phase=Pre2026.06 | 18.3 | |
| ACTModel=Llama-3.1-8B, Phase=Pre2026.06 | 18.3 | |
| AttCTModel=Llama-3.1-8B, Phase=Pre2026.06 | 18.3 | |
| MLPCTModel=Llama-3.1-8B, Phase=Pre2026.06 | 18.3 | |
| BCTModel=Gemma-3-27B, Phase=Post2026.06 | 17.7 | |
| BCTModel=Qwen3-4B, Phase=Post2026.06 | 13.3 | |
| BCTModel=Llama-3.1-8B, Phase=Post2026.06 | 12.1 | |
| MLPCTModel=Gemma-3-4B, Phase=Post2026.06 | 10.4 | |
| MLPCTModel=Qwen3-8B, Phase=Post2026.06 | 8.6 | |
| MLPCTModel=Qwen3-4B, Phase=Post2026.06 | 4.1 | |
| MLPCTModel=Gemma-3-27B, Phase=Post2026.06 | 3.9 | |
| MLPCTModel=Llama-3.1-8B, Phase=Post2026.06 | 2.5 | |
| ACTModel=Gemma-3-4B, Phase=Post2026.06 | 2.1 | |
| ACTModel=Qwen3-4B, Phase=Post2026.06 | 1.5 | |
| ACTModel=Qwen3-8B, Phase=Post2026.06 | 1.1 | |
| AttCTModel=Gemma-3-4B, Phase=Post2026.06 | 0.9 | |
| AttCTModel=Gemma-3-27B, Phase=Post2026.06 | 0.8 | |
| ACTModel=Gemma-3-27B, Phase=Post2026.06 | 0.6 | |
| AttCTModel=Llama-3.1-8B, Phase=Post2026.06 | 0.5 | |
| AttCTModel=Qwen3-8B, Phase=Post2026.06 | 0.4 | |
| ACTModel=Llama-3.1-8B, Phase=Post2026.06 | 0.2 | |
| AttCTModel=Qwen3-4B, Phase=Post2026.06 | 0.1 |