Attention Head Selection (Causal Tracing) on WinoGender benchmark leaderboard · SOTA2 Research

Attention Head Selection (Causal Tracing) on WinoGender

0.0082Loss (10% Sparsity)random

Evaluation Results

Method	Links
random2026.06		0.0082	0.0093	0.0091	0.01	2.23
top-k2026.06		0.01	0.0117	0.0123	0.0128	0.18
greedy2026.06		0.0103	0.0122	0.0134	0.014	3.57
PGB-CT2026.06		0.0103	0.0118	0.013	0.0137	0.43
random2026.06		0.027	0.032	0.036	0.037	3.54
random2026.06		0.032	0.035	0.041	0.038	29.36
top-k2026.06		0.037	0.041	0.042	0.044	0.5
PGB-CT2026.06		0.039	0.044	0.048	0.049	0.79
greedy2026.06		0.04	0.045	0.049	0.05	23.03
top-k2026.06		0.041	0.042	0.045	0.044	13.01
PGB-CT2026.06		0.042	0.046	0.048	0.05	3.21
random2026.06		0.047	0.078	0.094	0.098	24.83
random2026.06		0.085	0.099	0.111	0.128	13.43
random2026.06		0.138	0.153	0.165	0.173	7.23
top-k2026.06		0.146	0.159	0.165	0.168	9.46
PGB-CT2026.06		0.152	0.171	0.184	0.192	2.43
top-k2026.06		0.155	0.175	0.186	0.188	29.38
PGB-CT2026.06		0.159	0.19	0.205	0.212	3.45
top-k2026.06		0.191	0.201	0.203	0.205	2.76
PGB-CT2026.06		0.203	0.218	0.227	0.233	1.56
greedy2026.06		0.208	0.224	0.232	0.237	357.28
random2026.06		0.326	0.383	0.387	0.418	20.71
PGB-CT2026.06		0.366	0.444	0.477	2.449	1.9
top-k2026.06		0.45	0.416	0.4	0.366	10.31