Demographic Bias Assessment on SubPOP benchmark leaderboard · SOTA2 Research

Demographic Bias Assessment on SubPOP

0.027Error Rate (Northeast)Human Baseline

Updated 1mo ago

Evaluation Results

Method	Links
Human Baseline2026.06		0.027	0.033	0.018	0.019	0.036	0.017	0.016	0.029	0.014	0.049	0.05	0.021	0.026	0.02	0.023	0.019	0.022	0.018	0.019	0.066	0.095	0.021	0.09
Llama-3-70B2026.06		0.078	0.096	0.08	0.077	0.108	0.079	0.08	0.094	0.083	0.096	0.115	0.082	0.086	0.076	0.093	0.076	0.092	0.082	0.082	0.119	0.166	0.106	0.158
Graph-based Target Back-Propagation2026.06		0.0952	0.107	0.101	0.084	0.112	0.092	0.094	0.089	0.0922	0.107	0.1198	0.0985	0.099	0.0816	0.109	0.09	0.136	0.095	0.1111	0.113	0.18	0.095	0.163
GPT-4o-mini2026.06		0.0982	0.116	0.0994	0.0864	0.119	0.0904	0.084	0.124	0.0905	0.113	0.13	0.0937	0.102	0.105	0.144	0.109	0.142	0.092	0.112	0.149	0.177	0.113	0.179
GPT-4o-mini2026.06		0.0991	0.122	0.1168	0.0954	0.1326	0.1063	0.105	0.1099	0.1	0.1158	0.1377	0.1145	0.1083	0.1011	0.1321	0.1034	0.1425	0.0989	0.1318	0.1157	0.2107	0.1135	0.1829
Llama-2-13B2026.06		0.103	0.113	0.103	0.101	0.117	0.101	0.105	0.102	0.103	0.107	0.122	0.106	0.103	0.092	0.117	0.09	0.112	0.103	0.107	0.144	0.169	0.103	0.181
Mistral-7B-v0.12026.06		0.108	0.115	0.103	0.099	0.121	0.099	0.1	0.107	0.102	0.114	0.134	0.102	0.105	0.091	0.115	0.096	0.113	0.103	0.105	0.129	0.186	0.116	0.173
Llama-2-7B2026.06		0.113	0.121	0.108	0.105	0.129	0.102	0.108	0.114	0.105	0.119	0.133	0.111	0.115	0.103	0.123	0.102	0.12	0.11	0.11	0.149	0.18	0.126	0.175
Llama-3-70B2026.06		0.156	0.16	0.138	0.137	0.18	0.15	0.151	0.139	0.153	0.158	0.172	0.179	0.171	0.128	0.187	0.134	0.16	0.141	0.164	0.164	0.223	0.132	0.203
Mistral-7B-v0.12026.06		0.185	0.187	0.176	0.167	0.172	0.17	0.176	0.17	0.181	0.184	0.182	0.176	0.165	0.199	0.206	0.188	0.172	0.17	0.172	0.218	0.252	0.199	0.238
Llama-2-13B2026.06		0.193	0.196	0.185	0.175	0.182	0.176	0.198	0.179	0.187	0.19	0.199	0.184	0.172	0.197	0.234	0.191	0.178	0.183	0.179	0.226	0.253	0.207	0.24
Llama-2-7B2026.06		0.196	0.206	0.183	0.206	0.191	0.186	0.184	0.2	0.19	0.201	0.204	0.21	0.179	0.219	0.205	0.224	0.184	0.191	0.187	0.245	0.264	0.222	0.253