Demographic Bias Assessment on SubPOP

0.027Error Rate (Northeast)Human Baseline

Updated 5mo ago

Evaluation results

Method
Human Baseline2026.06	0.027	0.033	0.018	0.019	0.036	0.017	0.016	0.029	0.014	0.049	0.05	0.021	0.026	0.02	0.023	0.019	0.022	0.018	0.019	0.066	0.095	0.021	0.09
Llama-3-70B2026.06	0.078	0.096	0.08	0.077	0.108	0.079	0.08	0.094	0.083	0.096	0.115	0.082	0.086	0.076	0.093	0.076	0.092	0.082	0.082	0.119	0.166	0.106	0.158
Graph-based Target Back-Propagation2026.06	0.0952	0.107	0.101	0.084	0.112	0.092	0.094	0.089	0.0922	0.107	0.1198	0.0985	0.099	0.0816	0.109	0.09	0.136	0.095	0.1111	0.113	0.18	0.095	0.163
GPT-4o-mini2026.06	0.0982	0.116	0.0994	0.0864	0.119	0.0904	0.084	0.124	0.0905	0.113	0.13	0.0937	0.102	0.105	0.144	0.109	0.142	0.092	0.112	0.149	0.177	0.113	0.179
GPT-4o-mini2026.06	0.0991	0.122	0.1168	0.0954	0.1326	0.1063	0.105	0.1099	0.1	0.1158	0.1377	0.1145	0.1083	0.1011	0.1321	0.1034	0.1425	0.0989	0.1318	0.1157	0.2107	0.1135	0.1829
Llama-2-13B2026.06	0.103	0.113	0.103	0.101	0.117	0.101	0.105	0.102	0.103	0.107	0.122	0.106	0.103	0.092	0.117	0.09	0.112	0.103	0.107	0.144	0.169	0.103	0.181
Mistral-7B-v0.12026.06	0.108	0.115	0.103	0.099	0.121	0.099	0.1	0.107	0.102	0.114	0.134	0.102	0.105	0.091	0.115	0.096	0.113	0.103	0.105	0.129	0.186	0.116	0.173
Llama-2-7B2026.06	0.113	0.121	0.108	0.105	0.129	0.102	0.108	0.114	0.105	0.119	0.133	0.111	0.115	0.103	0.123	0.102	0.12	0.11	0.11	0.149	0.18	0.126	0.175
Llama-3-70B2026.06	0.156	0.16	0.138	0.137	0.18	0.15	0.151	0.139	0.153	0.158	0.172	0.179	0.171	0.128	0.187	0.134	0.16	0.141	0.164	0.164	0.223	0.132	0.203
Mistral-7B-v0.12026.06	0.185	0.187	0.176	0.167	0.172	0.17	0.176	0.17	0.181	0.184	0.182	0.176	0.165	0.199	0.206	0.188	0.172	0.17	0.172	0.218	0.252	0.199	0.238
Llama-2-13B2026.06	0.193	0.196	0.185	0.175	0.182	0.176	0.198	0.179	0.187	0.19	0.199	0.184	0.172	0.197	0.234	0.191	0.178	0.183	0.179	0.226	0.253	0.207	0.24
Llama-2-7B2026.06	0.196	0.206	0.183	0.206	0.191	0.186	0.184	0.2	0.19	0.201	0.204	0.21	0.179	0.219	0.205	0.224	0.184	0.191	0.187	0.245	0.264	0.222	0.253