Uncertainty Quantification on MNIST-C (test) benchmark leaderboard · SOTA2 Research

Uncertainty Quantification on MNIST-C (test)

0.099NLL (brightness)subset-SWAG

Updated 3mo ago

Evaluation Results

Method	Links
subset-SWAG2025.02		0.099	2.339	0.069	0.298	0.232	0.363	0.191	0.281	0.131	0.074	0.128	0.077	1.25	1.277	0.654	0.009	0.271	0.008	0.124	0.01	0.047	0.009	0.04	0.008	0.009	0.014	0.009	0.163	0.17	0.094	0.049	0.605	0.032	0.122	0.115	0.162	0.09	0.115	0.063	0.034	0.055	0.035	0.398	0.42	0.23
subset-D.2025.02		0.1	2.767	0.076	0.293	0.235	0.407	0.192	0.306	0.136	0.077	0.138	0.083	1.46	1.413	0.77	0.008	0.292	0.01	0.12	0.014	0.058	0.01	0.044	0.012	0.01	0.017	0.011	0.197	0.18	0.105	0.05	0.632	0.034	0.121	0.116	0.173	0.09	0.117	0.064	0.033	0.056	0.035	0.473	0.428	0.244
θˆ2025.02		0.1	2.784	0.075	0.291	0.235	0.407	0.192	0.308	0.136	0.078	0.138	0.083	1.485	1.456	0.753	0.008	0.293	0.01	0.118	0.014	0.058	0.009	0.044	0.012	0.01	0.017	0.011	0.18	0.184	0.103	0.05	0.633	0.033	0.12	0.116	0.17	0.09	0.117	0.064	0.033	0.056	0.035	0.415	0.432	0.237
subset-M.2025.02		0.102	2.324	0.071	0.3	0.234	0.369	0.192	0.281	0.135	0.073	0.13	0.077	1.186	1.298	0.665	0.01	0.28	0.007	0.125	0.009	0.047	0.01	0.04	0.009	0.008	0.014	0.009	0.164	0.173	0.097	0.051	0.624	0.033	0.123	0.117	0.169	0.091	0.115	0.065	0.033	0.057	0.035	0.403	0.426	0.234
lowrank-D.2025.02		0.106	1.744	0.066	0.315	0.233	0.327	0.194	0.227	0.133	0.067	0.118	0.068	0.832	0.94	0.491	0.025	0.235	0.006	0.141	0.013	0.017	0.021	0.023	0.01	0.005	0.004	0.004	0.107	0.123	0.067	0.049	0.592	0.032	0.128	0.115	0.16	0.092	0.109	0.065	0.032	0.055	0.034	0.364	0.394	0.217
lowrank-KFAC2025.02		0.145	1.334	0.086	0.35	0.256	0.336	0.218	0.22	0.169	0.082	0.131	0.081	0.75	0.799	0.422	0.062	0.164	0.031	0.169	0.049	0.034	0.056	0.015	0.058	0.025	0.029	0.022	0.091	0.057	0.026	0.061	0.545	0.037	0.14	0.121	0.162	0.097	0.107	0.073	0.035	0.057	0.036	0.358	0.37	0.205