Image Classification on ImageNet-C Severity 5 (test)

13.01Mean Error Rate (Severity 5)NOTE

Updated 1mo ago

Evaluation Results

Method
NOTE2025.06	13.01	3.88	7.66	13.6	0.09	2.53	3.16	11.99	11.62	21.53	11.22	47.89	2.48	16.79	14.87	25.82	—	—	—	—	—	—	—	—	—	—	—
Source2025.06	14.28	2.06	3.04	2.58	11.66	6.86	10.74	20.72	10.56	15.38	15.94	51.78	2.6	11.2	17.76	31.36	—	—	—	—	—	—	—	—	—	—	—
MEMO2025.06	15.71	1.37	2.11	1.54	9.65	8.23	12.49	23.04	16.01	18.44	18.63	51.25	3.29	15.38	24	30.19	—	—	—	—	—	—	—	—	—	—	—
RoTTA2025.06	20.08	9.42	14.21	13.89	9.47	11.83	16.97	30.91	13.66	23.61	30.81	56.82	3.01	25.55	15.44	25.58	—	—	—	—	—	—	—	—	—	—	—
Tent2026.06	21.15	1.67	2.02	2.01	12.17	2.14	23	13.74	8.86	13.69	1	73	48.44	3.51	54.9	57.18	—	—	—	—	—	—	—	—	—	—	—
CoTTA2025.06	24.03	11.46	12.72	11.21	9.97	11.04	16.68	30.03	26.47	26.17	35.7	59.65	7.82	37.29	38.41	25.76	—	—	—	—	—	—	—	—	—	—	—
DMN2026.01	24.16	11.5	14.14	14	22.32	15.78	24.56	22.54	31.52	30.36	35.34	54.24	16.3	12.48	32.52	24.79	—	—	—	—	—	—	—	—	—	—	—
Source2026.01	24.54	11.14	12.54	12.06	23.34	15.26	24.44	22.72	32.36	29.86	35.94	54.08	17.26	12.7	31	33.34	—	—	—	—	—	—	—	—	—	—	—
MEMO2026.01	24.63	11.08	12.38	12.02	23.54	15.44	24.6	22.9	32.54	30.06	35.94	54.02	17.46	12.8	31.24	33.4	—	—	—	—	—	—	—	—	—	—	—
RoTTA2026.01	24.71	11.44	13.08	12.36	23.46	15.48	24.66	22.78	32.6	29.92	35.86	54.18	17.34	12.92	31.02	33.52	—	—	—	—	—	—	—	—	—	—	—
TPT2026.01	24.85	8.54	9.44	10.16	24.06	15.06	25	24.04	33.96	32.18	37.08	55.52	16.52	13.68	33.9	33.56	—	—	—	—	—	—	—	—	—	—	—
ZERO2026.01	24.9	10.5	11.5	11.12	24.78	14.88	24.36	23.28	33.04	30.4	37.06	54.52	16.9	13.4	34.9	32.9	—	—	—	—	—	—	—	—	—	—	—
ECALP2026.01	25.16	13.34	15.58	14.1	22.56	15.56	25.52	23.64	30.96	30.02	35.78	52.08	18.34	13.52	33.14	33.3	—	—	—	—	—	—	—	—	—	—	—
TENT2026.01	25.18	5.2	5.68	7.42	25.3	19.34	26.86	24.16	33.52	30.54	37.8	54.32	22.52	13.9	35.08	36.02	—	—	—	—	—	—	—	—	—	—	—
BN Adapt2025.06	25.18	11.59	13.47	11.45	10.81	12.8	20.07	32.41	27.76	28.21	38.63	58.96	7.86	38.17	38.75	26.79	—	—	—	—	—	—	—	—	—	—	—
SAR2025.06	25.46	11.15	13.03	11.33	10.77	12.37	19.89	32.89	28.17	28.67	38.45	59.84	8.51	39.28	39.97	27.61	—	—	—	—	—	—	—	—	—	—	—
SANTA2025.06	25.47	11.2	13.3	11.4	11.39	12.28	19.77	32.58	28.19	29.27	38.81	59.45	8.05	38.45	39.91	28.06	—	—	—	—	—	—	—	—	—	—	—
Tent2025.06	25.57	11.76	13.4	12.05	11.24	12.35	19.98	32.7	27.92	28.36	39.08	59.27	8.09	39.01	40.07	28.33	—	—	—	—	—	—	—	—	—	—	—
VTE2026.01	25.61	9.18	10.8	10.8	24.7	14.36	24.28	25.2	35.4	32.44	38.2	55.52	16.2	14.34	38.68	34.04	—	—	—	—	—	—	—	—	—	—	—
ViDA2025.06	26.03	11.88	13.13	11.89	10.87	12.19	19.7	33.18	27.82	29.22	40.23	59.92	9.55	39.45	41.25	30.15	—	—	—	—	—	—	—	—	—	—	—
EATA2025.06	26.07	10.91	13.32	11.9	10.93	12.61	19.96	33.05	28.6	29.17	40.42	60.57	9.03	39.71	41.15	29.65	—	—	—	—	—	—	—	—	—	—	—
WATT2026.01	26.18	11.18	12.78	13.02	25.12	18.08	26.9	25.22	33.42	30.22	37.4	53.96	21.84	15.16	33.46	34.94	—	—	—	—	—	—	—	—	—	—	—
TDA2026.01	26.22	12.42	14.8	14.8	23.7	16.7	26.06	23.98	33.54	32.1	38	55.28	19.32	14.18	33.46	34.98	—	—	—	—	—	—	—	—	—	—	—
DeYO2025.06	26.46	11.47	13.2	11.86	10.71	12.55	19.29	33.11	28.97	29.81	42.01	59.39	10.15	39.78	41.93	32.65	—	—	—	—	—	—	—	—	—	—	—
NoAdapt2025.09	29	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
MINT2026.01	29.18	19.68	20.36	19.44	26.88	21.52	29.88	25.96	32.68	29.38	38.84	55.1	24.3	19.06	36.38	38.24	—	—	—	—	—	—	—	—	—	—	—
ViTBase-LN2026.06	29.9	9.42	6.73	8.32	29.11	23.41	34.03	27.01	15.8	26.3	47.41	54.72	43.9	30.5	44.5	47.6	—	—	—	—	—	—	—	—	—	—	—
VitBase-LN2026.06	29.91	9.51	6.7	8.21	28.88	23.4	33.91	27.11	15.9	26.48	47.2	54.7	44.11	30.51	44.5	47.81	—	—	—	—	—	—	—	—	—	—	—
BATCLIP2026.01	30.06	19.48	21.02	19.3	25.92	21.26	29.96	28.52	35.22	31.38	40.24	55.2	25.68	23.72	36.82	37.22	—	—	—	—	—	—	—	—	—	—	—
ResNet-50-GN2026.06	30.6	18.01	19.78	17.91	19.8	11.41	21.39	24.9	40.41	47.29	33.6	69.31	36.31	18.59	28.41	52.29	—	—	—	—	—	—	—	—	—	—	—
ResNet-50-GN2026.06	30.6	17.9	19.9	17.9	19.7	11.3	21.3	24.9	40.4	47.4	33.6	69.2	36.3	18.7	28.4	52.2	—	—	—	—	—	—	—	—	—	—	—
Tent2026.06	30.65	28.85	35.95	33.49	16.67	7.19	27.35	30.14	17.97	25.2	2.27	71.88	46.24	7.36	52.72	56.4	—	—	—	—	—	—	—	—	—	—	—
No Adapt.2026.06	31.5	16.7	11.9	16.3	29.3	23.6	33.9	27.3	15.9	26.5	47.2	54.9	44.1	30.9	45	48.9	—	—	—	—	—	—	—	—	—	—	—
No Adapt.2026.06	31.6	16.8	12	16.5	29.2	23.6	34	27.3	15.8	26.6	47.5	55.4	44.3	31	45.1	49.1	—	—	—	—	—	—	—	—	—	—	—
No Adapt.2026.06	31.6	16.8	12	16.5	29.2	23.6	34	27.3	15.8	26.6	47.5	55.4	44.3	31	45.1	49.1	—	—	—	—	—	—	—	—	—	—	—
SubTTA2026.01	32.15	21.16	22.88	21.44	25.34	24.82	30.7	29.64	37.24	35.9	41.26	56.96	29.74	29.4	37.58	38.18	—	—	—	—	—	—	—	—	—	—	—
T3A2025.12	32.2	16.6	11.8	16.4	29.9	24.3	34.5	28.5	15.9	27	49.1	56.1	44.8	33.3	45.1	49.4	—	—	—	—	—	—	—	—	—	—	—
LinearTCA2026.06	32.8	17.9	13	17.4	29.8	24.2	35.7	28.8	17	27.8	49.8	56	45.8	33	46	49.8	—	—	—	—	—	—	—	—	—	—	—
LinearTCA2026.06	32.8	17.9	13	17.4	29.8	24.2	35.7	28.8	17	27.8	49.8	56	45.8	33	46	49.8	—	—	—	—	—	—	—	—	—	—	—
LinearTCA2026.06	32.9	18	13	17.4	30.1	24.4	36	29	17.2	28	50	55.6	45.9	33.1	46.2	49.8	—	—	—	—	—	—	—	—	—	—	—
Tent2025.09	33.5	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
SAR2026.06	35.82	28.51	30.91	29.27	18.5	15.34	28.8	30.53	44.47	44.27	32.94	72.03	44.67	13.16	47.7	56.23	—	—	—	—	—	—	—	—	—	—	—
CLIP2025.06	35.89	22.94	23.2	24.06	31.5	19.8	35.84	33.58	45	39.34	47.26	62.88	34.54	25.74	50.68	42.02	—	—	—	—	—	—	—	—	—	—	—
SAR2026.06	35.89	28.71	31.19	29.39	18.52	15.1	28.71	29.84	42.86	44.33	35.32	72.07	44.65	14.4	47.04	56.22	—	—	—	—	—	—	—	—	—	—	—
SAR2025.09	38	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
no_adapt2025.12	38.88	34.93	33.67	36.41	32.38	22.22	36.61	31.1	22.15	26.73	53.16	61.17	50.27	31.96	54.52	55.87	—	—	—	—	—	—	—	—	—	—	—
no_adapt2025.12	38.88	34.93	33.67	36.41	32.38	22.22	36.61	31.1	22.15	26.73	53.16	61.17	50.27	31.96	54.52	55.87	—	—	—	—	—	—	—	—	—	—	—
NOTE2025.12	38.95	35.25	33.56	36.13	32.53	22.42	36.82	30.91	22.47	27.08	53.43	61.41	50.15	31.87	54.39	55.83	—	—	—	—	—	—	—	—	—	—	—
DDA2025.12	39.1	52.5	54	52.1	33.8	40.6	33.3	30.2	29.7	35	5	48.6	2.7	50	60	58.8	—	—	—	—	—	—	—	—	—	—	—
NOTE2025.12	39.15	35.11	33.86	36.58	32.71	22.39	36.92	31.3	22.33	26.9	53.14	62.25	51.18	32.04	54.64	55.95	—	—	—	—	—	—	—	—	—	—	—
MEMO2025.12	39.97	37.31	35.19	39.04	32.13	22.57	38.44	31.81	23.78	28.87	52.91	62.27	52.3	31.96	54.77	56.27	—	—	—	—	—	—	—	—	—	—	—
DeYO2026.06	41.65	40.27	43.58	41.75	22.42	22.69	40.93	14.63	53.19	51.78	1.03	72.89	52.93	47.81	59.48	59.3	—	—	—	—	—	—	—	—	—	—	—
Naive2026.06	41.74	41.37	44.24	42.43	22.52	23.21	40.95	12.46	52.49	51.83	1.39	73.3	52.91	47.81	59.53	59.59	—	—	—	—	—	—	—	—	—	—	—
KL2026.06	42.26	42.49	44.87	43.56	22.92	23.7	40.76	17.59	53.07	52.03	1.87	73.38	52.93	46.28	59.18	59.28	—	—	—	—	—	—	—	—	—	—	—
SVGD2026.06	42.49	42.43	44.82	43.66	22.98	23.54	40.74	17.55	53.11	51.97	4.31	73.51	52.97	46.82	59.38	59.58	—	—	—	—	—	—	—	—	—	—	—
COME2025.09	43	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Grad2026.06	43.27	42.42	44.8	43.64	22.95	23.59	40.79	17.53	53.09	51.97	15.79	73.5	53	46.92	59.41	59.61	—	—	—	—	—	—	—	—	—	—	—
DEYO2025.09	43.5	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
CoDiRe2025.06	43.97	27.36	29.55	30.1	35.59	25.77	42.13	43.97	52.17	48.17	57.73	72.38	39.71	41.95	60.57	52.39	—	—	—	—	—	—	—	—	—	—	—
CoTTA2025.12	44.4	40.3	31.8	39.6	35.5	33.1	46.9	37.3	2.9	46.4	59.1	71.7	55.5	46.4	59.4	59	—	—	—	—	—	—	—	—	—	—	—
DeYO2026.06	44.4	41.97	44.21	43.03	21.81	23.28	40.87	26.1	53.24	51.22	35.13	72.39	52.5	42.44	59.1	58.73	—	—	—	—	—	—	—	—	—	—	—
FOA2026.04	44.9	57	58.5	57.8	51.7	35	37.1	27.2	20.2	11.9	72.2	76.8	0.6	39.1	66.7	67	—	—	—	—	—	—	-10.6	—	—	—	—
Naive2026.06	45.01	42.54	44.95	43.61	22.47	23.97	41	30.9	53.7	51.66	27.93	73.37	52.89	47.01	59.66	59.53	—	—	—	—	—	—	—	—	—	—	—
SVGD2026.06	45.11	42.57	44.9	43.79	22.72	24.2	40.89	32.04	53.4	51.69	28.41	73.34	53	46.39	59.64	59.62	—	—	—	—	—	—	—	—	—	—	—
MEMO2025.12	45.38	43.78	43.25	45.83	32.9	28.46	45.67	38.25	30.08	34.63	54.8	69.99	56.43	34.47	62.56	59.61	—	—	—	—	—	—	—	—	—	—	—
SAR2025.12	45.51	40.32	39.79	42.77	38.73	27.73	45.13	36.85	30.86	36.04	58.06	68.43	56.47	37.16	63.34	60.95	—	—	—	—	—	—	—	—	—	—	—
KL2026.06	45.58	42.5	44.74	43.7	22.5	24.06	40.77	35.05	53.67	51.8	32.44	73.33	52.97	47.02	59.55	59.58	—	—	—	—	—	—	—	—	—	—	—
Grad2026.06	46.9	42.73	44.99	43.88	22.49	24.32	41.07	25.63	54.1	52.03	58.88	73.33	53.28	47.69	59.41	59.7	—	—	—	—	—	—	—	—	—	—	—
EATA2026.06	47.2	36.4	30.7	35.4	44.7	40	46.4	41.8	38.5	39.1	61.8	65.9	61.6	47.1	59.7	59.7	—	—	—	—	—	—	—	—	—	—	—
EATA2025.09	47.5	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
DeYO2026.03	47.73	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
AcTTAETA2026.03	48.9	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Tent2025.12	49.19	47.15	46.4	47.51	45.19	34.01	47.57	39.52	37.29	40.03	58.97	69.43	60.61	39.88	62.76	61.49	—	—	—	—	—	—	—	—	—	—	—
AcTTADeYO2026.03	49.64	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
ETA2026.03	49.84	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
AcTTAROID2026.03	49.89	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
ZeroSiam2025.09	50.1	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
EATA2026.06	50.1	39.3	37.6	38.9	44.1	45.2	44.4	46.8	54.7	54.1	60	72.5	25.9	58	66.3	64	—	—	—	—	—	—	—	—	—	—	—
AcTTACMF2026.03	50.44	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
CMF2026.03	50.85	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Source2025.12	51	46.9	47.6	46.9	42.7	34.2	50.5	44.7	56.9	52.6	56.5	76.1	31.8	46.7	65.5	66	—	—	—	—	—	—	—	—	—	—	—
Tent2026.06	51	44.7	42.9	45.4	52.5	48.1	55.5	50.6	15.6	18.6	66.6	75.1	64.9	52.9	67.1	64.6	—	—	—	—	—	—	—	—	—	—	—
Tent2026.06	51.2	44.6	42.8	45.2	52.1	47.8	55.3	50.3	18.1	21.2	66.4	75	64.8	52.7	66.9	64.4	—	—	—	—	—	—	—	—	—	—	—
Tent2026.06	51.58	51.15	51.78	52.5	52.18	47.68	56.28	49.06	8.78	15.92	67.25	73.45	66.64	52.09	64.93	63.98	—	—	—	—	—	—	—	—	—	—	—
AcTTATENT2026.03	51.79	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Tent2025.12	51.87	51.93	52.77	53.05	52.59	45.53	54.89	48.07	17.33	19.79	66.34	73.19	65.06	46.44	66.57	64.53	—	—	—	—	—	—	—	—	—	—	—
Tent2026.06	52.3	46.4	46.8	46.1	54.6	52.2	58.2	53	10.2	10.5	69.6	76.2	66.1	58.1	69.4	66.7	—	—	—	—	—	—	—	—	—	—	—
ROID2026.03	52.91	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
EATA2025.12	52.99	48.56	48.17	49.62	48.17	39.1	51.34	44.37	45.01	46	64.84	72.59	61.45	47.65	63.97	64.03	—	—	—	—	—	—	—	—	—	—	—
Tent2026.06	53.1	53.41	53.16	54.36	54.34	52.46	58.74	52.83	4.29	7.04	69.46	74.92	67.42	59.97	67.89	66.13	—	—	—	—	—	—	—	—	—	—	—
ROID + DO-ALL2026.06	53.6	68.9	60.5	60.5	69.2	65.8	56.6	48.4	51.5	56.9	42.3	32.8	58.9	44.6	41	45.4	—	—	—	—	—	—	—	—	—	—	—
Tent + MixTTA2026.06	53.6	37.8	34	29.4	54.2	53.6	59.6	55.1	45.5	21	70.9	76.5	66.7	60.1	71	68.1	—	—	—	—	—	—	—	—	—	—	—
TENT2026.03	53.85	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
SAR2026.03	53.9	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
EATA + MixTTA2026.06	53.9	47.9	46.2	48.9	50.3	52.6	31.6	54.2	62.9	60.6	58.7	76	19.1	62.6	71	66.1	—	—	—	—	—	—	—	—	—	—	—
SAR2025.12	53.97	51.93	52.9	53.06	52.66	47.08	54.88	48.42	26.6	34.87	66.28	72.79	64.67	50.8	66.4	64.36	—	—	—	—	—	—	—	—	—	—	—
LAME2026.04	54.1	56.5	56.5	57.2	46.4	34.7	52.7	44.2	58.4	61.5	63.1	77.4	24.7	44.6	66.6	67.2	—	—	—	—	—	—	-1.4	—	—	—	—
AcTTASAR2026.03	54.17	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
ZOO-CMA2026.04	54.5	58.2	59.6	60.3	50.8	38.6	55.2	45.7	58.5	59.6	59.7	76.7	4.1	49.8	71.2	70	—	—	—	—	—	—	-1	—	—	—	—
ROID2026.06	54.5	71.7	62.2	62.2	69.6	66.5	57.1	49.3	52.3	57.4	43.5	33.4	59.1	45.4	41.8	46.2	—	—	—	—	—	—	—	—	—	—	—