Natural Language Inference on MultiNLI (test) (Matched & Mismatched)

88.05Average Worst-Group AccuracyNaive + P

Evaluation Results

Method
Naive + P2024.10	88.05	—	—	—	—	—	—	0.38
Naive + P2024.10	87.99	—	—	—	—	—	—	0.2
Proposed + G + P2024.10	87.97	—	—	—	—	—	—	0.3
Proposed + P2024.10	87.86	—	—	—	—	—	—	0.62
Proposed + G + P2024.10	87.81	—	—	—	—	—	—	0.56
Proposed + G + P2024.10	87.78	—	—	—	—	—	—	0.31
Proposed + P2024.10	87.75	—	—	—	—	—	—	0.24
Proposed + G + P2024.10	87.74	—	—	—	—	—	—	0.5
Proposed + P2024.10	87.73	—	—	—	—	—	—	0.3
Proposed + P2024.10	87.7	—	—	—	—	—	—	0.43
Proposed + G2024.10	87.69	—	—	—	—	—	—	0.51
Proposed + G + P2024.10	87.68	—	—	—	—	—	—	0.12
Proposed + G + P2024.10	87.57	—	—	—	—	—	—	0.34
Naive + P2024.10	87.56	—	—	—	—	—	—	0.77
Proposed + P2024.10	87.56	—	—	—	—	—	—	0.46
Proposed + G + P2024.10	87.56	—	—	—	—	—	—	0.27
ERM2024.10	87.55	—	—	—	—	—	—	0.41
Naive + P2024.10	87.54	—	—	—	—	—	—	0.34
Proposed2024.10	87.54	—	—	—	—	—	—	0.42
Naive + P2024.10	87.5	—	—	—	—	—	—	0.57
Proposed + G2024.10	87.5	—	—	—	—	—	—	0.55
Proposed2024.10	87.45	—	—	—	—	—	—	0.58
Naive + P2024.10	87.43	—	—	—	—	—	—	1.05
Proposed + P2024.10	87.43	—	—	—	—	—	—	0.48
Proposed + G2024.10	87.37	—	—	—	—	—	—	0.35
Naive + P2024.10	87.35	—	—	—	—	—	—	0.27
Proposed2024.10	87.35	—	—	—	—	—	—	0.19
Proposed + G + P2024.10	87.32	—	—	—	—	—	—	0.76
Proposed + P2024.10	87.31	—	—	—	—	—	—	0.53
ERM2024.10	87.3	—	—	—	—	—	—	0.78
Naive + P2024.10	87.29	—	—	—	—	—	—	0.95
Proposed + G2024.10	87.23	—	—	—	—	—	—	0.42
GroupDRO2024.10	87.23	—	—	—	—	—	—	0.49
Proposed + P2024.10	87.22	—	—	—	—	—	—	0.55
GroupDRO2024.10	87.16	—	—	—	—	—	—	0.55
Proposed + G2024.10	87.15	—	—	—	—	—	—	0.82
GroupDRO2024.10	87.14	—	—	—	—	—	—	0.37
ERM2024.10	87.1	—	—	—	—	—	—	0.48
GroupDRO2024.10	87.1	—	—	—	—	—	—	0.14
ERM2024.10	87.04	—	—	—	—	—	—	0.55
Proposed + G2024.10	87.02	—	—	—	—	—	—	0.27
Proposed2024.10	86.99	—	—	—	—	—	—	0.26
Proposed2024.10	86.89	—	—	—	—	—	—	0.3
ERM2024.10	86.82	—	—	—	—	—	—	0.54
ERM2024.10	86.76	—	—	—	—	—	—	0.54
GroupDRO2024.10	86.75	—	—	—	—	—	—	0.47
Proposed2024.10	86.62	—	—	—	—	—	—	0.65
GroupDRO2024.10	86.55	—	—	—	—	—	—	0.3
1-NN2024.10	86.53	—	—	—	—	—	—	0.29
Proposed2024.10	86.51	—	—	—	—	—	—	0.27
Proposed + G2024.10	86.51	—	—	—	—	—	—	0.58
Proposed + G2024.10	86.47	—	—	—	—	—	—	0.49
1-NN2024.10	86.44	—	—	—	—	—	—	0.81
1-NN2024.10	86.39	—	—	—	—	—	—	0.76
Proposed + G2024.10	86.23	—	—	—	—	—	—	0.65
Proposed2024.10	86.11	—	—	—	—	—	—	0.29
1-NN2024.10	86.04	—	—	—	—	—	—	0.93
Proposed2024.10	86.02	—	—	—	—	—	—	0.33
1-NN2024.10	86.01	—	—	—	—	—	—	0.4
1-NN2024.10	85.9	—	—	—	—	—	—	0.43
Proposed + P2024.10	85.84	—	—	—	—	—	—	1.12
1-NN2024.10	85.84	—	—	—	—	—	—	0.84
GroupDRO2024.10	85.45	—	—	—	—	—	—	1.1
Proposed + G + P2024.10	85.41	—	—	—	—	—	—	1.38
Naive + P2024.10	85.3	—	—	—	—	—	—	1.58
Naive2024.10	85.2	—	—	—	—	—	—	0.24
ERM2024.10	85.1	—	—	—	—	—	—	1.13
Naive2024.10	84.74	—	—	—	—	—	—	0.37
Naive2024.10	84.58	—	—	—	—	—	—	0.37
Naive2024.10	84.38	—	—	—	—	—	—	0.32
Naive2024.10	84.3	—	—	—	—	—	—	0.33
Naive2024.10	84.15	—	—	—	—	—	—	0.3
Naive2024.10	84.13	—	—	—	—	—	—	0.45
Naive2024.10	84.05	—	—	—	—	—	—	0.39
Naive2024.10	83.92	—	—	—	—	—	—	0.25
1-NN2024.10	82.41	—	—	—	—	—	—	0.81
ERM2024.10	81.71	—	—	—	—	—	—	0.58
GroupDRO2024.10	81.56	—	—	—	—	—	—	0.75
GroupDRO2024.10	76.54	—	—	—	—	—	—	0.42
ERM2024.10	76.4	—	—	—	—	—	—	0.65
1-NN2024.10	64.49	—	—	—	—	—	—	0.9
Augmentation2026.04	—	—	—	81.78	—	—	—	—
Augmentation2026.04	—	—	—	81	—	—	—	—
BERT2018.04	—	86.7	85.9	—	—	—	—	—
CAFE2019.07	—	78.7	77.9	—	—	—	—	—
CAFE2019.07	—	80.2	79	—	—	—	—	—
CB last-layer retraining2023.09	—	—	—	—	—	64.7	—	—
Class-balanced ERM2023.09	—	—	—	—	—	69.2	—	—
CRT2026.02	—	—	—	—	—	65.4	80.2	—
CVaR DRO2023.05	—	—	—	82	68	—	—	—
CVaR DRO2023.05	—	—	—	81.8	61.8	—	—	—
CVaRDRO2026.02	—	—	—	—	—	48.2	75.4	—
DFR2023.09	—	—	—	—	—	72.6	—	—
DFR2026.02	—	—	—	—	—	63.8	80.2	—
DFR2026.04	—	—	—	82.4	—	57.1	—	—
DFR (our impl.)2023.09	—	—	—	—	—	70.8	—	—
DIIN2018.04	—	78.8	77.8	—	—	—	—	—
DIIN2019.07	—	78.8	77.8	—	—	—	—	—
DIIN2019.07	—	80	78.7	—	—	—	—	—
DMAN2019.07	—	78.9	78.2	—	—	—	—	—