Natural Language Understanding on GLUE (val)

97.4SST-2RoBERTa-Large + MUPPET

Evaluation Results

Method
RoBERTa-Large + MUPPET2021.01	97.4	90.8	—	94.9	92.2	—	92.8	91.4	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Factor-wise Muon2026.05	97.25	—	82.35	94.47	—	—	84.12	—	—	88.42	—	69.32	—	—	89.77	—	—	—	—	—	84.39	81.68	—	—	—	—	—	45.07	—
Scaled AdamW2026.05	97.25	—	89.46	94.67	—	—	91.34	—	—	92.22	—	71.3	—	—	90.68	—	—	—	—	—	91.1	89.01	—	—	—	—	—	83.1	—
iMuon2026.05	97.13	—	88.97	93.45	—	—	89.53	—	—	91.55	—	70.32	—	—	89.93	—	—	—	—	—	92.37	88.33	—	—	—	—	—	81.69	—
iMuon2026.05	97.02	—	85.54	94.6	—	—	88.09	—	—	87.86	—	70.21	—	—	89.29	—	—	—	—	—	88.99	86.25	—	—	—	—	—	74.65	—
MAT2020.06	97	90.7	91.9	95	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
BART + MUPPET2021.01	96.9	89.9	—	94.6	92.7	—	92.4	92.2	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
ELECTRA-Large2021.01	96.9	90.9	—	95	92.4	—	88	90.8	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Scaled GD2026.05	96.9	—	81.62	94.4	—	—	54.15	—	—	91.15	—	68.17	—	—	90.21	—	—	—	—	—	90.31	80.36	—	—	—	—	—	56.34	—
Riemannion (SGD)2026.05	96.9	—	82.6	94.93	—	—	82.67	—	—	87.77	—	68.9	—	—	91.55	—	—	—	—	—	77.99	82.65	—	—	—	—	—	60.56	—
Factor-wise Muon2026.05	96.9	—	89.71	94.97	—	—	89.89	—	—	91.74	—	71.45	—	—	91.29	—	—	—	—	—	92.18	88.56	—	—	—	—	—	78.87	—
RoBERTa + LayerDrop2020.06	96.8	90.1	91	94.7	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
AdamW2026.05	96.79	—	88.48	94.42	—	—	90.61	—	—	91.24	—	71.05	—	—	89.86	—	—	—	—	—	90.42	88.28	—	—	—	—	—	81.69	—
RoBERTa-Base + MUPPET2021.01	96.7	88.1	—	93.3	91.9	—	87.8	91.7	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
BART2021.01	96.6	89.9	—	94.9	92.5	—	87	90.4	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Riemannion (Adam)2026.05	96.44	—	79.9	94.55	—	—	80.87	—	—	90.36	—	67	—	—	91.21	—	—	—	—	—	62.13	82.84	—	—	—	—	—	83.1	—
RoBERTa2020.06	96.4	90.2	90.9	94.7	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
RoBERTa-Large2021.01	96.4	90.2	—	94.7	92.2	—	88.1	90.9	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Full FT2024.08	96.33	—	89.95	94.24	—	—	83.75	—	—	92.11	—	71.43	—	—	90.34	—	—	—	—	—	91.04	88.65	—	—	—	—	—	—	—
BA-LoRA2024.08	96.25	—	92.11	95.35	—	—	88.58	—	—	93.63	—	75.46	—	—	91.26	—	—	—	—	—	92.71	90.67	—	—	—	—	—	—	—
AdaLoRA2024.08	96.18	—	90.81	94.68	—	—	87.78	—	—	92.37	—	71.64	—	—	90.87	—	—	—	—	—	91.97	89.54	—	—	—	—	—	—	—
Adapters2023.05	96.1	—	90.2	94.8	—	—	83.8	—	—	91.9	—	68.3	—	—	90.2	—	—	—	—	—	92.1	88.4	—	—	—	—	—	—	—
SGD2026.05	96.1	—	70.1	94.22	—	—	50.9	—	—	88.59	—	55.89	—	—	88.15	—	—	—	—	—	47.64	71.21	—	—	—	—	—	49.3	—
FFT2023.05	96	—	89.2	94.6	—	—	85.2	—	—	91.6	—	66.8	—	—	90.6	—	—	—	—	—	91.5	88.2	—	—	—	—	—	—	—
WARP2023.05	96	—	90.8	93.5	—	—	75.8	—	—	84.5	—	60.6	—	—	88.2	—	—	—	—	—	88.6	84.8	—	—	—	—	—	—	—
S-MaM2023.05	95.9	—	90.4	94.5	—	—	85.2	—	—	90.6	—	66.3	—	—	90.6	—	—	—	—	—	91.6	88.1	—	—	—	—	—	—	—
DoRA2024.08	95.85	—	91.04	94.21	—	—	86.19	—	—	92.34	—	71.03	—	—	90.48	—	—	—	—	—	91.92	89.13	—	—	—	—	—	—	—
PiSSA2024.08	95.81	—	91.48	94.41	—	—	87.14	—	—	92.21	—	72.27	—	—	90.47	—	—	—	—	—	91.93	89.47	—	—	—	—	—	—	—
U-MaM2023.05	95.8	—	90.7	94.1	—	—	85.9	—	—	90.8	—	66.8	—	—	90.3	—	—	—	—	—	91.8	88.3	—	—	—	—	—	—	—
LoRA2024.10	95.64	—	—	92.04	—	—	—	—	—	85.85	—	—	—	—	86.16	—	—	—	—	—	—	89.92	—	—	—	—	—	—	—
FedTT+2024.10	95.64	—	—	94.05	—	—	—	—	—	88.99	—	—	—	—	88.27	—	—	—	—	—	—	91.74	—	—	—	—	—	—	—
FedTT+2024.10	95.64	—	—	92.6	—	—	—	—	—	87.76	—	—	—	—	88.11	—	—	—	—	—	—	91.03	—	—	—	—	—	—	—
BitFit2023.05	95.6	—	88.2	93.9	—	—	81.9	—	—	88.1	—	65	—	—	89.2	—	—	—	—	—	91.4	86.7	—	—	—	—	—	—	—
RoLoRA2024.10	95.6	—	—	91.62	—	—	—	—	—	85.66	—	—	—	—	86.16	—	—	—	—	—	—	89.76	—	—	—	—	—	—	—
U-BitFit2023.05	95.5	—	85.3	93.5	—	—	74	—	—	87.7	—	62.1	—	—	88.8	—	—	—	—	—	90.3	84.6	—	—	—	—	—	—	—
FouRA2024.06	95.5	—	90.4	94.2	—	—	—	—	—	—	—	70.6	—	—	90.5	—	—	—	—	—	91.6	—	—	—	—	—	—	—	—
PAdapter2024.08	95.49	—	89.71	94.38	—	—	85.53	—	—	92.15	—	69.04	—	—	90.42	—	—	—	—	—	91.69	88.55	—	—	—	—	—	—	—
ROBERTA_BASE + ContraNorm2023.12	95.41	87.88	93.17	92.82	—	—	80.51	—	—	88.91	87.4	63.06	—	—	—	—	—	—	—	—	90.34	86.61	—	—	—	—	—	—	—
ROBERTA_BASE + GFSA2023.12	95.41	87.99	93.52	92.97	—	—	80.14	—	—	89.09	87.54	64.11	—	—	—	—	—	—	—	—	90.35	86.79	—	—	—	—	—	—	—
HAdapter2024.08	95.38	—	89.97	94.31	—	—	84.76	—	—	91.99	—	68.73	—	—	90.23	—	—	—	—	—	91.58	88.37	—	—	—	—	—	—	—
LoRA2023.05	95.3	—	89.7	93.8	—	—	84.8	—	—	90.3	—	65.1	—	—	90.7	—	—	—	—	—	91.7	87.7	—	—	—	—	—	—	—
MaM2023.05	95.3	—	89.7	93.8	—	—	84.8	—	—	90.3	—	65.1	—	—	90.6	—	—	—	—	—	91.7	87.7	—	—	—	—	—	—	—
SORA2024.06	95.2	—	90.6	93.9	—	—	—	—	—	—	—	69.9	—	—	90.5	—	—	—	—	—	91.4	—	—	—	—	—	—	—	—
ELECTRA-Base2021.01	95	88.8	—	93.2	91.5	—	82.7	89.5	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
FNet-Base2021.05	95	72	76	80	—	—	63	—	—	83	73	69	—	—	—	—	—	—	—	—	79	76.7	—	—	—	—	—	—	—
BERT-Large2021.05	95	88	86	92	—	—	66	—	—	88	88	71	—	—	—	—	—	—	—	—	88	84.7	—	—	—	—	—	—	—
XLM-R2026.01	95	88.9	89.5	93.8	—	—	—	—	—	92.3	89	—	—	—	—	—	—	—	—	—	91.2	91.8	—	—	—	—	—	—	—
FFA-LoRA2024.10	94.91	—	—	90.11	—	—	—	—	—	84.06	—	—	—	—	85.48	—	—	—	—	—	—	88.64	—	—	—	—	—	—	—
LoRA2024.06	94.9	—	90.3	93.6	—	—	—	—	—	—	—	67.3	—	—	90.2	—	—	—	—	—	89.9	—	—	—	—	—	—	—	—
ROBERTA_BASE2023.12	94.84	87.94	92.28	92.57	—	—	78.7	—	—	88.86	87.3	60.34	—	—	—	—	—	—	—	—	89.99	85.87	—	—	—	—	—	—	—
RoLoRA2024.10	94.84	—	—	90.77	—	—	—	—	—	85.13	—	—	—	—	85.1	—	—	—	—	—	—	88.96	—	—	—	—	—	—	—
RoBERTa-Base2021.01	94.8	87.6	—	92.8	91.9	—	78.7	90.2	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
LoRA2024.08	94.79	—	89.85	93.94	—	—	85.43	—	—	92.07	—	70.05	—	—	90.71	—	—	—	—	—	91.67	88.56	—	—	—	—	—	—	—
Full Fine-tuning2024.07	94.75	—	84.56	93.19	—	—	—	—	—	—	—	80.7	—	—	86.33	—	—	—	—	—	—	87.91	—	—	—	—	—	—	—
LoRA2025.12	94.72	—	86.76	92.53	—	—	77.61	—	—	—	—	59.56	—	—	—	—	—	—	—	—	90.81	83.67	—	—	—	—	—	—	—
BitFit2024.08	94.68	—	87.95	92.45	—	—	79.12	—	—	88.72	—	67.31	—	—	89.54	—	—	—	—	—	91.63	86.43	—	—	—	—	—	—	—
FT2024.02	94.6	—	90.2	93	—	—	71.9	—	—	91.6	—	61.8	—	—	86.8	—	—	—	—	—	89.7	84.9	—	—	—	—	—	—	—
Full Fine-Tuning2024.05	94.57	—	91.3	92.33	—	—	79.42	—	—	92.28	—	62.24	—	—	87.18	—	—	—	—	—	90.92	86.28	—	—	—	—	—	—	4.64
Adam2025.01	94.57	—	92.25	92.18	—	—	79.06	—	—	92.28	—	63.81	—	—	87.29	—	—	—	—	—	91.26	86.58	—	—	—	—	—	—	—
LORA2024.10	94.4	—	89.8	86	—	—	—	—	—	86.5	—	—	—	—	84.7	—	—	—	—	—	—	88.3	—	—	—	—	—	—	—
VeLORA2024.05	94.38	—	91.26	92.09	—	—	77.98	—	—	89.91	—	64.56	—	—	86.29	—	—	—	—	—	90.81	85.91	—	—	—	—	—	—	2.23
FedTT2024.10	94.38	—	—	93.01	—	—	—	—	—	88.3	—	—	—	—	87.2	—	—	—	—	—	—	90.72	—	—	—	—	—	—	—
MT-DNN2021.01	94.3	87.1	—	92.9	91.9	89.2	83.4	91	87.5	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
LoRA2024.10	94.27	—	—	86.91	—	—	—	—	—	81.22	—	—	—	—	82.07	—	—	—	—	—	—	86.12	—	—	—	—	—	—	—
Universal order-32025.12	94.26	—	86.52	92.98	—	—	75.81	—	—	—	—	62.06	—	—	—	—	—	—	—	—	90.39	83.67	—	—	—	—	—	—	—
GWT2025.01	94.26	—	93.26	92.53	—	—	79.42	—	—	91.94	—	62.57	—	—	87.37	—	—	—	—	—	91.16	86.56	—	—	—	—	—	—	—
Diff-Pruning2021.06	94.2	86.4	91.3	93.4	—	—	71.5	—	—	86.6	86.9	63.5	—	—	—	84.6	—	—	—	—	89.5	—	—	—	—	—	—	—	—
S-BitFit2023.05	94.2	—	70.6	88.9	—	—	56	—	—	83.8	—	40.2	—	—	84.1	—	—	—	—	—	76.8	74.3	—	—	—	—	—	—	—
BitFit2024.02	94.2	—	86.8	93	—	—	67.6	—	—	90.1	—	58.2	—	—	85.3	—	—	—	—	—	90.9	83.3	—	—	—	—	—	—	—
rsLoRA2024.07	94.19	—	52.86	93.12	—	—	—	—	—	—	—	72.32	—	—	85.73	—	—	—	—	—	—	79.64	—	—	—	—	—	—	—
BERT_BASE + GFSA2023.12	94.15	85.12	90.6	91.95	—	—	68.95	—	—	88.46	85.06	59.56	—	—	—	—	—	—	—	—	88.33	83.58	—	—	—	—	—	—	—
FedTT2024.10	94.15	—	—	91.38	—	—	—	—	—	86.25	—	—	—	—	86.53	—	—	—	—	—	—	89.58	—	—	—	—	—	—	—
Universal order-22025.12	94.15	—	87.25	92.71	—	—	77.62	—	—	—	—	61.82	—	—	—	—	—	—	—	—	90.48	84.01	—	—	—	—	—	—	—
LoRA-GA2024.07	94.11	—	85.29	93.18	—	—	—	—	—	—	—	80.57	—	—	85.7	—	—	—	—	—	—	87.77	—	—	—	—	—	—	—
Full-FT2021.06	94.1	86.5	91.9	93.5	—	—	71.8	—	—	87.6	87.1	62.8	—	—	—	84.8	—	—	—	—	89.8	—	—	—	—	—	—	—	—
PISSA2024.07	94.07	—	76.31	93.15	—	—	—	—	—	—	—	74.27	—	—	85.75	—	—	—	—	—	—	84.71	—	—	—	—	—	—	—
LoRA2024.07	94.04	—	68.38	92.96	—	—	—	—	—	—	—	69.35	—	—	85.3	—	—	—	—	—	—	82.08	—	—	—	—	—	—	—
DoRA2024.07	94.04	—	68.08	93.04	—	—	—	—	—	—	—	72.04	—	—	85.67	—	—	—	—	—	—	82.57	—	—	—	—	—	—	—
GaLore2024.05	94.04	—	92.25	92.24	—	—	79.42	—	—	91.06	—	60.35	—	—	87	—	—	—	—	—	90.73	85.89	—	—	—	—	—	—	4.04
HYPERFORMER++_BASE2021.06	94.03	—	—	93.02	90.28	87.2	75.36	89.66	92.63	—	—	63.73	90	89.66	85.74	86.48	—	—	—	—	—	—	—	—	—	—	—	—	—
GaLore2025.01	94.03	—	92.41	92.56	—	—	77.25	—	—	91.77	—	61.32	—	—	86.77	—	—	—	—	—	91.13	85.9	—	—	—	—	—	—	—
Linear-Base2021.05	94	74	83	80	—	—	69	—	—	84	75	67	—	—	—	—	—	—	—	—	67	77	—	—	—	—	—	—	—
FNet-Hybrid-Base2021.05	94	78	79	88	—	—	60	—	—	85	79	76	—	—	—	—	—	—	—	—	86	80.6	—	—	—	—	—	—	—
FNet-Large2021.05	94	78	88	85	—	—	69	—	—	85	76	78	—	—	—	—	—	—	—	—	84	81.9	—	—	—	—	—	—	—
Adapter2024.10	94	—	88.5	85.9	—	—	—	—	—	87	—	—	—	—	84.9	—	—	—	—	—	—	88.1	—	—	—	—	—	—	—
BERT_BASE + ContraNorm2023.12	93.92	85.11	89.88	91.84	—	—	69.31	—	—	88.51	84.5	59.89	—	—	—	—	—	—	—	—	88.36	83.48	—	—	—	—	—	—	—
FFA-LoRA2024.10	93.92	—	—	89.58	—	—	—	—	—	80.51	—	—	—	—	82.62	—	—	—	—	—	—	86.66	—	—	—	—	—	—	—
LoRA+2024.07	93.85	—	74.43	93.14	—	—	—	—	—	—	—	77.53	—	—	85.81	—	—	—	—	—	—	84.95	—	—	—	—	—	—	—
BERT_BASE2023.12	93.81	84.96	88.7	91.63	—	—	66.06	—	—	88.32	84.15	56.79	—	—	—	—	—	—	—	—	88.16	82.51	—	—	—	—	—	—	—
HYPERFORMER_BASE2021.06	93.8	—	—	92.79	90.13	87.18	78.26	90.64	93.33	—	—	61.32	89.55	89.03	86.33	86.58	—	—	—	—	—	—	—	—	—	—	—	—	—
Adapter2024.02	93.8	—	85.3	93.2	—	—	71.9	—	—	90.2	—	64	—	—	86.5	—	—	—	—	—	90.7	84.5	—	—	—	—	—	—	—
FedTT2024.10	93.8	—	88.9	88.9	—	—	—	—	—	86.2	—	—	—	—	84.2	—	—	—	—	—	—	88.4	—	—	—	—	—	—	—
Prefix2024.10	93.7	—	88.1	84.6	—	—	—	—	—	81.8	—	—	—	—	80.4	—	—	—	—	—	—	85.7	—	—	—	—	—	—	—
BERT + ContraNorm-D2023.03	93.69	85.24	91.78	91.95	—	—	70.04	—	—	88.36	85.19	62.08	—	—	—	—	—	—	—	—	89.59	84.21	—	—	—	—	—	—	—
ALBERT-base2023.03	93.69	84.56	92.09	90.9	—	—	76.53	—	—	87.23	84.37	57.35	—	—	—	—	—	—	—	—	90.54	83.74	—	—	—	—	—	—	—
AdaLoRA2024.07	93.69	—	68.14	91.66	—	—	—	—	—	—	—	69.16	—	—	85.45	—	—	—	—	—	—	81.62	—	—	—	—	—	—	—
AdapterDrop2024.02	93.6	—	86.3	93.2	—	—	71.2	—	—	90.2	—	62.7	—	—	86.3	—	—	—	—	—	91.4	84.4	—	—	—	—	—	—	—
APOLLO2025.01	93.57	—	92	92.27	—	—	78.33	—	—	91.85	—	61.07	—	—	87.21	—	—	—	—	—	90.7	85.87	—	—	—	—	—	—	—
Adapters_BASE2021.06	93.46	—	—	92.26	90.94	88.01	68.84	88.18	91.55	—	—	59.49	87.44	87.18	86.38	84.88	—	—	—	—	—	—	—	—	—	—	—	—	—
LoRA*2025.01	93.46	—	91.9	92.25	—	—	79.06	—	—	91.22	—	61.83	—	—	86.94	—	—	—	—	—	90.8	85.93	—	—	—	—	—	—	—