List your company
ResearchFormerly WizWand

Natural Language Understanding on GLUE (val)

97.4SST-2RoBERTa-Large + MUPPET
93.302494.366295.4396.4938Jun 18, 2020Jun 11, 2021Jun 5, 2022May 30, 2023May 22, 2024May 16, 2025May 10, 2026
Updated 5mo ago

Evaluation results

MethodLinks
RoBERTa-Large + MUPPETModel Architecture=RoBERTa-Large, Pre-finetuning=MUPPET2021.0197.490.8—94.992.2—92.891.4—————————————————————
Factor-wise MuonMomentum=Without momentum, Backbone=Mistral-7B, Quantization=4-bit, LoRA rank=162026.0597.25—82.3594.47——84.12——88.42—69.32——89.77—————84.3981.68—————45.07—
Scaled AdamWMomentum=With momentum, Backbone=Mistral-7B, Quantization=4-bit, LoRA rank=162026.0597.25—89.4694.67——91.34——92.22—71.3——90.68—————91.189.01—————83.1—
iMuonMomentum=With momentum, Backbone=Mistral-7B, Quantization=4-bit, LoRA rank=162026.0597.13—88.9793.45——89.53——91.55—70.32——89.93—————92.3788.33—————81.69—
iMuonMomentum=Without momentum, Backbone=Mistral-7B, Quantization=4-bit, LoRA rank=162026.0597.02—85.5494.6——88.09——87.86—70.21——89.29—————88.9986.25—————74.65—
MATBackbone=RoBERTa-Large, Number of layers=24, Na=22020.069790.791.995—————————————————————————
BART + MUPPETModel Architecture=BART, Pre-finetuning=MUPPET2021.0196.989.9—94.692.7—92.492.2—————————————————————
ELECTRA-LargeModel Architecture=ELECTRA-Large2021.0196.990.9—9592.4—8890.8—————————————————————
Scaled GDMomentum=Without momentum, Backbone=Mistral-7B, Quantization=4-bit, LoRA rank=162026.0596.9—81.6294.4——54.15——91.15—68.17——90.21—————90.3180.36—————56.34—
Riemannion (SGD)Momentum=Without momentum, Backbone=Mistral-7B, Quantization=4-bit, LoRA rank=162026.0596.9—82.694.93——82.67——87.77—68.9——91.55—————77.9982.65—————60.56—
Factor-wise MuonMomentum=With momentum, Backbone=Mistral-7B, Quantization=4-bit, LoRA rank=162026.0596.9—89.7194.97——89.89——91.74—71.45——91.29—————92.1888.56—————78.87—
RoBERTa + LayerDropBackbone=RoBERTa-Large, Number of layers=242020.0696.890.19194.7—————————————————————————
AdamWMomentum=With momentum, Backbone=Mistral-7B, Quantization=4-bit, LoRA rank=162026.0596.79—88.4894.42——90.61——91.24—71.05——89.86—————90.4288.28—————81.69—
RoBERTa-Base + MUPPETModel Architecture=RoBERTa-Base, Pre-finetuning=MUPPET2021.0196.788.1—93.391.9—87.891.7—————————————————————
BARTModel Architecture=BART, Pre-finetuning=Standard2021.0196.689.9—94.992.5—8790.4—————————————————————
Riemannion (Adam)Momentum=With momentum, Backbone=Mistral-7B, Quantization=4-bit, LoRA rank=162026.0596.44—79.994.55——80.87——90.36—67——91.21—————62.1382.84—————83.1—
RoBERTaBackbone=RoBERTa-Large, Number of layers=242020.0696.490.290.994.7—————————————————————————
RoBERTa-LargeModel Architecture=RoBERTa-Large, Pre-finetuning=Standard2021.0196.490.2—94.792.2—88.190.9—————————————————————
Full FT#Params=184M, Backbone=DeBERTa-v3-base2024.0896.33—89.9594.24——83.75——92.11—71.43——90.34—————91.0488.65———————
BA-LoRA#Params=1.33M, Backbone=DeBERTa-v3-base2024.0896.25—92.1195.35——88.58——93.63—75.46——91.26—————92.7190.67———————
AdaLoRA#Params=1.27M, Backbone=DeBERTa-v3-base2024.0896.18—90.8194.68——87.78——92.37—71.64——90.87—————91.9789.54———————
AdaptersNumber of Parameters=3.0M2023.0596.1—90.294.8——83.8——91.9—68.3——90.2—————92.188.4———————
SGDMomentum=Without momentum, Backbone=Mistral-7B, Quantization=4-bit, LoRA rank=162026.0596.1—70.194.22——50.9——88.59—55.89——88.15—————47.6471.21—————49.3—
FFTNumber of Parameters=355M2023.0596—89.294.6——85.2——91.6—66.8——90.6—————91.588.2———————
WARPNumber of Parameters=25k2023.0596—90.893.5——75.8——84.5—60.6——88.2—————88.684.8———————
S-MaMNumber of Parameters=3.4M2023.0595.9—90.494.5——85.2——90.6—66.3——90.6—————91.688.1———————
DoRA#Params=1.27M, Backbone=DeBERTa-v3-base2024.0895.85—91.0494.21——86.19——92.34—71.03——90.48—————91.9289.13———————
PiSSA#Params=1.33M, Backbone=DeBERTa-v3-base2024.0895.81—91.4894.41——87.14——92.21—72.27——90.47—————91.9389.47———————
U-MaMNumber of Parameters=3.4M2023.0595.8—90.794.1——85.9——90.8—66.8——90.3—————91.888.3———————
LoRABackbone=RoBERTa-Large, Rank=2, Parameter Count=68K, Data Distribution=i.i.d.2024.1095.64——92.04—————85.85————86.16——————89.92———————
FedTT+Backbone=RoBERTa-Large, Parameter Count=28K, Data Distribution=i.i.d.2024.1095.64——94.05—————88.99————88.27——————91.74———————
FedTT+Backbone=RoBERTa-Large, Parameter Count=28K, Data Distribution=mild heterogeneity2024.1095.64——92.6—————87.76————88.11——————91.03———————
BitFitNumber of Parameters=273k2023.0595.6—88.293.9——81.9——88.1—65——89.2—————91.486.7———————
RoLoRABackbone=RoBERTa-Large, Rank=2, Parameter Count=34K, Data Distribution=i.i.d.2024.1095.6——91.62—————85.66————86.16——————89.76———————
U-BitFitNumber of Parameters=25k2023.0595.5—85.393.5——74——87.7—62.1——88.8—————90.384.6———————
FouRABase Model=RoBERTa, Number of seeds=32024.0695.5—90.494.2———————70.6——90.5—————91.6————————
PAdapter#Params=1.18M, Backbone=DeBERTa-v3-base2024.0895.49—89.7194.38——85.53——92.15—69.04——90.42—————91.6988.55———————
ROBERTA_BASE + ContraNorm#Params=125M2023.1295.4187.8893.1792.82——80.51——88.9187.463.06————————90.3486.61———————
ROBERTA_BASE + GFSA#Params=125M2023.1295.4187.9993.5292.97——80.14——89.0987.5464.11————————90.3586.79———————
HAdapter#Params=1.22M, Backbone=DeBERTa-v3-base2024.0895.38—89.9794.31——84.76——91.99—68.73——90.23—————91.5888.37———————
LoRANumber of Parameters=3.4M2023.0595.3—89.793.8——84.8——90.3—65.1——90.7—————91.787.7———————
MaMNumber of Parameters=3.4M2023.0595.3—89.793.8——84.8——90.3—65.1——90.6—————91.787.7———————
SORABase Model=RoBERTa, Number of seeds=32024.0695.2—90.693.9———————69.9——90.5—————91.4————————
ELECTRA-BaseModel Architecture=ELECTRA-Base2021.019588.8—93.291.5—82.789.5—————————————————————
FNet-BaseModel Scale=Base, Hardware=TPU, Protocol=Fine-tuning2021.0595727680——63——837369————————7976.7———————
BERT-LargeModel Scale=Large, Hardware=TPU, Protocol=Fine-tuning2021.0595888692——66——888871————————8884.7———————
XLM-RSource=original XLM-R paper2026.019588.989.593.8—————92.389—————————91.291.8———————
FFA-LoRABackbone=RoBERTa-Large, Rank=2, Parameter Count=34K, Data Distribution=i.i.d.2024.1094.91——90.11—————84.06————85.48——————88.64———————
LoRABase Model=RoBERTa, Number of seeds=32024.0694.9—90.393.6———————67.3——90.2—————89.9————————
ROBERTA_BASE#Params=125M2023.1294.8487.9492.2892.57——78.7——88.8687.360.34————————89.9985.87———————
RoLoRABackbone=RoBERTa-Large, Rank=2, Parameter Count=34K, Data Distribution=mild heterogeneity2024.1094.84——90.77—————85.13————85.1——————88.96———————
RoBERTa-BaseModel Architecture=RoBERTa-Base, Pre-finetuning=Standard2021.0194.887.6—92.891.9—78.790.2—————————————————————
LoRA#Params=1.33M, Backbone=DeBERTa-v3-base2024.0894.79—89.8593.94——85.43——92.07—70.05——90.71—————91.6788.56———————
Full Fine-tuningBackbone=T5-base, Fine-tuning Protocol=Full-FT2024.0794.75—84.5693.19———————80.7——86.33——————87.91———————
LoRASpeedup=1×, Backbone=RoBERTa-base2025.1294.72—86.7692.53——77.61————59.56————————90.8183.67———————
BitFit#Params=0.1M, Backbone=DeBERTa-v3-base2024.0894.68—87.9592.45——79.12——88.72—67.31——89.54—————91.6386.43———————
FTnumber of parameters=220M, base model=T5-base2024.0294.6—90.293——71.9——91.6—61.8——86.8—————89.784.9———————
Full Fine-TuningBackbone=RoBERTa-Base2024.0594.57—91.392.33——79.42——92.28—62.24——87.18—————90.9286.28——————4.64
AdamBackbone=RoBERTa-base, Mode=Fine-tuning2025.0194.57—92.2592.18——79.06——92.28—63.81——87.29—————91.2686.58———————
LORABackbone=RoBERTa-Base, # Param.=0.30M2024.1094.4—89.886—————86.5————84.7——————88.3———————
VeLORABackbone=RoBERTa-Base2024.0594.38—91.2692.09——77.98——89.91—64.56——86.29—————90.8185.91——————2.23
FedTTBackbone=RoBERTa-Large, Parameter Count=51K, Data Distribution=i.i.d.2024.1094.38——93.01—————88.3————87.2——————90.72———————
MT-DNN2021.0194.387.1—92.991.989.283.49187.5————————————————————
LoRABackbone=RoBERTa-Large, Rank=2, Parameter Count=68K, Data Distribution=mild heterogeneity2024.1094.27——86.91—————81.22————82.07——————86.12———————
Universal order-3Speedup=1.8×, Backbone=RoBERTa-base2025.1294.26—86.5292.98——75.81————62.06————————90.3983.67———————
GWTBackbone=RoBERTa-base, Mode=Fine-tuning2025.0194.26—93.2692.53——79.42——91.94—62.57——87.37—————91.1686.56———————
Diff-Pruning% Param=0.5%, Source=Guo et al. (2020)2021.0694.286.491.393.4——71.5——86.686.963.5———84.6————89.5————————
S-BitFitNumber of Parameters=25k2023.0594.2—70.688.9——56——83.8—40.2——84.1—————76.874.3———————
BitFitnumber of parameters=0.3M, base model=T5-base2024.0294.2—86.893——67.6——90.1—58.2——85.3—————90.983.3———————
rsLoRABackbone=T5-base, Fine-tuning Protocol=PEFT2024.0794.19—52.8693.12———————72.32——85.73——————79.64———————
BERT_BASE + GFSA#Params=110M2023.1294.1585.1290.691.95——68.95——88.4685.0659.56————————88.3383.58———————
FedTTBackbone=RoBERTa-Large, Parameter Count=51K, Data Distribution=mild heterogeneity2024.1094.15——91.38—————86.25————86.53——————89.58———————
Universal order-2Speedup=2×, Backbone=RoBERTa-base2025.1294.15—87.2592.71——77.62————61.82————————90.4884.01———————
LoRA-GABackbone=T5-base, Fine-tuning Protocol=PEFT2024.0794.11—85.2993.18———————80.57——85.7——————87.77———————
Full-FT% Param=100%, Source=Guo et al. (2020)2021.0694.186.591.993.5——71.8——87.687.162.8———84.8————89.8————————
PISSABackbone=T5-base, Fine-tuning Protocol=PEFT2024.0794.07—76.3193.15———————74.27——85.75——————84.71———————
LoRABackbone=T5-base, Fine-tuning Protocol=PEFT2024.0794.04—68.3892.96———————69.35——85.3——————82.08———————
DoRABackbone=T5-base, Fine-tuning Protocol=PEFT2024.0794.04—68.0893.04———————72.04——85.67——————82.57———————
GaLoreBackbone=RoBERTa-Base2024.0594.04—92.2592.24——79.42——91.06—60.35——87—————90.7385.89——————4.04
HYPERFORMER++_BASETraining Strategy=Multi-Task Training, #Total params=1.02x, #Trained params / per task=0.29%2021.0694.03——93.0290.2887.275.3689.6692.63——63.739089.6685.7486.48—————————————
GaLoreBackbone=RoBERTa-base, Mode=Fine-tuning2025.0194.03—92.4192.56——77.25——91.77—61.32——86.77—————91.1385.9———————
Linear-BaseModel Scale=Base, Hardware=TPU, Protocol=Fine-tuning2021.0594748380——69——847567————————6777———————
FNet-Hybrid-BaseModel Scale=Base, Hardware=TPU, Protocol=Fine-tuning2021.0594787988——60——857976————————8680.6———————
FNet-LargeModel Scale=Large, Hardware=TPU, Protocol=Fine-tuning2021.0594788885——69——857678————————8481.9———————
AdapterBackbone=RoBERTa-Base, # Param.=0.70M2024.1094—88.585.9—————87————84.9——————88.1———————
BERT_BASE + ContraNorm#Params=110M2023.1293.9285.1189.8891.84——69.31——88.5184.559.89————————88.3683.48———————
FFA-LoRABackbone=RoBERTa-Large, Rank=2, Parameter Count=34K, Data Distribution=mild heterogeneity2024.1093.92——89.58—————80.51————82.62——————86.66———————
LoRA+Backbone=T5-base, Fine-tuning Protocol=PEFT2024.0793.85—74.4393.14———————77.53——85.81——————84.95———————
BERT_BASE#Params=110M2023.1293.8184.9688.791.63——66.06——88.3284.1556.79————————88.1682.51———————
HYPERFORMER_BASETraining Strategy=Multi-Task Training, #Total params=1.54x, #Trained params / per task=6.86%2021.0693.8——92.7990.1387.1878.2690.6493.33——61.3289.5589.0386.3386.58—————————————
Adapternumber of parameters=1.9M, base model=T5-base2024.0293.8—85.393.2——71.9——90.2—64——86.5—————90.784.5———————
FedTTBackbone=RoBERTa-Base, # Param.=0.06M2024.1093.8—88.988.9—————86.2————84.2——————88.4———————
PrefixBackbone=RoBERTa-Base, # Param.=3.50M2024.1093.7—88.184.6—————81.8————80.4——————85.7———————
BERT + ContraNorm-Dnormalization=ContraNorm-D2023.0393.6985.2491.7891.95——70.04——88.3685.1962.08————————89.5984.21———————
ALBERT-baseModel=ALBERT-base2023.0393.6984.5692.0990.9——76.53——87.2384.3757.35————————90.5483.74———————
AdaLoRABackbone=T5-base, Fine-tuning Protocol=PEFT2024.0793.69—68.1491.66———————69.16——85.45——————81.62———————
AdapterDropnumber of parameters=1.1M, base model=T5-base2024.0293.6—86.393.2——71.2——90.2—62.7——86.3—————91.484.4———————
APOLLOBackbone=RoBERTa-base, Mode=Fine-tuning2025.0193.57—9292.27——78.33——91.85—61.07——87.21—————90.785.87———————
Adapters_BASETraining Strategy=Single-Task Training, #Total params=1 + 8 × 0.01, #Trained params / per task=0.87%2021.0693.46——92.2690.9488.0168.8488.1891.55——59.4987.4487.1886.3884.88—————————————
LoRA*Backbone=RoBERTa-base, Mode=Fine-tuning2025.0193.46—91.992.25——79.06——91.22—61.83——86.94—————90.885.93———————