Machine Translation on WMT En-Ro 2016 (test) benchmark leaderboard · SOTA2 Research

Machine Translation on WMT En-Ro 2016 (test)

35.4BLEUEIT deep

Evaluation Results

Method	Links
EIT deep2022.12		35.4	82.46	—	—	—	—	—
E-EIT2022.12		35.35	82.55	—	—	—	—	—
EIT base2022.12		35.1	82.18	—	—	—	—	—
E-EIT base2022.12		35.01	82.05	—	—	—	—	—
Transformer deep2022.12		35	82.11	—	—	—	—	—
EIT big2022.12		34.91	82.15	—	—	—	—	—
UMST2022.12		34.81	—	—	—	—	—	—
Delight2022.12		34.7	—	—	—	—	—	—
TIE-KD2023.05		34.7	55.76	—	—	—	—	—
Transformer-big2023.05		34.7	57.04	—	—	—	—	—
E-EIT big2022.12		34.67	81.8	—	—	—	—	—
Collaboration2022.12		34.64	—	—	—	—	—	—
DMAN2022.12		34.49	—	—	—	—	—	—
Transformer big2022.12		34.44	81.63	—	—	—	—	—
FISHformer2022.12		34.42	—	—	—	—	—	—
MoA2022.12		34.39	—	—	—	—	—	—
AT2024.05		34.39	—	58.48	78.9	69.89	86.18	1
Talking-Head2022.12		34.35	—	—	—	—	—	—
Transformer in Liu et al. (2020)2022.12		34.3	—	—	—	—	—	—
Refiner2022.12		34.25	—	—	—	—	—	—
Transformer base2022.12		34.23	81.39	—	—	—	—	—
Transformer in Kasai et al. (2020)2022.12		34.16	—	—	—	—	—	—
AT2024.05		33.92	—	58.45	78.49	69.26	86.22	1
Word-KD2023.05		33.77	53.15	—	—	—	—	—
Seer Forcing2023.05		33.77	51.41	—	—	—	—	—
Selective-KD2023.05		33.74	53.05	—	—	—	—	—
Seq-KD2023.05		33.69	50.63	—	—	—	—	—
Annealing KD2023.05		33.67	52.22	—	—	—	—	—
Transformer-base2023.05		33.59	50.96	—	—	—	—	—
CTC2024.05		33.28	—	58.28	75.54	65.71	82.94	14.5
DAT2024.05		33.25	—	57.89	76.59	67.01	84.27	13.7
DAT2024.05		33.18	—	57.35	76.14	66.72	83.72	13.8
MgMO2024.05		32.86	—	57.4	75.52	65.36	82.73	14.9
CTC2024.05		32.73	—	57.77	74.26	63.99	81.16	14.5
CMLM2024.05		32.71	—	56.76	72.36	63.42	76.67	2.7
CMLM2024.05		31.97	—	56.78	74.11	63.34	78.72	2.7
MgMO2024.05		30.97	—	56.65	73.54	63.19	80.04	14.9
NAT2024.05		30.97	—	56.52	72.6	62.12	77.47	15.8
NAT2024.05		23.75	—	50.72	65.78	53.91	67.29	15.9