Named Entity Recognition on WikiAnn (test)

75.67Average AccuracyDA-Net

Updated 5mo ago

Evaluation Results

Method
DA-Net2024.03	75.67	—	49.57	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	83.91	—	—	—	69.63	—	—	—	81.46	74.39	—	81.83	—	—	—	—	—	—	83.46	83.2	80.81	72.42	63.73	81.27	62.53	83.53	83.34	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
DA-Net2024.03	72.83	—	38.38	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	87.16	—	—	—	56.79	—	—	—	83.57	74.52	—	83.65	—	—	—	—	—	—	86.24	85.02	66.08	52.44	61.84	72.51	70.19	86.58	87.5	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
G-MOE2024.03	71.04	—	47.64	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	83.13	—	—	—	52.07	—	—	—	78.64	73.47	—	81.15	—	—	—	—	—	—	82.29	82.88	62.17	70.26	63.61	74.33	60.8	80.69	72.5	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
G-MOE2024.03	69.83	—	33.59	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	85.12	—	—	—	49.71	—	—	—	79.12	73.31	—	80.97	—	—	—	—	—	—	85.39	84.38	58.16	49.55	62.58	70.36	66.39	86	82.82	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
mBERT (Reference [1])2021.06	69.5	85.2	—	—	41.1	—	—	—	—	—	—	—	—	—	—	—	—	77	78	72.5	77.4	79.6	65	64	71.8	36.9	71.8	81.8	80.8	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Syntax-augmented mBERT2021.06	69	84.4	—	—	40	—	—	—	—	—	—	—	—	—	—	—	—	77	77	71.5	76.1	79.3	64.2	63.8	71.4	37.3	72.7	81.9	79	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
EasyProject (EProj.)2022.11	68.9	—	43.5	45.9	56.3	69.8	70.7	—	62	—	—	—	—	—	—	—	—	80.6	80.2	75	75.6	80.8	75.7	68.2	79.6	74.7	76	83.1	80.1	79.2	—	—	80.1	—	—	—	—	—	—	—	80.9	52	—	67.1	53.9	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	73.8	15.1	74.1	80	74.7	80.9	64.3	69	61.9	67.1	57.4	64.3	54.2	80.7	80.3
MAN2024.03	68.74	—	36.73	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	84.95	—	—	—	49.34	—	—	—	80.22	72.47	—	80	—	—	—	—	—	—	84.01	83.14	57.41	48.65	60.38	64.69	65.82	84.3	79.03	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
M-MOE2024.03	68.6	—	37.25	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	83.49	—	—	—	46.54	—	—	—	80.41	70.75	—	77.44	—	—	—	—	—	—	82.26	83.99	55	51.35	63.34	64.04	68.75	82.35	82.05	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
MulTS2024.03	68.52	—	35.01	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	84.22	—	—	—	42.32	—	—	—	81.28	73.73	—	82.87	—	—	—	—	—	—	84.26	83.44	53.2	48.82	61.43	66.68	67.25	84.15	79.21	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
mBERT2024.03	68.51	—	36.35	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	85.57	—	—	—	38.69	—	—	—	81.33	72.82	—	78.81	—	—	—	—	—	—	83.99	82.83	56.93	49.45	60.93	66.47	68.84	83.13	81.55	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
mBERT2021.06	68.5	83.6	—	—	38.8	—	—	—	—	—	—	—	—	—	—	—	—	77	76	70.4	74.7	78.9	63.4	63.5	70.9	37.7	73.5	81.9	78.7	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
EasyProject (EProj.)2022.11	68.4	—	45.5	46.6	50.5	67	69.7	—	60.1	—	—	—	—	—	—	—	—	82.5	80	74.1	71.7	81.5	74.4	70.3	79.5	74.7	77.5	83.4	81.9	79.4	—	—	79.9	—	—	—	—	—	—	—	81.2	52.1	—	63.4	53.1	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	77.7	14	73.9	79.3	74.2	80.7	63.5	68.7	58	64.9	55.9	61.3	54	80.4	79.8
M-MOE2024.03	68.28	—	43.86	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	79.75	—	—	—	48.24	—	—	—	77.58	69.83	—	79.49	—	—	—	—	—	—	78.88	82.33	65.87	69.86	63.32	64.43	62.49	80.78	58.57	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
MulTS2024.03	68.2	—	43.22	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	82.85	—	—	—	52.44	—	—	—	80.33	71.85	—	82.9	—	—	—	—	—	—	81.92	81.78	53.87	65.86	63.01	58.96	61.49	82.03	60.5	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
CoLaDa2023.05	67.9	—	—	60.08	66.94	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	76.69	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
MAN2024.03	67.81	—	42.64	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	80.67	—	—	—	46.33	—	—	—	78.17	70.76	—	79.84	—	—	—	—	—	—	80.19	81.07	65.34	70.14	61.89	64.04	61.5	78.01	56.91	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
mBERT2024.03	67.04	—	46.08	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	81.37	—	—	—	37.26	—	—	—	77.31	69.3	—	78.62	—	—	—	—	—	—	79.81	78.28	65.74	68.06	61.75	67.33	60.59	77.92	56.24	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Awes2022.11	66.4	—	23.4	36	48.7	64.8	70.6	—	61.6	—	—	—	—	—	—	—	—	80.2	79.5	76.3	72.2	79.8	73.9	68.9	80.6	71.6	70.4	83.4	80.9	79.3	—	—	80.7	—	—	—	—	—	—	—	80.5	41.5	—	58.3	53.5	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	73.2	2.6	69.4	80.1	74.5	80.5	63.1	70.3	61.1	63.6	57.7	63.2	53.5	80.3	81
XLM-R2022.11	64.3	—	18	27.1	48.5	62.3	68.5	—	53.5	—	—	—	—	—	—	—	—	82.1	79.4	79.3	74.8	80.1	69.5	71.1	80.3	63.6	74.2	84.1	82	78.6	—	—	79.6	—	—	—	—	—	—	—	81.3	64.3	—	56	52.4	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	37.1	0.7	64.1	73	68.8	75.1	58.8	63.6	57.9	63.9	55.6	63.5	53.5	81	80.6
Ref. (He et al. 2021b)2022.11	63.3	—	18.3	25.8	43.7	58.4	70	—	51.3	—	—	—	—	—	—	—	—	81.2	77.9	77.2	68.8	79	71	71.5	78.9	54.2	77.2	84.3	79.6	77.6	—	—	78	—	—	—	—	—	—	—	81.1	61.1	—	54.1	52.3	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	41.3	1.5	69.8	72.2	68.9	76.3	56.9	62.1	58	64.1	52.3	65.8	49.8	79.3	78.6
CoLaDa2023.05	62.48	—	—	60.77	54.26	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	72.42	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
UniBridge2024.06	61.81	—	—	—	—	—	—	—	—	—	65.13	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	61.09	60.32	63.73	54.06	69.43	62.35	55.38	62.24	54.28	66.07	54.51	66.42	70.29	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
MTMT2023.05	58.59	—	—	52.26	52.77	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	70.76	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
UniBridge2024.06	57.94	—	—	—	—	—	—	—	—	—	67.89	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	69.15	67.5	61.91	67.14	57.07	41.74	48.37	44.1	52.47	60.99	59.12	59.29	54.48	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
MAD-X2024.06	57.83	—	—	—	—	—	—	—	—	—	62.28	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	63.1	51.15	55.6	43.79	60.55	60.32	55.75	63.11	50.03	61.62	56.66	64.27	61.36	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
ConNER2023.05	57.76	—	—	39.17	59.62	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	74.49	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
UniTrans2023.05	55.91	—	—	56.08	42.9	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	68.76	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
RIKD2023.05	55.55	—	—	50.4	45.96	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	70.28	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
BERT-align2023.05	54.26	—	—	52.9	42.3	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	67.6	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
XLM-R2023.05	54.08	—	—	39.23	50.84	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	72.17	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
TSL2023.05	53.59	—	—	48.12	43.12	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	69.54	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
MAD-X2020.04	53.2	82.3	41.8	55.7	19	73.8	20.5	74.5	51.9	66.1	36.5	57.6	51	62.1	59.7	55.1	73.1	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
XLM-RBase MLM-TRG2020.04	52.8	84.2	44.5	50.2	9.3	77.7	15.5	71.7	55.5	68.7	47.6	60.3	43.6	56.3	56.4	50.6	84.7	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
MAD-X - INV2020.04	50.3	82.2	36.9	54.1	16.8	68.7	20.7	71.5	50	59.6	39.2	54.9	48.3	58.1	53.1	52.8	69.9	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
MAD-X2024.06	48.89	—	—	—	—	—	—	—	—	—	56.57	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	67.03	51.24	29.73	39.13	51.5	28.79	43.52	49.72	45.25	51.85	58.64	60.33	51.2	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
UniBridge2024.06	45.95	—	—	—	—	—	—	—	—	—	42.91	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	49.6	43.24	46.03	40.15	50.67	42.67	48.72	45.16	46.09	29.74	51.32	52.86	54.22	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
mBERT2020.04	44	84.8	38.7	57.8	26.7	66	38.5	65.7	42.9	54.9	14.2	31.1	21.8	46	47.2	45.4	63.5	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
XLM-R2024.06	43.14	—	—	—	—	—	—	—	—	—	22.04	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	43.31	52.71	44.62	40	44.17	40.69	45.34	40.45	46	41.28	43.13	50.03	50.23	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
MAD-X - LAD - inv2020.04	41.9	82	41	54.4	15.6	66.4	20.3	67.8	48.8	57.8	16.9	36.9	14.3	44.3	41.9	42.9	59.9	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
XLM-R2020.04	41.6	83	41.3	56.1	15.2	63.5	19.6	67.2	46.9	58.3	20.47	32.2	15.9	41.8	43.4	41	61.3	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
MAD-X Large2020.04	39.2	56.3	53.37	55.6	59.41	40.4	50.57	53.22	24.55	33.89	26.54	33.37	24.31	28.03	30.82	26.38	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
MAD-X mBERT2020.04	38.6	52.8	53.1	53.2	55.5	46.3	50.9	51.4	23.8	37.7	22.1	30	18.6	31.8	33	25.1	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
MAD-X2024.06	38.38	—	—	—	—	—	—	—	—	—	17.32	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	39.3	46.59	36.63	33.86	39.51	50	45.24	38.13	42.66	19.93	39.06	39.55	49.6	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
MAD-X Base2020.04	38.2	55	46.7	47.3	58.2	39.2	50.4	54.5	24.9	32.6	24.2	34.3	16.8	31.7	31.9	30.4	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
MAD-X Base - INV2020.04	37.6	52.3	46	46.2	56.3	41.6	48.6	52.4	27.2	30.8	23.2	33	23.5	29.3	30.4	28.4	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
UniBridge2024.06	37.35	—	—	—	—	—	—	—	—	—	30.42	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	15.46	53.28	45.67	36.15	54.72	19.49	44.07	45.49	39.33	20.55	42.36	13.68	62.28	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
mBERT2020.04	37.1	48.6	50.5	50.6	50.9	45.3	48.7	51.2	17.7	31.8	20.7	26.1	20.9	31.3	34.8	30.9	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
XLM-RBase MLM-SRC2020.04	36.5	84.2	27.3	44.8	8.45	57.9	11	59	35.6	52.5	21.4	22.7	22.7	38.1	44	41.7	60.3	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
XLM-R Base MLM-TRG2020.04	35.2	54.8	47.4	54.7	51.1	38.7	48.1	53	20	29.3	16.6	24.7	15.9	26.4	26.5	28.5	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
XLM-R Large2020.04	34.6	47.1	46.52	46.43	45.15	39.21	43.96	48.69	26.18	26.39	15.12	33.67	19.86	27.7	29.56	33.78	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
XLM-R Base2020.04	32.6	44.2	38.2	40.4	36.4	37.4	42.8	47.1	26.3	27.4	18.1	35	16.7	31.7	20.6	31.2	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
mBERT2024.06	32.08	—	—	—	—	—	—	—	—	—	19.76	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	12.87	52.24	47.81	39.71	51.3	18.46	42.86	45	25.86	30.71	13.61	2.79	46.15	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
MAD-X2024.06	30.23	—	—	—	—	—	—	—	—	—	16.22	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	13.91	51.48	46.22	39.2	45.76	19.2	31.3	37.35	29.25	22.96	20.31	12.34	37.66	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
MAD-X Base - LAD - INV2020.04	29.8	44.5	38.6	40.6	42.8	32.4	43.1	48.6	23.9	22	10.6	27.9	13.2	24.6	18.8	21.9	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
XLM-R Base MLM-SRC2020.04	29	39.5	45.2	34.7	17.7	34.5	35.3	43.1	20.8	26.6	21.4	22.4	18.1	25	27.6	24	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
mBART2024.06	14.11	—	—	—	—	—	—	—	—	—	10.46	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	19.19	15.47	9.1	14.92	18.86	13.16	15.52	6.22	11.45	19.31	16.68	13.21	14.04	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
mGPT2024.06	11.74	—	—	—	—	—	—	—	—	—	17.44	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	7.49	18.29	9.41	9.79	5.14	7.85	7.28	14.14	6.35	18.53	11.28	12.69	18.66	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
A-GEM2023.05	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	69.54	-11.87	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
A-GEM2023.05	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	77.26	-3.59	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
AdvPicker2023.05	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	53.76	73.69	41.24	56.23	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
AdvPicker2023.05	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	70.7	80.37	56.57	69.21	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
AT2022.05	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	77.76	—	—	—	—	83.89	—	84.1	81.08	83	85.13	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
BERT-f2023.05	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	42.3	67.6	52.9	54.27	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
ContProto2023.05	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	72.2	83.45	61.47	72.37	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
EWC2023.05	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	68.58	-16.83	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
EWC2023.05	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	76.78	-4.5	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
FT Priming -> AT2022.05	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	79.55	—	—	—	—	88.82	—	87.78	82.28	85.79	86.56	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Full FT2022.05	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	86.73	—	—	—	—	91.47	—	91.29	87.7	89.43	90.88	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
GMT+EasyProject2022.11	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	68.5	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
GMT+EasyProject2022.11	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	68.6	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
GMT+EasyProject2022.11	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	68.9	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
HT2022.05	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	72.71	—	—	—	—	78.9	—	79.11	74.24	78.34	81.23	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Meta Priming -> AT2022.05	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	81.25	—	—	—	—	88.97	—	88.23	83.29	86.3	87.18	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
MP [1 Inner Step] -> AT2022.05	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	80.23	—	—	—	—	88.49	—	86.46	80.35	84.43	86.14	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
MP [MAML Loop] -> AT2022.05	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	80.18	—	—	—	—	88.13	—	85.82	81.47	85.73	85.86	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
mT5_large2022.11	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	58.2	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
mT5_large2022.11	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	61.2	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
mT5_XL2022.11	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	65.1	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
mT5_XL2022.11	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	62.9	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
mT5XXL2023.05	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	66.2	77.8	56.8	66.93	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
MTMT2023.05	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	52.77	70.76	52.26	58.6	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
REPLAY2023.05	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	72.22	-10.75	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
REPLAY2023.05	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	78.05	-3.79	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
RIKD2023.05	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	54.46	74.42	37.48	55.45	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
TSL2023.05	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	50.91	72.48	31.14	51.51	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
VANILLA2023.05	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	67.77	-16.9	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
VANILLA2023.05	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	77.02	-4.19	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
XLM-R_large2022.11	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	63.3	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
XLM-R_large2022.11	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	64.3	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
XLM-RLarge2023.05	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	53	73	33.1	53.03	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—