Machine Translation on WMT 24++ (Language Pair Metrics)

10Standard Deviation of ScoreTiny Aya Fire

Updated 4mo ago

Evaluation Results

Method
Tiny Aya Fire2026.03	10	31	36	56	39	55	48	58	54	54	62	47	48	50	53	61	57	46	49	36	52	44	59	29	59	25	42	26	42	49	33	39	56	59	48	44	60	56	59	46	46	50	45	59	42	47	40	41	29	51	50	48	54	29	22	30	46	—
Tiny Aya Global2026.03	10	31	35	56	37	56	47	59	52	54	62	48	47	49	56	61	56	45	48	36	51	42	58	28	58	25	41	29	44	48	33	39	55	58	46	42	60	56	58	46	45	51	32	57	46	48	40	40	31	50	49	46	53	27	23	38	46	—
Tiny Aya Global2026.03	10.4	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	46
Tiny Aya Earth2026.03	11	30	34	56	29	57	48	60	51	54	62	50	47	52	51	61	56	46	48	35	52	43	57	26	57	23	40	22	44	49	33	41	56	59	46	45	60	56	58	46	46	51	34	59	50	52	37	40	26	50	50	48	53	26	20	40	46	—
Tiny Aya Water2026.03	11	30	34	56	25	56	48	58	52	54	62	49	47	51	55	61	57	46	49	35	51	44	59	28	57	26	41	28	44	49	32	39	56	59	42	43	60	56	58	46	45	51	36	57	47	47	34	39	34	51	49	47	53	28	23	24	46	—
TranslateGemma 4B2026.03	12	35	39	56	42	57	48	60	55	53	62	47	47	54	57	62	59	45	46	38	50	45	60	35	59	30	47	30	43	45	40	42	56	61	2	46	60	57	55	49	45	47	42	59	46	47	48	46	46	51	50	41	50	33	18	4	46	—
Gemma3-4B2026.03	13	30	34	54	35	54	44	58	53	52	62	37	43	51	54	62	57	38	41	36	47	33	58	26	59	26	20	28	36	40	10	38	54	61	27	43	59	56	56	47	42	43	23	57	33	36	40	40	38	47	48	33	50	27	20	9	42	—
Gemma3-4B2026.03	13.2	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	41.9
Qwen3.5-4B2026.03	14	29	31	49	31	57	43	54	53	49	62	35	44	46	46	62	57	28	39	32	49	43	57	28	58	27	32	29	38	39	27	28	54	55	27	43	59	56	54	45	41	45	5	55	12	12	30	29	39	47	46	34	51	31	24	6	40	—
Qwen3.5-4B2026.03	14	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	40.1
Ministral-3-3B2026.03	15	21	24	41	24	48	40	52	49	39	56	20	37	41	22	56	52	16	23	28	39	31	51	15	53	19	18	20	22	16	12	15	48	53	20	40	54	50	47	42	28	28	31	50	2	2	16	16	29	36	42	19	43	21	17	1	32	—
Ministral-3-3B2026.03	15.3	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	31.5
Qwen3-4B2026.03	16	27	30	44	27	49	37	49	51	40	59	11	35	32	38	59	55	20	30	30	37	35	54	7	54	27	13	26	23	24	16	16	50	51	9	37	58	54	49	42	30	29	22	50	2	2	16	15	36	40	39	21	48	30	24	1	33	—
Qwen3-4B2026.03	16	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	32.9
SmolLM3-3B2026.03	17.7	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	18.4
SmolLM3-3B2026.03	18	24	28	14	2	29	13	24	49	35	60	2	11	5	7	57	55	2	7	24	9	3	31	3	54	21	2	15	2	2	2	2	28	28	2	17	57	51	18	42	7	5	2	29	1	1	3	2	21	9	21	2	33	24	16	1	18	—