Machine Translation on DomainMTBench

97.08XCOMET (Finance)Hy-MT2-30B-A3B

Evaluation results

Method
Hy-MT2-30B-A3B2026.05	97.08	94.14	89.15	92.04	96.22	94.63	95.16	94.08	96.63	93.79	97.54	94.23	95.04	93.73
Hy-MT2-7B2026.05	96.79	93.14	89.02	91.14	96.23	93.76	95.15	92.8	96.47	93.02	97.5	93.43	94.92	92.79
HY-MT1.5-7B2026.05	96.66	92.82	88.37	89.52	96.28	93.4	95.24	91.52	96.51	92.55	97.57	93.09	94.82	92.04
TranslateGemma-27B-IT2026.05	96.33	92.38	87.56	88.88	95.81	93.84	94.66	92.29	96	92.01	97.26	93.2	94.3	91.94
Gemini 3.1 Pro2026.05	96.3	94.73	88.48	93.25	95.64	95.44	94.94	95.23	96.16	94.58	97.24	95.11	94.5	94.64
GPT-5.52026.05	96.07	94.69	88.13	93.08	95.4	95.35	94.58	94.89	95.93	94.47	97.06	95.08	94.23	94.51
Gemma4-31B2026.05	96.07	94.32	87.66	92.13	95.37	94.89	94.15	94.27	95.89	93.8	97.12	94.55	94.07	93.9
Qwen3.6-35B-A3B2026.05	96.03	94.31	87.58	91.66	95.35	94.87	94.53	94.23	95.76	93.76	96.91	94.33	94.06	93.77
GPT-5.52026.05	95.93	94.56	88.26	92.48	95.37	95.24	94.49	94.78	95.83	94.31	97.01	94.81	94.2	94.28
Kimi K2.62026.05	95.91	94.31	87.81	92.51	95.34	94.96	94.42	94.37	95.68	93.96	96.86	94.36	94.04	94.01
Qwen3.5-397B-A17B2026.05	95.88	94.32	87.59	91.63	95.24	94.94	94.38	94.35	95.64	93.8	97.13	94.6	93.98	93.82
DeepSeek-V4-Pro2026.05	95.81	94.2	87.55	91.76	95.42	95.08	94.33	94.26	95.61	93.78	96.72	94.16	93.96	93.8
Gemma4-26B-A4B2026.05	95.78	94.3	87.44	91.81	95.19	94.83	94.11	94.13	95.5	93.68	96.92	94.29	93.84	93.76
GLM5.12026.05	95.77	94.55	87.72	92.54	95.08	95.21	94.4	94.87	95.6	94.29	96.82	94.86	93.92	94.3
DeepSeek-V4-Pro2026.05	95.76	94.47	87.65	92.22	95.33	95.21	94.4	94.71	95.55	94.02	96.96	94.77	93.96	94.13
Gemma4-31B2026.05	95.56	93.81	87.1	91.28	95.12	94.44	94.02	93.97	95.28	93.14	96.77	94.17	93.65	93.34
HY-MT1.5-1.8B2026.05	95.55	90.01	86.03	84.9	95.26	90.27	94.37	88.59	95.23	89.59	96.61	90.89	93.52	88.82
Qwen3.6-35B-A3B2026.05	95.52	93.53	87	90.13	94.88	94.26	94.13	93.55	95.29	93.27	96.57	93.57	93.59	92.96
Gemma4-26B-A4B2026.05	95.39	93.65	86.63	90.35	95.02	94.25	93.69	93.44	94.97	93.06	96.69	94.03	93.39	93.01
Hy-MT2-1.8B2026.05	95.36	91.69	86.63	88.89	94.97	92.1	93.97	91.25	95.01	91.18	96.42	92.46	93.41	91.08
GLM5.12026.05	95.31	94.06	86.84	91.76	94.95	94.85	93.96	94.18	95.22	93.71	96.54	94.38	93.49	93.72
Kimi K2.62026.05	95.3	93.74	87.3	91.07	94.95	94.42	93.98	93.68	95.18	93.43	96.66	93.75	93.58	93.27
Tower-Plus-72B2026.05	95.23	93.6	86.54	90.8	95.04	94.35	93.91	93.62	95.41	93.29	96.53	93.83	93.46	93.14
Qwen3.5-397B-A17B2026.05	94.21	92.76	86.11	91.01	93.12	92.86	92.34	92.41	94.11	92.48	94.07	91.85	92.1	92.2
Gemma4-E4B2026.05	93.66	91.6	83.79	87.03	93.61	92.19	92.27	91.02	93.1	90.43	95.19	91.86	91.57	90.53
Gemma4-E4B2026.05	93.45	91.42	83.46	86.46	93.51	92.1	91.95	90.4	93.13	90.48	95.13	91.52	91.41	90.27
Doubao-Translator2026.05	93.39	91.8	83.18	87.56	91.63	90.53	91.78	89.64	93.77	91.97	94.69	91.38	91.02	90.36
Gemma4-E2B2026.05	92.77	91.25	82.69	86.77	93.12	91.67	91.94	90.56	92.41	89.77	94.94	91.25	90.9	90.05
Microsoft-Translator2026.05	92.51	90.34	81.76	85.17	92.47	90.64	91.19	87.96	92.77	90.25	94.96	90.88	90.49	89.01
Gemma4-E2B2026.05	92.07	89.59	81.52	84.51	92.53	89.73	91.03	88.26	91.61	87.82	94.3	90.45	90.09	88.11