Contextual Machine Translation on anaphora benchmark benchmark leaderboard · SOTA2 Research

Contextual Machine Translation on anaphora benchmark

0.54BLEUgpt-4o

Evaluation Results

Method	Links
gpt-4o2025.10		0.54	0.71	0.92	0.91
gpt-42025.10		0.53	0.71	0.93	0.92
gpt-42025.10		0.49	0.7	0.92	0.92
gpt-4o2025.10		0.49	0.7	0.92	0.91
gpt-4-turbo2025.10		0.49	0.67	0.9	0.9
gpt-3.5-turbo2025.10		0.49	0.68	0.91	0.9
Phi-42025.10		0.49	0.68	0.92	0.91
Llama 3.32025.10		0.47	0.67	0.91	0.9
gpt-4-turbo2025.10		0.45	0.67	0.92	0.91
gpt-3.5-turbo2025.10		0.44	0.66	0.91	0.91
Llama 3.32025.10		0.44	0.66	0.92	0.9
Phi-42025.10		0.43	0.64	0.91	0.88
DeepSeek-R1 32B2025.10		0.39	0.59	0.84	0.84
nllb-2002025.10		0.37	0.6	0.9	0.87
DeepSeek-R1 32B2025.10		0.35	0.59	0.89	0.87
Llama 3.12025.10		0.34	0.58	0.89	0.86
DeepSeek-R1 14B2025.10		0.34	0.58	0.89	0.86
DeepSeek-R1 14B2025.10		0.33	0.53	0.79	0.79
Llama 3.12025.10		0.3	0.54	0.87	0.85
Mistral2025.10		0.27	0.51	0.86	0.82
Mistral2025.10		0.27	0.5	0.85	0.8
Llama 3.22025.10		0.27	0.51	0.87	0.82
DeepSeek-R1 8B2025.10		0.24	0.5	0.86	0.8
Llama 3.22025.10		0.23	0.47	0.83	0.76
DeepSeek-R1 8B2025.10		0.21	0.45	0.77	0.77