Natural Language Generation on Merlin benchmark leaderboard · SOTA2 Research

Natural Language Generation on Merlin

0.3898BLEU-1Astra

Evaluation Results

Method	Links
Astra2026.05		0.3898	0.2844	0.2185	0.1759	0.3928	0.2065
R2GenGPT2026.05		0.3525	0.259	0.2007	0.1624	0.3698	0.1857
HuluMed2026.05		0.3453	0.2297	0.1628	0.1241	0.2555	0.1593
HuluMed2026.05		0.2971	0.1816	0.1196	0.0859	0.241	0.1708
HuluMed2026.05		0.2876	0.2111	0.166	0.137	0.3084	0.1587
Lingshu2026.05		0.2749	0.2004	0.1595	0.1336	0.301	0.1502
Qwen3-VL2026.05		0.2719	0.1992	0.1591	0.1339	0.31	0.1504
LLaVA2026.05		0.2607	0.2012	0.163	0.1371	0.3899	0.1792
M3D2026.05		0.2537	0.1869	0.1479	0.1229	0.3026	0.1514
MedGemma2026.05		0.1764	0.1368	0.112	0.0948	0.33	0.1484
MedGemma2026.05		0.1688	0.1328	0.109	0.0923	0.335	0.1517
Gemini-32026.05		0.1673	0.1313	0.1085	0.0929	0.3478	0.1526
RadFM2026.05		0.1306	0.1059	0.0894	0.0776	0.3311	0.1434
Lingshu2026.05		0.1236	0.0999	0.0841	0.0729	0.3377	0.1438