Medical Report Generation on MIMIC-CXR (test)

0.415ROUGE-LEIR

Evaluation Results

Method
EIR2025.12	0.415	—	0.248	—	0.515	0.382	0.31	—	—	—	—	—	—	—	—	—	—
Nguyen2025.12	0.39	—	0.224	—	0.495	0.36	0.278	—	—	—	—	—	—	—	—	—	—
NeuroSymb-MRG (Ours)2026.03	0.362	—	0.175	0.225	0.487	0.332	0.234	—	—	—	—	—	—	—	—	—	—
Zhou et al. (2021)2024.06	0.335	—	—	0.19	—	—	—	—	—	—	—	—	—	—	—	—	—
GumbelTrans2025.12	0.318	—	0.146	—	0.415	0.272	0.193	—	—	—	—	—	—	—	—	—	—
AdpAtt2025.12	0.314	—	0.134	—	0.384	0.251	0.178	—	—	—	—	—	—	—	—	—	—
Hulu-Med-32B2025.10	0.3106	—	0.0486	0.2418	—	—	—	—	—	—	—	—	—	—	—	0.3218	0.5405
SA&T2025.12	0.31	—	0.128	—	0.37	0.24	0.17	—	—	—	—	—	—	—	—	—	—
MRG-LLM2026.03	0.296	—	0.129	0.163	0.416	0.267	0.182	—	—	—	—	—	—	—	—	—	—
MedGemma-1.5-4B-IT2025.10	0.2949	—	0.0325	0.2001	—	—	—	—	—	—	—	—	—	—	—	0.3062	0.5486
Lingshu-7B2025.10	0.2923	—	0.0218	0.1995	—	—	—	—	—	—	—	—	—	—	—	0.3039	0.5037
METransformer2024.10	0.291	0.362	0.124	0.152	0.386	0.25	0.169	—	—	—	—	—	—	—	—	—	—
BootstrappingLLM2024.10	0.291	—	0.128	0.175	0.402	0.262	0.18	—	—	—	—	—	—	—	—	—	—
MambaXray-VL-Large2024.10	0.289	0.241	0.133	0.167	0.422	0.268	0.184	—	—	—	—	—	—	—	—	—	—
CMM+RL2026.03	0.287	—	0.109	0.151	0.381	0.232	0.155	—	—	—	—	—	—	—	—	—	—
R2GenGPT2024.10	0.285	0.244	0.125	0.167	0.408	0.256	0.174	—	—	—	—	—	—	—	—	—	—
PPKED2023.03	0.284	0.237	0.106	0.149	—	—	—	—	—	—	—	—	—	—	—	—	—
MGSK2023.03	0.284	0.203	0.115	—	—	—	—	—	—	—	—	—	—	—	—	—	—
DCL2023.03	0.284	0.281	0.109	0.15	—	—	—	—	—	—	—	—	—	—	—	—	—
PPKED2024.10	0.284	0.237	0.106	0.149	0.36	0.224	0.149	—	—	—	—	—	—	—	—	—	—
DCL2024.10	0.284	0.281	0.109	0.15	—	—	—	—	—	—	—	—	—	—	—	—	—
R2Gen2025.12	0.284	—	0.103	—	0.353	0.218	0.145	—	—	—	—	—	—	—	—	—	—
PPKED2025.12	0.284	—	0.106	—	0.36	0.224	0.149	—	—	—	—	—	—	—	—	—	—
MGSK2025.12	0.284	—	0.115	—	0.363	0.228	0.156	—	—	—	—	—	—	—	—	—	—
PPKED2026.03	0.284	—	0.106	0.149	0.36	0.224	0.149	—	—	—	—	—	—	—	—	—	—
RAMT2026.03	0.284	—	0.113	0.153	0.362	0.229	0.157	—	—	—	—	—	—	—	—	—	—
CA2023.03	0.283	—	0.109	0.151	—	—	—	—	—	—	—	—	—	—	—	—	—
AlignTrans2024.10	0.283	—	0.112	0.158	0.378	0.235	0.156	—	—	—	—	—	—	—	—	—	—
MambaXray-VL-Base2024.10	0.283	0.206	0.129	0.162	0.42	0.264	0.18	—	—	—	—	—	—	—	—	—	—
CA2025.12	0.283	—	0.109	—	0.35	0.219	0.152	—	—	—	—	—	—	—	—	—	—
Contra.Attn.2026.03	0.283	—	0.109	0.151	0.35	0.219	0.152	—	—	—	—	—	—	—	—	—	—
Aligntransformer2026.03	0.283	—	0.112	0.158	0.378	0.235	0.156	—	—	—	—	—	—	—	—	—	—
MCGN2026.03	0.282	—	0.12	0.143	0.373	0.235	0.162	—	—	—	—	—	—	—	—	—	—
CMCL2023.03	0.281	—	0.097	0.133	—	—	—	—	—	—	—	—	—	—	—	—	—
CMCL2024.10	0.281	—	0.097	0.133	0.344	0.217	0.14	—	—	—	—	—	—	—	—	—	—
CMCL2026.03	0.281	—	0.097	0.133	0.344	0.217	0.14	—	—	—	—	—	—	—	—	—	—
R2GenGPT2026.03	0.28	—	0.123	0.149	0.387	0.248	0.17	—	—	—	—	—	—	—	—	—	—
Hulu-Med-7B2025.10	0.28	—	0.047	0.2241	—	—	—	—	—	—	—	—	—	—	—	0.2905	0.5382
XPRONET*2026.03	0.279	—	0.105	0.138	0.344	0.215	0.146	—	—	—	—	—	—	—	—	—	—
CMN2023.03	0.278	—	0.106	0.142	—	—	—	—	—	—	—	—	—	—	—	—	—
R2GenCMN2024.10	0.278	—	0.106	0.142	0.353	0.218	0.148	—	—	—	—	—	—	—	—	—	—
CMN2025.12	0.278	—	0.106	—	0.353	0.218	0.148	—	—	—	—	—	—	—	—	—	—
CMN2026.03	0.278	—	0.106	0.142	0.353	0.218	0.148	—	—	—	—	—	—	—	—	—	—
Lingshu-32B2025.10	0.2778	—	0.0183	0.1839	—	—	—	—	—	—	—	—	—	—	—	0.2894	0.5012
R2Gen2023.03	0.277	0.253	0.103	0.142	—	—	—	—	—	—	—	—	—	—	—	—	—
R2Gen2024.10	0.277	—	0.103	0.142	0.353	0.218	0.145	—	—	—	—	—	—	—	—	—	—
R2Gen2026.03	0.277	—	0.103	0.142	0.353	0.218	0.145	—	—	—	—	—	—	—	—	—	—
Clinical-BERT2024.10	0.275	0.151	0.106	0.144	0.383	0.23	0.151	—	—	—	—	—	—	—	—	—	—
UniMedVL2025.10	0.2727	—	0.0235	0.2193	—	—	—	—	—	—	—	—	—	—	—	0.2843	0.5138
Hulu-Med-14B2025.10	0.2726	—	0.0509	0.2304	—	—	—	—	—	—	—	—	—	—	—	0.2864	0.5295
M2TR2023.03	0.272	—	0.107	0.145	—	—	—	—	—	—	—	—	—	—	—	—	—
M2TR2025.12	0.272	—	0.107	—	0.378	0.232	0.154	—	—	—	—	—	—	—	—	—	—
M2Tr.Prog.2026.03	0.272	—	0.107	0.145	0.378	0.232	0.154	—	—	—	—	—	—	—	—	—	—
PromptMRG2024.10	0.268	—	0.112	0.157	0.398	—	—	—	—	—	—	—	—	—	—	—	—
PromptMRG2026.03	0.268	—	0.112	0.157	0.398	—	—	—	—	—	—	—	—	—	—	—	—
TopDown2023.03	0.267	0.073	0.092	0.129	—	—	—	—	—	—	—	—	—	—	—	—	—
Transformer2026.03	0.267	—	0.092	0.129	0.316	0.199	0.14	—	—	—	—	—	—	—	—	—	—
AdaAtt2026.03	0.267	—	0.094	0.128	0.314	0.198	0.132	—	—	—	—	—	—	—	—	—	—
Up-Down2026.03	0.267	—	0.092	0.128	0.317	0.195	0.13	—	—	—	—	—	—	—	—	—	—
Att2in2026.03	0.264	—	0.095	0.122	0.314	0.198	0.133	—	—	—	—	—	—	—	—	—	—
M2Transformer2026.03	0.264	—	0.101	0.134	0.332	0.21	0.142	—	—	—	—	—	—	—	—	—	—
MedDr-40B2025.10	0.2617	—	0.0184	0.1741	—	—	—	—	—	—	—	—	—	—	—	0.2757	0.4845
RadVLM2026.05	0.258	—	0.066	—	—	—	—	—	27.7	—	18.6	47.7	52.9	31.5	1.193	—	—
RadVLM + SAE Combined2026.05	0.258	—	0.07	—	—	—	—	—	28.8	—	21	50.3	53	33.2	1.159	—	—
Show-Tell2026.03	0.256	—	0.088	0.122	0.308	0.19	0.125	—	—	—	—	—	—	—	—	—	—
VLCI†2026.03	0.256	—	0.103	0.136	0.357	0.216	0.144	—	—	—	—	—	—	—	—	—	—
MedGemma-4B-IT2025.10	0.2556	—	0.0175	0.2021	—	—	—	—	—	—	—	—	—	—	—	0.2705	0.5229
Dragonfly-Med2024.06	0.252	0.509	—	0.236	—	—	—	—	—	—	—	—	—	—	—	—	—
MedRAT2026.03	0.251	—	0.086	—	0.365	—	—	—	—	—	—	—	—	—	—	—	—
LLaVA-Rad + SAE Combined2026.05	0.245	—	0.063	—	—	—	—	—	31.4	—	19.4	52.6	54	35.7	1.276	—	—
RATCHET2021.07	0.24	0.493	—	0.101	0.232	—	—	0.127	—	—	—	—	—	—	—	—	—
BiomedGPT2024.06	0.238	0.147	—	0.142	—	—	—	—	—	—	—	—	—	—	—	—	—
CheXOne + SAE Combined2026.05	0.236	—	0.051	—	—	—	—	—	24.9	—	20.2	38.7	54.6	29.2	1.237	—	—
MedGemma-27B-IT2025.10	0.2294	—	0.0147	0.2052	—	—	—	—	—	—	—	—	—	—	—	0.2413	0.5015
CheXOne2026.05	0.227	—	0.046	—	—	—	—	—	22.3	—	18.9	35.5	49.5	25	1.339	—	—
LLaVA-Rad2026.05	0.222	—	0.052	—	—	—	—	—	28.5	—	16.8	53.3	48.9	33.3	1.374	—	—
HuatuoGPT-V-34B2025.10	0.2194	—	0.0078	0.1933	—	—	—	—	—	—	—	—	—	—	—	0.2314	0.477
HuatuoGPT-V-7B2025.10	0.2184	—	0.0072	0.1926	—	—	—	—	—	—	—	—	—	—	—	0.2312	0.4769
Baseline2021.07	0.217	0.419	—	0.108	0.208	—	—	0.107	—	—	—	—	—	—	—	—	—
TGT2025.06	0.2157	—	0.0356	0.1488	0.3146	0.1742	0.0932	—	0.409	36.84	—	—	—	—	—	—	—
TGT2025.06	0.2151	—	0.051	0.145	0.2683	0.1437	0.0894	—	0.3969	42.11	—	—	—	—	—	—	—
HealthGPT-L142025.10	0.214	—	0.0051	0.18	—	—	—	—	—	—	—	—	—	—	—	0.2261	0.4647
HealthGPT-M32025.10	0.2137	—	0.0081	0.208	—	—	—	—	—	—	—	—	—	—	—	0.2264	0.4588
TGT2025.06	0.2111	—	0.0506	0.1399	0.262	0.1486	0.0809	—	0.3894	31.58	—	—	—	—	—	—	—
Show-o22025.10	0.2109	—	0.0066	0.1767	—	—	—	—	—	—	—	—	—	—	—	0.2254	0.4418
Janus-pro-7b2025.10	0.2069	—	0.0025	0.1521	—	—	—	—	—	—	—	—	—	—	—	0.218	0.4483
TieNet2021.07	0.2	0.411	—	0.069	0.19	—	—	0.084	—	—	—	—	—	—	—	—	—
Bagel2025.10	0.2	—	0.0056	0.1863	—	—	—	—	—	—	—	—	—	—	—	0.2119	0.4525
MedVLM-R1-2B2025.10	0.198	—	0.0016	0.1489	—	—	—	—	—	—	—	—	—	—	—	0.2111	0.4161
BioMediX2-8B2025.10	0.1959	—	0.0005	0.1251	—	—	—	—	—	—	—	—	—	—	—	0.2077	0.4432
HuatuoGPT-Vision2025.06	0.1829	—	0.0337	0.1389	0.2781	0.1481	0.0673	—	0.417	31.58	—	—	—	—	—	—	—
GPT-4o2025.06	0.1809	—	0.03	0.1224	0.2493	0.1126	0.0439	—	0.3698	21.05	—	—	—	—	—	—	—
QoQ-Med-VL-7B2025.10	0.163	—	0.0049	0.1771	—	—	—	—	—	—	—	—	—	—	—	0.1724	0.482
GPT-4o2025.06	0.1613	—	0.0105	0.0954	0.1953	0.0789	0.0142	—	0.2024	21.05	—	—	—	—	—	—	—
Qwen2.5-VL2025.06	0.1599	—	0.0177	0.1196	0.2295	0.101	0.0343	—	0.3628	21.05	—	—	—	—	—	—	—
HuatuoGPT-Vision2025.06	0.1564	—	0.0124	0.1047	0.2297	0.0751	0.0252	—	0.2931	26.32	—	—	—	—	—	—	—
LLaVA-Med-7B2025.10	0.1559	—	0.0001	0.0827	—	—	—	—	—	—	—	—	—	—	—	0.167	0.4206
Qwen2.5-VL2025.06	0.1517	—	0.011	0.1028	0.2106	0.0806	0.0162	—	0.2875	10.53	—	—	—	—	—	—	—
GMAI-VL2025.10	0.1415	—	0.0153	0.0838	—	—	—	—	—	—	—	—	—	—	—	0.145	0.5088
QoQ-Med-VL-32B2025.10	0.1369	—	0.0011	0.1396	—	—	—	—	—	—	—	—	—	—	—	0.1446	0.4111