Audio Captioning on Clotho 2.1 (test)

0.199SPICELoRA-MCL (annealed)

Evaluation Results

Method
LoRA-MCL (annealed)2025.07	0.199	—	0.443	0.689	—	—	0.168	0.246	0.477	0.584	0.478	0.6	0.711
LoRA-MCL (annealed)2025.07	0.196	—	0.435	0.687	—	—	0.158	0.245	0.472	0.595	0.456	0.599	0.698
LoRA-MCL (ε = 0.0005)2025.07	0.196	—	0.436	0.687	—	—	0.156	0.244	0.476	0.581	0.488	0.599	0.7
LoRA-MCL (ε = 0.05)2025.07	0.196	—	0.434	0.689	—	—	0.162	0.249	0.48	0.581	0.478	0.599	0.697
LoRA-MoE2025.07	0.195	—	0.422	0.682	—	—	0.147	0.241	0.467	0.63	0.41	0.6	0.675
LoRA-MLE (r = 40)2025.07	0.194	—	0.414	0.677	—	—	0.14	0.239	0.463	0.613	0.44	0.599	0.659
LoRA-MLE (r = 8)2025.07	0.194	—	0.425	0.685	—	—	0.148	0.242	0.47	0.625	0.417	0.602	0.681
LoRA-MLE (r = 8)2025.07	0.194	—	0.43	0.681	—	—	0.156	0.243	0.47	0.516	0.593	0.591	0.685
LoRA-MoE2025.07	0.194	—	0.418	0.682	—	—	0.143	0.241	0.468	0.611	0.441	0.599	0.668
LoRA-MLE (r = 8)2025.07	0.193	—	0.423	0.686	—	—	0.147	0.241	0.471	0.605	0.446	0.601	0.678
LoRA-MLE (r = 40)2025.07	0.193	—	0.414	0.678	—	—	0.142	0.239	0.463	0.634	0.407	0.6	0.66
LoRA-MCL (ε = 0.05)2025.07	0.193	—	0.431	0.692	—	—	0.16	0.247	0.481	0.593	0.452	0.599	0.694
LoRA-MLE (r = 8)2025.07	0.192	—	0.417	0.671	—	—	0.143	0.238	0.456	0.491	0.708	0.595	0.662
LoRA-MoE2025.07	0.192	—	0.416	0.67	—	—	0.142	0.238	0.459	0.49	0.706	0.593	0.662
LoRA-MCL (ε = 0.0005)2025.07	0.192	—	0.428	0.688	—	—	0.154	0.242	0.472	0.591	0.461	0.598	0.688
LoRA-MLE (r = 8)2025.07	0.191	—	0.414	0.67	—	—	0.143	0.238	0.46	0.487	0.712	0.594	0.656
LoRA-MoE2025.07	0.191	—	0.41	0.668	—	—	0.138	0.237	0.456	0.494	0.705	0.592	0.65
LoRA-MCL (ε = 0.05)2025.07	0.19	—	0.414	0.68	—	—	0.13	0.239	0.463	0.617	0.415	0.601	0.662
LoRA-MCL (annealed)2025.07	0.189	—	0.415	0.673	—	—	0.131	0.237	0.458	0.621	0.415	0.599	0.665
LoRA-MLE (r = 40)2025.07	0.188	—	0.397	0.659	—	—	0.131	0.234	0.444	0.501	0.696	0.591	0.629
LoRA-MLE (r = 40)2025.07	0.187	—	0.401	0.661	—	—	0.132	0.235	0.448	0.499	0.694	0.59	0.634
LoRA-MCL (ε = 0.0005)2025.07	0.187	—	0.408	0.675	—	—	0.135	0.233	0.458	0.605	0.44	0.597	0.654
LoRA-MLE (r = 8)2025.07	0.186	—	0.407	0.675	—	—	0.148	0.236	0.463	0.619	0.445	0.586	0.648
LoRA-MoE2025.07	0.184	—	0.411	0.657	—	—	0.144	0.239	0.457	0.41	0.755	0.579	0.653
LoRA-MLE (r = 8)2025.07	0.182	—	0.407	0.658	—	—	0.144	0.236	0.455	0.405	0.759	0.579	0.648
LoRA-MLE (r = 8)2025.07	0.181	—	0.406	0.661	—	—	0.142	0.236	0.453	0.391	0.783	0.578	0.646
LoRA-MLE (r = 40)2025.07	0.181	—	0.395	0.648	—	—	0.131	0.234	0.447	0.415	0.746	0.578	0.625
LoRA-MLE (r = 8)2025.07	0.181	—	0.402	0.655	—	—	0.137	0.232	0.452	0.412	0.745	0.58	0.637
LoRA-MoE2025.07	0.181	—	0.405	0.659	—	—	0.137	0.236	0.452	0.395	0.783	0.579	0.643
LoRA-MLE (r = 8)2025.07	0.179	—	0.397	0.663	—	—	0.13	0.23	0.453	0.54	0.558	0.588	0.634
LoRA-MLE (r = 40)2025.07	0.177	—	0.388	0.647	—	—	0.127	0.232	0.445	0.397	0.777	0.573	0.615
LoRA-MLE (r = 8)2025.07	0.176	—	0.394	0.653	—	—	0.135	0.228	0.444	0.368	0.818	0.575	0.626
LoRA-MoE2025.07	0.176	—	0.392	0.653	—	—	0.133	0.23	0.447	0.37	0.816	0.573	0.623
LoRA-MoE2025.07	0.176	—	0.391	0.652	—	—	0.133	0.23	0.446	0.369	0.816	0.573	0.622
LoRA-MLE (r = 8)2025.07	0.174	—	0.394	0.656	—	—	0.137	0.228	0.445	0.365	0.822	0.575	0.626
LoRA-MLE (r = 40)2025.07	0.174	—	0.377	0.644	—	—	0.115	0.226	0.435	0.374	0.811	0.571	0.594
LoRA-MLE (r = 8)2025.07	0.174	—	0.392	0.652	—	—	0.134	0.228	0.443	0.368	0.818	0.574	0.622
LoRA-MLE (r = 40)2025.07	0.174	—	0.376	0.643	—	—	0.115	0.226	0.435	0.372	0.812	0.571	0.592
LoRA-MLE (r = 8)2025.07	0.174	—	0.383	0.652	—	—	0.114	0.225	0.44	0.443	0.699	0.581	0.608
LoRA-MLE (r = 8)2025.07	0.174	—	0.376	0.653	—	—	0.118	0.225	0.441	0.642	0.404	0.581	0.596
LoRA-MoE2025.07	0.173	—	0.387	0.65	—	—	0.131	0.228	0.443	0.363	0.823	0.571	0.614
LoRA-MLE (r = 40)2025.07	0.172	—	0.376	0.643	—	—	0.115	0.226	0.435	0.367	0.818	0.57	0.595
LoRA-MoE2025.07	0.163	—	0.364	0.629	—	—	0.116	0.217	0.427	0.317	0.868	0.564	0.576
LoRA-MoE2025.07	0.162	—	0.357	0.62	—	—	0.109	0.217	0.424	0.309	0.88	0.562	0.561
LoRA-MoE2025.07	0.153	—	0.33	0.604	—	—	0.09	0.203	0.406	0.308	0.878	0.554	0.515
MQ-Cap2024.10	0.143	0.496	0.319	—	—	—	—	—	—	—	—	—	—
QWen-Audio2024.10	0.136	0.441	0.288	—	—	—	—	—	—	—	—	—	—
WavCaps2024.10	0.133	0.462	0.297	—	—	—	—	—	—	—	—	—	—
EnCLAP2024.10	0.133	0.464	0.299	—	—	—	—	—	—	—	—	—	—
DRCAP2024.10	0.133	0.438	0.285	—	—	—	—	—	—	—	—	—	—
SALMONN2024.10	0.132	0.408	0.271	—	—	—	—	—	—	—	—	—	—
Pengi2024.10	0.126	0.416	0.271	—	—	—	—	—	—	—	—	—	—
RECAP2023.09	0.125	0.411	0.224	0.582	0.384	0.257	0.166	0.177	0.395	—	—	—	—
RECAP2023.09	0.122	0.398	0.214	0.563	0.381	0.257	0.165	0.179	0.383	—	—	—	—
Kim et al.2023.09	0.118	0.392	0.255	0.56	0.376	0.253	0.16	0.17	0.378	—	—	—	—
RECAP2024.10	0.116	0.323	0.221	—	—	—	—	—	—	—	—	—	—
RECAP2023.09	0.116	0.322	0.222	0.547	0.361	0.238	0.149	0.167	0.379	—	—	—	—
RECAP2023.09	0.116	0.323	0.221	0.549	0.36	0.238	0.15	0.166	0.381	—	—	—	—
Xu et al.2023.09	0.115	0.377	0.246	0.556	0.363	0.242	0.159	0.169	0.368	—	—	—	—
AAC-prefix2024.10	0.111	0.319	0.215	—	—	—	—	—	—	—	—	—	—
Koh et al.2023.09	0.111	0.38	0.246	0.551	0.369	0.252	0.168	0.165	0.373	—	—	—	—
Kim et al.2023.09	0.111	0.319	0.215	0.539	0.346	0.227	0.142	0.159	0.366	—	—	—	—
Chen et al.2023.09	0.108	0.346	0.227	0.534	0.343	0.23	0.151	0.16	0.356	—	—	—	—
Mei et al.2023.09	0.105	0.32	0.213	0.527	0.327	0.211	0.131	0.158	0.356	—	—	—	—
Mei et al.2023.09	0.105	0.313	0.209	0.516	0.318	0.204	0.127	0.157	0.351	—	—	—	—
Chen et al.2023.09	0.102	0.314	0.208	0.516	0.325	0.215	0.141	0.153	0.35	—	—	—	—
RECAP2023.09	0.094	0.331	0.209	0.519	0.355	0.216	0.149	0.157	0.324	—	—	—	—
Gontier et al.2023.09	0.092	0.278	0.185	0.506	0.318	0.21	0.134	0.148	0.338	—	—	—	—
RECAP2023.09	0.088	0.332	0.201	0.515	0.349	0.21	0.143	0.155	0.328	—	—	—	—
RECAP2023.09	0.084	0.195	0.137	0.339	0.193	0.109	0.068	0.11	0.276	—	—	—	—
Gontier et al.2023.09	0.083	0.251	0.167	0.461	0.282	0.182	0.117	0.136	0.318	—	—	—	—
Kim et al.2023.09	0.074	0.192	0.133	0.342	0.195	0.115	0.065	0.112	0.276	—	—	—	—
Mei et al.2023.09	0.05	0.117	0.084	0.294	0.146	0.08	0.043	0.096	0.239	—	—	—	—
Gontier et al.2023.09	0.046	0.112	0.079	0.309	0.146	0.071	0.034	0.098	0.233	—	—	—	—
Chen et al.2023.09	0.042	0.109	0.076	0.226	0.114	0.065	0.039	0.086	0.228	—	—	—	—
Audio-Flamingo2024.10	—	0.465	—	—	—	—	—	—	—	—	—	—	—