Summarization Evaluation on SummEval 1.0 (test) benchmark leaderboard · SOTA2 Research

Summarization Evaluation on SummEval 1.0 (test)

0.5944Coherence (Spearman rho)UMSE(Fusion)

Evaluation Results

Method	Links
UMSE(Fusion)2023.05		0.5944	0.4515	0.3381	0.2813	0.3316	0.2731	0.4358	0.3282
UMSE2023.05		0.584	0.4443	0.2494	0.2055	0.2601	0.2132	0.4217	0.3189
UMSE(Fusion)-PT2023.05		0.5757	0.4397	0.3338	0.2751	0.3206	0.2638	0.4375	0.3291
UMSE-PT2023.05		0.5607	0.4246	0.2664	0.2193	0.2552	0.2079	0.4228	0.3155
UMSE2023.05		0.5298	0.4052	0.3579	0.2961	0.3163	0.2617	0.4039	0.306
UMSE-PT2023.05		0.5007	0.381	0.3505	0.2905	0.3079	0.2533	0.4276	0.322
UniEval2023.05		0.495	0.374	0.435	0.365	0.419	0.346	0.424	0.327
UMSE2023.05		0.4704	0.3532	0.3413	0.2817	0.3006	0.2451	0.3894	0.2929
BARTScore2023.05		0.448	0.342	0.382	0.315	0.356	0.292	0.356	0.273
CTC2023.05		0.402	0.31	0.366	0.301	0.299	0.245	0.428	0.336
BERTScore2023.05		0.284	0.211	0.11	0.09	0.193	0.158	0.312	0.243
SUPERT2023.05		0.2165	0.1716	0.3438	0.2863	0.2509	0.2024	0.2746	0.2132
UniTE2023.05		0.1885	0.1453	0.1244	0.1017	0.1076	0.0886	0.2874	0.2232
ROUGE-22023.05		0.184	0.139	0.187	0.155	0.159	0.128	0.29	0.219
UniTE2023.05		0.1792	0.1362	0.0557	0.0474	0.0761	0.0614	0.2255	0.1716
UniTE2023.05		0.1703	0.1327	0.116	0.0956	0.0871	0.0703	0.2738	0.2084
ROUGE-12023.05		0.167	0.126	0.16	0.13	0.159	0.094	0.326	0.252
MOVERScore2023.05		0.157	0.118	0.157	0.127	0.129	0.105	0.318	0.244
ROUGE-L2023.05		0.128	0.099	0.115	0.092	0.105	0.084	0.311	0.237
SummaQA2023.05		0.1239	0.0963	0.254	0.2102	0.1782	0.1457	0.212	0.1628
BLANC2023.05		0.1219	0.0951	0.2768	0.2307	0.1727	0.1436	0.2574	0.1983