Summarization Meta-evaluation on SummEval (test) benchmark leaderboard · SOTA2 Research

Summarization Meta-evaluation on SummEval (test)

0.668Coherence (Pearson r)HD-EVAL-NN

Evaluation Results

Method	Links
HD-EVAL-NN2024.02		0.668	0.657	0.604	0.451	0.58	0.435	0.619	0.599	0.617	0.535
HD-EVAL-NN2024.02		0.655	0.644	0.573	0.457	0.562	0.437	0.601	0.577	0.598	0.529
GPT-4 EVAL2024.02		0.547	0.542	0.507	0.458	0.479	0.46	0.609	0.592	0.538	0.513
UNIEVAL2024.02		0.545	0.588	0.602	0.439	0.601	0.46	0.464	0.478	0.553	0.491
BARTSCORE2024.02		0.423	0.403	0.35	0.317	0.303	0.25	0.415	0.386	0.373	0.339
BERTSCORE2024.02		0.302	0.285	0.093	0.071	0.174	0.119	0.389	0.372	0.239	0.212
CTC2024.02		0.22	0.181	0.531	0.407	0.494	0.305	0.259	0.127	0.376	0.255
PRISM2024.02		0.188	0.184	0.067	0.039	0.074	0.053	0.29	0.29	0.154	0.141
ROUGE-12024.02		0.178	0.168	0.037	0.028	0.045	0.009	0.288	0.291	0.137	0.124
ROUGE-22024.02		0.143	0.152	0.025	0.011	0.029	-0.006	0.209	0.24	0.101	0.099
ROUGE-L2024.02		0.141	0.134	0.026	0.015	0.052	0.022	0.262	0.264	0.12	0.109