Metrics correlation with human judgment on WebNLG challenge 2017 benchmark leaderboard · SOTA2 Research

Metrics correlation with human judgment on WebNLG challenge 2017

0.9Spearman Correlation (rho)MoverScore

Evaluation Results

Method	Links
MoverScore2022.03		0.9	0.78	0.73
METEOR2022.03		0.87	0.9	0.72
RoMe2022.03		0.84	0.89	0.83
BERTScore2022.03		0.81	0.76	0.7
BLEU2022.03		0.73	0.8	0.62
RoMe2022.03		0.72	0.7	0.51
MoverScore2022.03		0.68	0.73	0.49
RoMe2022.03		0.64	0.68	0.5
MoverScore2022.03		0.62	0.5	0.35
BERTScore2022.03		0.61	0.72	0.5
MoverScore2022.03		0.59	0.61	0.43
RoMe2022.03		0.58	0.56	0.39
METEOR2022.03		0.57	0.58	0.41
MoverScore2022.03		0.57	0.56	0.39
BERTScore2022.03		0.53	0.48	0.33
RoMe2022.03		0.53	0.53	0.37
METEOR2022.03		0.52	0.43	0.3
RoMe2022.03		0.5	0.51	0.36
METEOR2022.03		0.49	0.49	0.33
BERTScore2022.03		0.49	0.5	0.35
MoverScore2022.03		0.49	0.5	0.36
BERTScore2022.03		0.48	0.53	0.38
METEOR2022.03		0.47	0.47	0.31
RoMe2022.03		0.44	0.5	0.35
RoMe2022.03		0.42	0.42	0.3
MoverScore2022.03		0.4	0.39	0.28
MoverScore2022.03		0.4	0.38	0.27
BLEU2022.03		0.38	0.39	0.27
BLEU2022.03		0.38	0.41	0.3
BERTScore2022.03		0.38	0.39	0.3
RoMe2022.03		0.38	0.42	0.27
BLEU2022.03		0.37	0.38	0.28
BLEU2022.03		0.35	0.42	0.26
METEOR2022.03		0.35	0.35	0.24
BERTScore2022.03		0.33	0.33	0.26
BERTScore2022.03		0.33	0.3	0.25
BLEU2022.03		0.32	0.31	0.21
MoverScore2022.03		0.27	0.27	0.18
METEOR2022.03		0.26	0.26	0.18
BERTScore2022.03		0.26	0.25	0.19
BLEU2022.03		0.25	0.2	0.13
BLEU2022.03		0.25	0.2	0.13
METEOR2022.03		0.21	0.19	0.13
BLEU2022.03		0.14	0.13	0.08
METEOR2022.03		0.13	0.11	0.08