Human Correlation Evaluation on Topical-Chat

0.699Naturalness Pearson (r)DEBATE

Evaluation results

Method
DEBATE2024.05	0.699	0.683	0.735	0.727	0.761	0.705	0.745	0.8	0.735	0.729
HD-EVAL-NN2024.02	0.648	0.674	0.584	0.607	0.682	0.701	0.549	0.568	0.616	0.638
HD-EVAL-NN2024.02	0.647	0.672	0.588	0.613	0.682	0.702	0.471	0.498	0.597	0.621
G-Eval2024.05	0.632	0.609	0.614	0.619	0.547	0.579	0.67	0.684	0.616	0.623
ChatEval2024.05	0.62	0.604	0.657	0.641	0.687	0.676	0.737	0.692	0.675	0.653
MultiAgent2024.05	0.59	0.57	0.665	0.667	0.709	0.729	0.659	0.63	0.656	0.649
GPT-4 EVAL2024.02	0.584	0.607	0.562	0.59	0.594	0.605	0.53	0.556	0.567	0.59
DEBATE2024.05	0.502	0.469	0.485	0.43	0.556	0.48	0.452	0.428	0.499	0.452
UniEval2024.05	0.455	0.33	0.602	0.455	0.573	0.43	0.577	0.453	0.552	0.417
DEBATE2024.05	0.402	0.412	0.191	0.113	0.541	0.516	0.663	0.631	0.45	0.418
GPTScore2024.05	0.353	0.289	0.279	0.223	0.472	0.451	0.362	0.417	0.367	0.345
G-Eval2024.05	0.348	0.362	0.51	0.5	0.355	0.361	0.385	0.353	0.399	0.394
UNIEVAL2024.02	0.342	0.45	0.571	0.616	0.573	0.615	0.523	0.59	0.502	0.568
BARTScore2024.05	0.287	0.266	0.251	0.225	0.411	0.406	0.226	0.205	0.293	0.276
G-Eval2024.05	0.266	0.235	-0.015	0.006	0.508	0.438	0.651	0.616	0.353	0.324
MultiAgent2024.05	0.237	0.231	0.295	0.302	0.54	0.523	0.398	0.397	0.368	0.363
CTC2024.02	0.232	0.195	0.343	0.296	0.54	0.542	0.422	0.398	0.384	0.358
BERTSCORE2024.02	0.226	0.209	0.214	0.233	0.317	0.335	0.291	0.317	0.262	0.273
BERTScore2024.05	0.226	0.208	0.214	0.233	0.317	0.335	0.291	0.317	0.262	0.273
ROUGE-L2024.05	0.176	0.146	0.193	0.203	0.295	0.3	0.31	0.327	0.243	0.244
ROUGE-22024.02	0.175	0.168	0.186	0.247	0.281	0.337	0.26	0.311	0.225	0.266
ROUGE-L2024.02	0.172	0.145	0.198	0.205	0.299	0.306	0.286	0.293	0.239	0.237
MoverScore2024.05	0.169	0.17	0.247	0.259	0.275	0.269	0.198	0.147	0.222	0.238
ROUGE-12024.02	0.158	0.143	0.205	0.206	0.305	0.319	0.264	0.264	0.233	0.233
PRISM2024.02	0.04	-0.01	0.098	0.081	0.241	0.22	0.178	0.159	0.139	0.113
BARTSCORE2024.02	-0.072	-0.053	-0.107	-0.079	-0.105	-0.084	-0.217	-0.197	-0.125	-0.103