Code Summarization Factual Consistency on Java benchmark leaderboard · SOTA2 Research

Code Summarization Factual Consistency on Java

0.515Pearson (rp)ReFEree

Evaluation Results

Method	Links
ReFEree2026.04		0.515	0.502	0.423	0.48
ReFEree2026.04		0.469	0.458	0.387	0.438
G-Eval2026.04		0.457	0.407	0.355	0.406
CODERPE2026.04		0.457	0.398	0.347	0.401
Factscore2026.04		0.391	0.365	0.31	0.355
LLM-judge2026.04		0.385	0.363	0.318	0.355
SBCS2026.04		0.363	0.227	0.178	0.256
ROUGE-L2026.04		0.202	0.178	0.137	0.172
ROUGE-12026.04		0.201	0.186	0.14	0.176
ROUGE-22026.04		0.194	0.176	0.137	0.169
BERTScore2026.04		0.189	0.149	0.113	0.15
METEOR2026.04		0.135	0.139	0.105	0.126
BLEU2026.04		0.081	0.065	0.058	0.068
SIDE2026.04		0.032	0.024	0.019	0.025
SBED2026.04		-0.348	-0.227	-0.178	-0.251