Code Correctness Prediction on MultiPL-E Java
0.075ECEMin. Tok. Neg.
Evaluation Results
| Method | Links | |
|---|---|---|
| Min. Tok. Neg.Model=Gem-Fl-Lt2026.05 | 0.075 | |
| CodeBLEUModel=GPT4o2026.05 | 0.084 | |
| CodeBLEUModel=Gem-Pro2026.05 | 0.086 | |
| CodeBLEUModel=Gem-Fl2026.05 | 0.089 | |
| Min. Tok. Neg.Model=GPT4o2026.05 | 0.099 | |
| Min. Tok. Neg.Model=GPT4o-m2026.05 | 0.105 | |
| Min. Tok. Neg.Model=Gem-Fl2026.05 | 0.123 | |
| CodeBLEUModel=GPT4o-m2026.05 | 0.149 | |
| Func. Neg.Model=GPT4o2026.05 | 0.155 | |
| Min. Tok. Neg.Model=Gem-Pro2026.05 | 0.164 | |
| Func. Neg.Model=Gem-Fl2026.05 | 0.189 | |
| Func. Neg.Model=GPT4o-m2026.05 | 0.197 | |
| Func. Equiv. RateModel=GPT4o2026.05 | 0.198 | |
| Func. Neg.Model=Gem-Pro2026.05 | 0.206 | |
| CodeBLEUModel=Gem-Fl-Lt2026.05 | 0.209 | |
| Min. Prob.Model=Gem-Fl-Lt2026.05 | 0.211 | |
| Func. Equiv. RateModel=Gem-Pro2026.05 | 0.212 | |
| Verb. Conf.Model=GPT4o-m2026.05 | 0.22 | |
| Func. Equiv. RateModel=GPT4o-m2026.05 | 0.221 | |
| Func. Equiv. RateModel=Gem-Fl-Lt2026.05 | 0.222 | |
| Func. Neg.Model=Gem-Fl-Lt2026.05 | 0.223 | |
| Func. SetsModel=GPT4o2026.05 | 0.229 | |
| Func. Equiv. RateModel=Gem-Fl2026.05 | 0.241 | |
| Min. Prob.Model=Gem-Fl2026.05 | 0.244 | |
| Min. Prob.Model=Gem-Pro2026.05 | 0.249 | |
| Func. SetsModel=GPT4o-m2026.05 | 0.262 | |
| Min. Prob.Model=GPT4o-m2026.05 | 0.289 | |
| Func. SetsModel=Gem-Fl2026.05 | 0.294 | |
| Func. SetsModel=Gem-Pro2026.05 | 0.297 | |
| Min. Prob.Model=GPT4o2026.05 | 0.3 | |
| Func. SetsModel=Gem-Fl-Lt2026.05 | 0.308 | |
| P(True)Model=GPT4o2026.05 | 0.324 | |
| Verb. Conf.Model=GPT4o2026.05 | 0.342 | |
| P(True)Model=GPT4o-m2026.05 | 0.35 | |
| Seq. Prob.Model=GPT4o2026.05 | 0.359 | |
| Seq. Prob.Model=GPT4o-m2026.05 | 0.374 | |
| Prob. MarginModel=GPT4o2026.05 | 0.375 | |
| Verb. Conf.Model=Gem-Fl2026.05 | 0.375 | |
| Prob. MarginModel=GPT4o-m2026.05 | 0.386 | |
| Cos. Sim.Model=GPT4o2026.05 | 0.394 | |
| Avg. Tok. Neg.Model=GPT4o2026.05 | 0.4 | |
| Avg. Tok. Neg.Model=GPT4o-m2026.05 | 0.413 | |
| Cos. Sim.Model=GPT4o-m2026.05 | 0.414 | |
| P(True)Model=Gem-Fl-Lt2026.05 | 0.416 | |
| Cos. Sim.Model=Gem-Pro2026.05 | 0.42 | |
| P(True)Model=Gem-Pro2026.05 | 0.424 | |
| Verb. Conf.Model=Gem-Pro2026.05 | 0.425 | |
| Seq. Prob.Model=Gem-Fl2026.05 | 0.431 | |
| Prob. MarginModel=Gem-Pro2026.05 | 0.432 | |
| Prob. MarginModel=Gem-Fl2026.05 | 0.433 | |
| Seq. Prob.Model=Gem-Pro2026.05 | 0.435 | |
| Verb. Conf.Model=Gem-Fl-Lt2026.05 | 0.447 | |
| Cos. Sim.Model=Gem-Fl2026.05 | 0.448 | |
| Avg. Tok. Neg.Model=Gem-Pro2026.05 | 0.451 | |
| Avg. Tok. Neg.Model=Gem-Fl2026.05 | 0.463 | |
| Seq. Prob.Model=Gem-Fl-Lt2026.05 | 0.465 | |
| P(True)Model=Gem-Fl2026.05 | 0.466 | |
| Prob. MarginModel=Gem-Fl-Lt2026.05 | 0.468 | |
| Cos. Sim.Model=Gem-Fl-Lt2026.05 | 0.486 | |
| Avg. Tok. Neg.Model=Gem-Fl-Lt2026.05 | 0.493 |