List your company
ResearchFormerly WizWand

Code Correctness Prediction on MultiPL-E Java

0.075ECEMin. Tok. Neg.
0.058280.171140.2840.39686May 27, 2026
Updated 5mo ago

Evaluation results

MethodLinks
Min. Tok. Neg.Model=Gem-Fl-Lt2026.050.075
CodeBLEUModel=GPT4o2026.050.084
CodeBLEUModel=Gem-Pro2026.050.086
CodeBLEUModel=Gem-Fl2026.050.089
Min. Tok. Neg.Model=GPT4o2026.050.099
Min. Tok. Neg.Model=GPT4o-m2026.050.105
Min. Tok. Neg.Model=Gem-Fl2026.050.123
CodeBLEUModel=GPT4o-m2026.050.149
Func. Neg.Model=GPT4o2026.050.155
Min. Tok. Neg.Model=Gem-Pro2026.050.164
Func. Neg.Model=Gem-Fl2026.050.189
Func. Neg.Model=GPT4o-m2026.050.197
Func. Equiv. RateModel=GPT4o2026.050.198
Func. Neg.Model=Gem-Pro2026.050.206
CodeBLEUModel=Gem-Fl-Lt2026.050.209
Min. Prob.Model=Gem-Fl-Lt2026.050.211
Func. Equiv. RateModel=Gem-Pro2026.050.212
Verb. Conf.Model=GPT4o-m2026.050.22
Func. Equiv. RateModel=GPT4o-m2026.050.221
Func. Equiv. RateModel=Gem-Fl-Lt2026.050.222
Func. Neg.Model=Gem-Fl-Lt2026.050.223
Func. SetsModel=GPT4o2026.050.229
Func. Equiv. RateModel=Gem-Fl2026.050.241
Min. Prob.Model=Gem-Fl2026.050.244
Min. Prob.Model=Gem-Pro2026.050.249
Func. SetsModel=GPT4o-m2026.050.262
Min. Prob.Model=GPT4o-m2026.050.289
Func. SetsModel=Gem-Fl2026.050.294
Func. SetsModel=Gem-Pro2026.050.297
Min. Prob.Model=GPT4o2026.050.3
Func. SetsModel=Gem-Fl-Lt2026.050.308
P(True)Model=GPT4o2026.050.324
Verb. Conf.Model=GPT4o2026.050.342
P(True)Model=GPT4o-m2026.050.35
Seq. Prob.Model=GPT4o2026.050.359
Seq. Prob.Model=GPT4o-m2026.050.374
Prob. MarginModel=GPT4o2026.050.375
Verb. Conf.Model=Gem-Fl2026.050.375
Prob. MarginModel=GPT4o-m2026.050.386
Cos. Sim.Model=GPT4o2026.050.394
Avg. Tok. Neg.Model=GPT4o2026.050.4
Avg. Tok. Neg.Model=GPT4o-m2026.050.413
Cos. Sim.Model=GPT4o-m2026.050.414
P(True)Model=Gem-Fl-Lt2026.050.416
Cos. Sim.Model=Gem-Pro2026.050.42
P(True)Model=Gem-Pro2026.050.424
Verb. Conf.Model=Gem-Pro2026.050.425
Seq. Prob.Model=Gem-Fl2026.050.431
Prob. MarginModel=Gem-Pro2026.050.432
Prob. MarginModel=Gem-Fl2026.050.433
Seq. Prob.Model=Gem-Pro2026.050.435
Verb. Conf.Model=Gem-Fl-Lt2026.050.447
Cos. Sim.Model=Gem-Fl2026.050.448
Avg. Tok. Neg.Model=Gem-Pro2026.050.451
Avg. Tok. Neg.Model=Gem-Fl2026.050.463
Seq. Prob.Model=Gem-Fl-Lt2026.050.465
P(True)Model=Gem-Fl2026.050.466
Prob. MarginModel=Gem-Fl-Lt2026.050.468
Cos. Sim.Model=Gem-Fl-Lt2026.050.486
Avg. Tok. Neg.Model=Gem-Fl-Lt2026.050.493