List your company
ResearchFormerly WizWand

Code Correctness Prediction on MultiPL-E Java (Brier Score)

0.231Brier ScoreCodeBLEU
0.220640.290570.36050.43043May 27, 2026
Updated 5mo ago

Evaluation results

MethodLinks
CodeBLEUModel=Gem-Fl2026.050.231
Min. Tok. Neg.Model=Gem-Fl-Lt2026.050.232
CodeBLEUModel=GPT4o2026.050.233
CodeBLEUModel=Gem-Pro2026.050.236
Min. Tok. Neg.Model=GPT4o2026.050.237
Func. Neg.Model=GPT4o2026.050.243
Min. Tok. Neg.Model=GPT4o-m2026.050.245
Min. Tok. Neg.Model=Gem-Fl2026.050.25
CodeBLEUModel=GPT4o-m2026.050.252
Func. Neg.Model=GPT4o-m2026.050.254
Func. Equiv. RateModel=GPT4o2026.050.259
Min. Prob.Model=Gem-Fl-Lt2026.050.263
Min. Tok. Neg.Model=Gem-Pro2026.050.263
Func. SetsModel=GPT4o2026.050.266
CodeBLEUModel=Gem-Fl-Lt2026.050.271
Func. Neg.Model=Gem-Fl-Lt2026.050.272
Func. Equiv. RateModel=GPT4o-m2026.050.273
Func. Equiv. RateModel=Gem-Fl-Lt2026.050.274
Func. Neg.Model=Gem-Pro2026.050.275
Func. Equiv. RateModel=Gem-Pro2026.050.28
Verb. Conf.Model=GPT4o-m2026.050.282
Func. SetsModel=GPT4o-m2026.050.283
Func. Neg.Model=Gem-Fl2026.050.284
Min. Prob.Model=Gem-Pro2026.050.303
Func. Equiv. RateModel=Gem-Fl2026.050.303
Min. Prob.Model=Gem-Fl2026.050.306
Func. SetsModel=Gem-Pro2026.050.314
Func. SetsModel=Gem-Fl-Lt2026.050.314
Min. Prob.Model=GPT4o2026.050.325
Func. SetsModel=Gem-Fl2026.050.326
P(True)Model=GPT4o2026.050.331
Min. Prob.Model=GPT4o-m2026.050.34
Verb. Conf.Model=GPT4o2026.050.354
P(True)Model=GPT4o-m2026.050.36
Seq. Prob.Model=GPT4o2026.050.364
Prob. MarginModel=GPT4o2026.050.378
Verb. Conf.Model=Gem-Fl2026.050.379
Seq. Prob.Model=GPT4o-m2026.050.383
Prob. MarginModel=GPT4o-m2026.050.394
Cos. Sim.Model=GPT4o2026.050.396
Avg. Tok. Neg.Model=GPT4o2026.050.4
Cos. Sim.Model=GPT4o-m2026.050.413
Avg. Tok. Neg.Model=GPT4o-m2026.050.415
Cos. Sim.Model=Gem-Pro2026.050.419
P(True)Model=Gem-Fl-Lt2026.050.419
P(True)Model=Gem-Pro2026.050.423
Verb. Conf.Model=Gem-Pro2026.050.425
Prob. MarginModel=Gem-Pro2026.050.432
Seq. Prob.Model=Gem-Fl2026.050.434
Seq. Prob.Model=Gem-Pro2026.050.435
Prob. MarginModel=Gem-Fl2026.050.438
Verb. Conf.Model=Gem-Fl-Lt2026.050.438
Cos. Sim.Model=Gem-Fl2026.050.445
Avg. Tok. Neg.Model=Gem-Pro2026.050.45
Seq. Prob.Model=Gem-Fl-Lt2026.050.46
Avg. Tok. Neg.Model=Gem-Fl2026.050.463
Prob. MarginModel=Gem-Fl-Lt2026.050.465
P(True)Model=Gem-Fl2026.050.466
Cos. Sim.Model=Gem-Fl-Lt2026.050.484
Avg. Tok. Neg.Model=Gem-Fl-Lt2026.050.49