List your company
ResearchFormerly WizWand

Code Correctness Prediction on LiveCodeBench Python

0.067Brier ScoreVerb. Conf.
0.0390.2280.4170.606May 27, 2026
Updated 5mo ago

Evaluation results

MethodLinks
Verb. Conf.Model=Gem-Pro2026.050.067
Func. SetsModel=Gem-Pro2026.050.073
Cos. Sim.Model=Gem-Pro2026.050.073
Seq. Prob.Model=Gem-Pro2026.050.078
Prob. MarginModel=Gem-Pro2026.050.079
Avg. Tok. Neg.Model=Gem-Pro2026.050.081
Func. SetsModel=Gem-Fl2026.050.083
P(True)Model=Gem-Pro2026.050.086
Verb. Conf.Model=Gem-Fl2026.050.09
Func. Neg.Model=Gem-Fl2026.050.092
Func. Neg.Model=Gem-Pro2026.050.104
Func. Equiv. RateModel=Gem-Fl2026.050.108
Cos. Sim.Model=Gem-Fl2026.050.108
Seq. Prob.Model=Gem-Fl2026.050.109
P(True)Model=Gem-Fl2026.050.111
Prob. MarginModel=Gem-Fl2026.050.112
Avg. Tok. Neg.Model=Gem-Fl2026.050.118
Func. Neg.Model=Gem-Fl-Lt2026.050.145
Func. SetsModel=Gem-Fl-Lt2026.050.15
Func. Equiv. RateModel=Gem-Pro2026.050.151
Func. Neg.Model=GPT4o-m2026.050.152
Func. Neg.Model=GPT4o2026.050.153
Func. Equiv. RateModel=Gem-Fl-Lt2026.050.161
Func. Equiv. RateModel=GPT4o-m2026.050.161
Func. SetsModel=GPT4o2026.050.161
Func. Equiv. RateModel=GPT4o2026.050.165
Func. SetsModel=GPT4o-m2026.050.166
CodeBLEUModel=Gem-Fl-Lt2026.050.179
Min. Tok. Neg.Model=GPT4o-m2026.050.198
CodeBLEUModel=GPT4o-m2026.050.203
P(True)Model=Gem-Fl-Lt2026.050.212
CodeBLEUModel=GPT4o2026.050.219
Min. Tok. Neg.Model=Gem-Fl-Lt2026.050.244
Seq. Prob.Model=GPT4o2026.050.258
Seq. Prob.Model=Gem-Fl-Lt2026.050.263
Min. Tok. Neg.Model=GPT4o2026.050.263
Prob. MarginModel=Gem-Fl-Lt2026.050.272
Verb. Conf.Model=Gem-Fl-Lt2026.050.279
Cos. Sim.Model=Gem-Fl-Lt2026.050.281
CodeBLEUModel=Gem-Fl2026.050.289
P(True)Model=GPT4o2026.050.29
Avg. Tok. Neg.Model=Gem-Fl-Lt2026.050.294
CodeBLEUModel=Gem-Pro2026.050.294
Verb. Conf.Model=GPT4o-m2026.050.295
Verb. Conf.Model=GPT4o2026.050.302
Prob. MarginModel=GPT4o2026.050.332
Seq. Prob.Model=GPT4o-m2026.050.348
P(True)Model=GPT4o-m2026.050.348
Cos. Sim.Model=GPT4o2026.050.363
Avg. Tok. Neg.Model=GPT4o2026.050.365
Min. Tok. Neg.Model=Gem-Pro2026.050.371
Min. Prob.Model=GPT4o-m2026.050.373
Prob. MarginModel=GPT4o-m2026.050.406
Min. Tok. Neg.Model=Gem-Fl2026.050.416
Cos. Sim.Model=GPT4o-m2026.050.42
Avg. Tok. Neg.Model=GPT4o-m2026.050.436
Min. Prob.Model=Gem-Fl-Lt2026.050.449
Min. Prob.Model=GPT4o2026.050.485
Min. Prob.Model=Gem-Fl2026.050.678
Min. Prob.Model=Gem-Pro2026.050.767