List your company
ResearchFormerly WizWand

Code Correctness Prediction on LiveCodeBench Python (ECE)

0.015ECESeq. Prob.
-0.017360.201070.41950.63793May 27, 2026
Updated 5mo ago

Evaluation results

MethodLinks
Seq. Prob.Model=Gem-Pro2026.050.015
Prob. MarginModel=Gem-Pro2026.050.022
Func. SetsModel=Gem-Fl2026.050.024
Func. Neg.Model=Gem-Fl-Lt2026.050.038
Cos. Sim.Model=Gem-Pro2026.050.039
Func. Neg.Model=GPT4o-m2026.050.041
Cos. Sim.Model=Gem-Fl2026.050.044
Func. Neg.Model=GPT4o2026.050.046
Avg. Tok. Neg.Model=Gem-Pro2026.050.05
Seq. Prob.Model=Gem-Fl2026.050.051
Prob. MarginModel=Gem-Fl2026.050.059
Verb. Conf.Model=Gem-Pro2026.050.06
Func. SetsModel=Gem-Fl-Lt2026.050.071
Verb. Conf.Model=Gem-Fl2026.050.072
Func. Neg.Model=Gem-Fl2026.050.073
Func. SetsModel=Gem-Pro2026.050.08
Min. Tok. Neg.Model=GPT4o-m2026.050.082
CodeBLEUModel=GPT4o-m2026.050.082
CodeBLEUModel=Gem-Fl-Lt2026.050.085
P(True)Model=Gem-Pro2026.050.087
Func. SetsModel=GPT4o2026.050.09
Avg. Tok. Neg.Model=Gem-Fl2026.050.091
Func. Equiv. RateModel=GPT4o-m2026.050.1
CodeBLEUModel=GPT4o2026.050.1
Func. Equiv. RateModel=Gem-Fl2026.050.11
Func. SetsModel=GPT4o-m2026.050.11
P(True)Model=Gem-Fl2026.050.111
Func. Equiv. RateModel=Gem-Fl-Lt2026.050.113
Func. Equiv. RateModel=GPT4o2026.050.117
Func. Neg.Model=Gem-Pro2026.050.152
Func. Equiv. RateModel=Gem-Pro2026.050.2
P(True)Model=Gem-Fl-Lt2026.050.21
Seq. Prob.Model=GPT4o2026.050.22
Min. Tok. Neg.Model=GPT4o2026.050.251
Seq. Prob.Model=Gem-Fl-Lt2026.050.253
Verb. Conf.Model=Gem-Fl-Lt2026.050.26
Prob. MarginModel=Gem-Fl-Lt2026.050.262
Min. Tok. Neg.Model=Gem-Fl-Lt2026.050.271
Cos. Sim.Model=Gem-Fl-Lt2026.050.273
Verb. Conf.Model=GPT4o-m2026.050.281
Avg. Tok. Neg.Model=Gem-Fl-Lt2026.050.292
P(True)Model=GPT4o2026.050.3
Verb. Conf.Model=GPT4o2026.050.303
Prob. MarginModel=GPT4o2026.050.325
P(True)Model=GPT4o-m2026.050.349
Seq. Prob.Model=GPT4o-m2026.050.352
Cos. Sim.Model=GPT4o2026.050.362
Avg. Tok. Neg.Model=GPT4o2026.050.366
Min. Prob.Model=GPT4o-m2026.050.39
Prob. MarginModel=GPT4o-m2026.050.414
CodeBLEUModel=Gem-Fl2026.050.428
Cos. Sim.Model=GPT4o-m2026.050.43
Avg. Tok. Neg.Model=GPT4o-m2026.050.444
CodeBLEUModel=Gem-Pro2026.050.468
Min. Prob.Model=GPT4o2026.050.501
Min. Prob.Model=Gem-Fl-Lt2026.050.502
Min. Tok. Neg.Model=Gem-Fl2026.050.535
Min. Tok. Neg.Model=Gem-Pro2026.050.538
Min. Prob.Model=Gem-Fl2026.050.726
Min. Prob.Model=Gem-Pro2026.050.824