Code Correctness Prediction on LiveCodeBench Python (ECE)
0.015ECESeq. Prob.
Evaluation Results
| Method | Links | |
|---|---|---|
| Seq. Prob.Model=Gem-Pro2026.05 | 0.015 | |
| Prob. MarginModel=Gem-Pro2026.05 | 0.022 | |
| Func. SetsModel=Gem-Fl2026.05 | 0.024 | |
| Func. Neg.Model=Gem-Fl-Lt2026.05 | 0.038 | |
| Cos. Sim.Model=Gem-Pro2026.05 | 0.039 | |
| Func. Neg.Model=GPT4o-m2026.05 | 0.041 | |
| Cos. Sim.Model=Gem-Fl2026.05 | 0.044 | |
| Func. Neg.Model=GPT4o2026.05 | 0.046 | |
| Avg. Tok. Neg.Model=Gem-Pro2026.05 | 0.05 | |
| Seq. Prob.Model=Gem-Fl2026.05 | 0.051 | |
| Prob. MarginModel=Gem-Fl2026.05 | 0.059 | |
| Verb. Conf.Model=Gem-Pro2026.05 | 0.06 | |
| Func. SetsModel=Gem-Fl-Lt2026.05 | 0.071 | |
| Verb. Conf.Model=Gem-Fl2026.05 | 0.072 | |
| Func. Neg.Model=Gem-Fl2026.05 | 0.073 | |
| Func. SetsModel=Gem-Pro2026.05 | 0.08 | |
| Min. Tok. Neg.Model=GPT4o-m2026.05 | 0.082 | |
| CodeBLEUModel=GPT4o-m2026.05 | 0.082 | |
| CodeBLEUModel=Gem-Fl-Lt2026.05 | 0.085 | |
| P(True)Model=Gem-Pro2026.05 | 0.087 | |
| Func. SetsModel=GPT4o2026.05 | 0.09 | |
| Avg. Tok. Neg.Model=Gem-Fl2026.05 | 0.091 | |
| Func. Equiv. RateModel=GPT4o-m2026.05 | 0.1 | |
| CodeBLEUModel=GPT4o2026.05 | 0.1 | |
| Func. Equiv. RateModel=Gem-Fl2026.05 | 0.11 | |
| Func. SetsModel=GPT4o-m2026.05 | 0.11 | |
| P(True)Model=Gem-Fl2026.05 | 0.111 | |
| Func. Equiv. RateModel=Gem-Fl-Lt2026.05 | 0.113 | |
| Func. Equiv. RateModel=GPT4o2026.05 | 0.117 | |
| Func. Neg.Model=Gem-Pro2026.05 | 0.152 | |
| Func. Equiv. RateModel=Gem-Pro2026.05 | 0.2 | |
| P(True)Model=Gem-Fl-Lt2026.05 | 0.21 | |
| Seq. Prob.Model=GPT4o2026.05 | 0.22 | |
| Min. Tok. Neg.Model=GPT4o2026.05 | 0.251 | |
| Seq. Prob.Model=Gem-Fl-Lt2026.05 | 0.253 | |
| Verb. Conf.Model=Gem-Fl-Lt2026.05 | 0.26 | |
| Prob. MarginModel=Gem-Fl-Lt2026.05 | 0.262 | |
| Min. Tok. Neg.Model=Gem-Fl-Lt2026.05 | 0.271 | |
| Cos. Sim.Model=Gem-Fl-Lt2026.05 | 0.273 | |
| Verb. Conf.Model=GPT4o-m2026.05 | 0.281 | |
| Avg. Tok. Neg.Model=Gem-Fl-Lt2026.05 | 0.292 | |
| P(True)Model=GPT4o2026.05 | 0.3 | |
| Verb. Conf.Model=GPT4o2026.05 | 0.303 | |
| Prob. MarginModel=GPT4o2026.05 | 0.325 | |
| P(True)Model=GPT4o-m2026.05 | 0.349 | |
| Seq. Prob.Model=GPT4o-m2026.05 | 0.352 | |
| Cos. Sim.Model=GPT4o2026.05 | 0.362 | |
| Avg. Tok. Neg.Model=GPT4o2026.05 | 0.366 | |
| Min. Prob.Model=GPT4o-m2026.05 | 0.39 | |
| Prob. MarginModel=GPT4o-m2026.05 | 0.414 | |
| CodeBLEUModel=Gem-Fl2026.05 | 0.428 | |
| Cos. Sim.Model=GPT4o-m2026.05 | 0.43 | |
| Avg. Tok. Neg.Model=GPT4o-m2026.05 | 0.444 | |
| CodeBLEUModel=Gem-Pro2026.05 | 0.468 | |
| Min. Prob.Model=GPT4o2026.05 | 0.501 | |
| Min. Prob.Model=Gem-Fl-Lt2026.05 | 0.502 | |
| Min. Tok. Neg.Model=Gem-Fl2026.05 | 0.535 | |
| Min. Tok. Neg.Model=Gem-Pro2026.05 | 0.538 | |
| Min. Prob.Model=Gem-Fl2026.05 | 0.726 | |
| Min. Prob.Model=Gem-Pro2026.05 | 0.824 |