Code Correctness Prediction on LiveCodeBench Python
0.067Brier ScoreVerb. Conf.
Evaluation Results
| Method | Links | |
|---|---|---|
| Verb. Conf.Model=Gem-Pro2026.05 | 0.067 | |
| Func. SetsModel=Gem-Pro2026.05 | 0.073 | |
| Cos. Sim.Model=Gem-Pro2026.05 | 0.073 | |
| Seq. Prob.Model=Gem-Pro2026.05 | 0.078 | |
| Prob. MarginModel=Gem-Pro2026.05 | 0.079 | |
| Avg. Tok. Neg.Model=Gem-Pro2026.05 | 0.081 | |
| Func. SetsModel=Gem-Fl2026.05 | 0.083 | |
| P(True)Model=Gem-Pro2026.05 | 0.086 | |
| Verb. Conf.Model=Gem-Fl2026.05 | 0.09 | |
| Func. Neg.Model=Gem-Fl2026.05 | 0.092 | |
| Func. Neg.Model=Gem-Pro2026.05 | 0.104 | |
| Func. Equiv. RateModel=Gem-Fl2026.05 | 0.108 | |
| Cos. Sim.Model=Gem-Fl2026.05 | 0.108 | |
| Seq. Prob.Model=Gem-Fl2026.05 | 0.109 | |
| P(True)Model=Gem-Fl2026.05 | 0.111 | |
| Prob. MarginModel=Gem-Fl2026.05 | 0.112 | |
| Avg. Tok. Neg.Model=Gem-Fl2026.05 | 0.118 | |
| Func. Neg.Model=Gem-Fl-Lt2026.05 | 0.145 | |
| Func. SetsModel=Gem-Fl-Lt2026.05 | 0.15 | |
| Func. Equiv. RateModel=Gem-Pro2026.05 | 0.151 | |
| Func. Neg.Model=GPT4o-m2026.05 | 0.152 | |
| Func. Neg.Model=GPT4o2026.05 | 0.153 | |
| Func. Equiv. RateModel=Gem-Fl-Lt2026.05 | 0.161 | |
| Func. Equiv. RateModel=GPT4o-m2026.05 | 0.161 | |
| Func. SetsModel=GPT4o2026.05 | 0.161 | |
| Func. Equiv. RateModel=GPT4o2026.05 | 0.165 | |
| Func. SetsModel=GPT4o-m2026.05 | 0.166 | |
| CodeBLEUModel=Gem-Fl-Lt2026.05 | 0.179 | |
| Min. Tok. Neg.Model=GPT4o-m2026.05 | 0.198 | |
| CodeBLEUModel=GPT4o-m2026.05 | 0.203 | |
| P(True)Model=Gem-Fl-Lt2026.05 | 0.212 | |
| CodeBLEUModel=GPT4o2026.05 | 0.219 | |
| Min. Tok. Neg.Model=Gem-Fl-Lt2026.05 | 0.244 | |
| Seq. Prob.Model=GPT4o2026.05 | 0.258 | |
| Seq. Prob.Model=Gem-Fl-Lt2026.05 | 0.263 | |
| Min. Tok. Neg.Model=GPT4o2026.05 | 0.263 | |
| Prob. MarginModel=Gem-Fl-Lt2026.05 | 0.272 | |
| Verb. Conf.Model=Gem-Fl-Lt2026.05 | 0.279 | |
| Cos. Sim.Model=Gem-Fl-Lt2026.05 | 0.281 | |
| CodeBLEUModel=Gem-Fl2026.05 | 0.289 | |
| P(True)Model=GPT4o2026.05 | 0.29 | |
| Avg. Tok. Neg.Model=Gem-Fl-Lt2026.05 | 0.294 | |
| CodeBLEUModel=Gem-Pro2026.05 | 0.294 | |
| Verb. Conf.Model=GPT4o-m2026.05 | 0.295 | |
| Verb. Conf.Model=GPT4o2026.05 | 0.302 | |
| Prob. MarginModel=GPT4o2026.05 | 0.332 | |
| Seq. Prob.Model=GPT4o-m2026.05 | 0.348 | |
| P(True)Model=GPT4o-m2026.05 | 0.348 | |
| Cos. Sim.Model=GPT4o2026.05 | 0.363 | |
| Avg. Tok. Neg.Model=GPT4o2026.05 | 0.365 | |
| Min. Tok. Neg.Model=Gem-Pro2026.05 | 0.371 | |
| Min. Prob.Model=GPT4o-m2026.05 | 0.373 | |
| Prob. MarginModel=GPT4o-m2026.05 | 0.406 | |
| Min. Tok. Neg.Model=Gem-Fl2026.05 | 0.416 | |
| Cos. Sim.Model=GPT4o-m2026.05 | 0.42 | |
| Avg. Tok. Neg.Model=GPT4o-m2026.05 | 0.436 | |
| Min. Prob.Model=Gem-Fl-Lt2026.05 | 0.449 | |
| Min. Prob.Model=GPT4o2026.05 | 0.485 | |
| Min. Prob.Model=Gem-Fl2026.05 | 0.678 | |
| Min. Prob.Model=Gem-Pro2026.05 | 0.767 |