Confidence alignment on LogiQA benchmark leaderboard · SOTA2 Research

Confidence alignment on LogiQA

0.039ECEConfTuner

Evaluation Results

Method	Links
ConfTuner2026.05		0.039	0.397	1.227	0.151	0.101	69.9
SFT2026.05		0.045	0.399	4.415	0.326	0.17	49.6
Ours-ORCE2026.05		0.057	0.467	5.169	0.306	0.149	49.6
SFT2026.05		0.059	0.303	8.419	0.36	0.203	49.6
ConfTuner2026.05		0.063	0.374	2.718	0.346	0.19	49.6
Ours-ORCE2026.05		0.07	0.314	2.7	0.355	0.199	49.6
Ours-ORCE2026.05		0.081	0.454	1.232	0.148	0.098	69.9
SFT2026.05		0.094	0.41	7	0.161	0.11	69.9
CoT2026.05		0.126	0.16	1.792	0.243	0.197	71
ConfTuner2026.05		0.126	0.177	1.758	0.439	0.283	49.6
Consistency2026.05		0.163	0.304	4.767	0.386	0.205	46.2
Consistency2026.05		0.188	0.293	1.643	0.384	0.214	47.8
Top-k2026.05		0.195	0.125	6.361	0.257	0.206	69.7
Consistency2026.05		0.22	0.36	3.39	0.21	0.162	70.6
Vanilla2026.05		0.25	0.154	7.519	0.251	0.2	69.9
Vanilla2026.05		0.291	0.017	0.498	0.503	0.346	49.6
CoT2026.05		0.407	0.206	1.767	0.538	0.312	40.8
CoT2026.05		0.416	0.105	3.21	0.576	0.341	39.8
Top-k2026.05		0.448	0.088	4.708	0.501	0.326	47
Top-k2026.05		0.448	0.034	0.181	0.511	0.338	47.3
Vanilla2026.05		0.498	-0.032	0.207	0.492	0.335	49.6