HMMT
Benchmarks
TaskDatasetSOTA resultTrendResults
HMMT November 2025 (held-out)
49.11Pass@1
6
HMMT
0.76Spearman Rho
6
HMMT
17.86HMMT Score
6
HMMT Nov25
81.93Score
5
HMMT 2025
64.44Pass@12
5
HMMT Nov 2025
93.3Pass@1
5
HMMT with tools Feb25
95.5Accuracy
4
HMMT no tools Feb25
94.2Accuracy
4
HMMT Nov 2025
96.7Score
4
HMMT Feb26
76.23Score
4
HMMT 2026 (val)
37.1Accuracy
4
HMMT 2025 (val)
38.3Accuracy
4
HMMT25
50Accuracy (Pass@1)
4
HMMT 25 (Feb)
22.29Pass@1
4
HMMT
34.6Accuracy@16
4
HMMT Feb 25
18.5Mean @8
4
HMMT
63.3REST Score
4
HMMT’26 Feb.
71.6Score
4
HMMT
43.12Mean@16
4
HMMT Feb 2025
80Score
4
HMMT2025 (test)
33.33Pass@1 Accuracy
4
HMMT 2025 (Nov)
87.9Pass@1
3
HMMT November 2025 edition (test)
4,025Optimization Token Usage
3
HMMT (test)
3,295Optimization-phase Token Usage (thousands)
3
HMMT25 Feb
76.3Score
2