HMMT
Benchmarks
Task NameDataset NameSOTA ResultTrendResults
HMMT Feb 25
73.3AVG@K
20
HMMT 2025 (held-out)
56.2Accuracy
20
HMMT25
41.7Accuracy
20
HMMT 26
29.4Accuracy
20
HMMT
1,383Trace Count
20
HMMT Feb 25
100Consistency
20
HMMT25
53.33Avg@8 Score
20
HMMT25
84.4Accuracy
19
HMMT-26
43.94Mean@8
18
HMMT-25
50.83Mean@8
18
HMMT 24
74.4Pass@1
18
HMMT25 Nov.
57.5Pass@1
17
HMMT
85Pass@1
17
HMMT25
31Mean@32 Accuracy
16
HMMT 2026
58.7Accuracy
16
HMMT 2026
49Accuracy
16
HMMT 2024
23.5Pass@1 Accuracy
16
HMMT 2025
76.67Accuracy
16
Hmmt feb-2024
19.6Average@16
15
hmmt
15.6Pass Rate
14
HMMT 25
9Pass@1
14
HMMT 2025
31.67Accuracy
14
HMMT
77.6HMMT Accuracy
14
HMMT 2025 (test)
93.3Accuracy
13
HMMT February 2025
97.5pass@1
13