MultiHiertt
Benchmarks
Task NameDataset NameSOTA ResultTrendResults
MultiHiertt (test)
70.32Accuracy
30
MultiHiertt original (dev)
71.17Exact-match Accuracy
14
MULTIHIERTT (test)
83.12EM
11
MultiHierTT
28.7Pass@1 Accuracy
10
MultiHiertt
82.9Program Accuracy
10
MULTIHIERTT (dev)
37.05EM
10
MultiHiertt
22.99Exact Match (EM)
7
MultiHiertt
70.01Program Accuracy
4
MultiHiertt (dev)
71.17Accuracy
3