MuSiQue
Benchmarks
Task NameDataset NameSOTA ResultTrendResults
MuSiQue Wiki-18
24.4Exact Match (EM)
20
MuSiQue
199Inference Time (ms)
20
MuSiQue
42.8EM
20
MuSiQue
80.2Rk
20
Musique
20.5F1 Score
20
MuSiQue (test val)
10.79EM
20
MuSiQue standard (val)
22.6Exact Match (EM)
19
MuSiQue
51.02F1 Score
19
MuSiQue (out-of-domain)
22.3Exact Match
18
MuSiQue
32pass@1
18
MuSiQue (Passage Split)
39.46Score
18
MuSiQue Fixed Chunk 2048
39.46Score
18
MuSiQue
16.1EM
18
MuSiQue
24.3Cover EM
18
MuSiQue
31Success Rate (SR)
17
MuSiQue
34.3SubEM
17
Musique (dev test)
49.2F1
17
MuSiQue v1 (test)
58.1Exact Match (EM)
17
MuSiQue in-distribution
56.91EM
17
MuSiQue
22.6Exact Match (%)
16
MuSiQue
36.6Accuracy
16
MuSiQue
31.1Contain-Acc.
16
MuSiQue (val)
13.7EM
16
Musique fixed split (test)
39.84Exact Match (EM)
16
MuSiQue
24.12EM
16