MuSiQue
Benchmarks
Task NameDataset NameSOTA ResultTrendResults
MuSiQue Closed Book (test)
21.14Accuracy/F1
26
MuSiQue
46.1Exact Match (EM)
25
MuSiQue
30.34Exact Match (EM)
24
MuSiQue
0Degen
24
MuSiQue online Google Search API (val test)
26.5EM
24
MuSiQue offline Wiki-18 (test val)
24.4EM
24
MuSiQue
47.55Accuracy
24
MuSiQue
65.6AUROC
24
MuSiQue
28.4ACCE
24
Musique (test)
0.83Recall@K
24
MuSiQue entity-level knowledge conflict (test)
7.7Mean Rank
24
MuSiQue
33.5Exact Match (EM)
23
MuSiQue
99Precision (MuSiQue Traceback)
23
MuSiQue
17.8Success Rate
22
MuSiQue
36.8Recall@1
22
MuSiQue
53.03F1 Score
22
MuSiQue Full
80.1C Score
22
MuSiQue
3.6EM
21
MuSiQue Un
91R-Acc
21
MuSiQue
69.4Pass@1
21
MuSiQue
47.7R@2
21
MuSiQue v1 (test)
33.1R@2E
21
MuSiQue (OOD)
20.6EM
21
MusiQue answerable setting
38.98Conciseness
21
MuSiQue
21.7EM
20