MuSiQue
Benchmarks
TaskDatasetSOTA resultTrendResults
Musique
46EM
209
MuSiQue (test)
55.68F1
151
MuSiQue
77.2EM
95
MuSiQue (test)
48EM
85
MuSiQue
39.6EM
84
MuSiQue
50F1 Score
80
MuSiQue
52.27F1 Score
79
Musique
22.92EM
71
Musique 500 randomly sampled queries (test)
0.832AUROC
70
Musique
26EM
62
MuSiQue (test)
64Per-query Final Recall
61
MuSiQue
25.3Exact Match (EM)
58
MuSiQue
39.7EM
57
MusiQue out-of-domain
35.8F1
57
MuSiQue
81.3F1 Score
54
MuSiQue
22.6Exact Match (EM)
51
Musique
87Accuracy
51
MuSiQue
40EM
50
MusiQue
36.8EM
50
MuSiQue
51Accuracy
48
Musique
28.91F1 Score
45
MuSiQue
48.4String Accuracy
44
MuSiQue
34.8F1 Score
43
MuSiQue (held-out)
57.7F1 Score
42
MuSiQue (test)
81.46R@5
42