MuSiQue
Benchmarks
Task NameDataset NameSOTA ResultTrendResults
MuSiQue
26.2Accuracy (ACC)
12
MuSiQue (out-of-domain)
24Accuracy
12
MUSIQUE Unfiltered
47.62Accuracy
12
MuSiQue
1.089Cohen's d
12
MuSiQue
0.718Spearman's rho
12
MuSiQue
70.2EM
12
MuSiQue answerable
65.06Answer F1
12
MuSiQue
34.1CEM (%)
12
MuSiQue
75Precision
12
MuSiQue v1.0 (test)
53.99Exact Match (EM)
12
MuSiQue
22.6Accuracy
12
MuSiQue 1,000 questions sample (val)
32.3Containment Accuracy
11
MuSiQue
0.96Pearson r
11
MuSiQue
21.8Exact Match (EM)
11
MuSiQue (val)
54.84F1 Score
11
MuSiQue in-domain (test)
33.47LasJ
11
Musique (dev)
54.4EM
11
MuSiQue Wiki18 index (test)
36.1Pass@4
10
MuSiQue
345Total Triples
10
MuSiQue
0.33LLM-as-a-Judge Score
10
MuSiQue
1.089Cohen's d
10
MuSiQue
17.8Exact Match (EM)
10
MuSiQuE
23.62EM
10
MuSiQue
17.05Exact Match (EM)
10
MusiQue
18.75EM
10