MuSiQue
Benchmarks
Task NameDataset NameSOTA ResultTrendResults
MusiQue 39 (test)
33.33F1
10
MuSiQue (out-of-domain)
22.6Accuracy
10
MuSiQue 1,000 queries (test)
43.2EM
10
MuSiQue multi-hop (test)
19.4Average @16
10
MuSiQue 200 samples
638.03Average Tokens
10
MuSiQue Full (test)
25.2EM
10
MuSiQue-Ans (test)
30.4EM
10
MuSiQue
36.67Accuracy
9
MuSiQue
66LLM Accuracy
9
Musique
0.05Latency (s/query)
9
MuSiQue OOD (test)
85.16Exact Match (EM)
9
MuSiQue (test)
14EM
9
MuSiQue
98Attack Success Rate (ASR)
9
MuSiQue
15.2Exact Match (EM)
9
MuSiQue
29.01LM Score
9
MuSiQue
68.98F1 Score
9
MuSiQue
31.2F1 Score
9
MuSiQue
40.62-hop F1
9
MuSiQue
32.6Avg@4
9
MuSiQue v1.0 (test)
2.3Task latency (s)
9
MuSiQue (test)
31.1Pass@3
8
MuSiQue
32.62EM
8
MuSiQue
1.26Average Edge Multiplicity
8
MuSiQue
10.4Accuracy
8
MuSiQue 500 samples (test)
73.9F1 Score
8