MuSiQue
Benchmarks
Task NameDataset NameSOTA ResultTrendResults
MuSiQue 300-question hop-stratified (held-out)
75.7Best@3
8
MuSiQue (dev)
99.4Recall@4
8
MuSiQue
0.03Latency (s)
8
MuSiQue
29.52Accuracy
8
MuSiQue
25.6PR@5
8
MuSiQue Covered Questions
53.2Accuracy
8
MuSiQue All Questions
43.8Accuracy
8
MuSiQue (MUS) (test)
81Mean Correct Answer Rate
8
MuSiQue
0.77AUROC
8
MuSiQue (val)
64.5R@2
8
MuSiQue
56,360Retrieved Tokens
8
MuSiQue Wikipedia-18 retriever context (test)
19.53Exact Match (EM)
7
MusiQue l3
0.29Cost
7
MuSiQue
51EM
7
MuSiQue fullwiki (val)
41.4Exact Match (EM)
7
MuSiQue
7.8Exact Match (EM)
7
MuSiQue
24Exact Match (EM)
7
MuSiQue
26,442.6Avg Token Count
7
MuSiQue
34.6FCR
7
MUSIQUE Answerable (test)
57.6Answer F1
7
MuSiQue golden
85.3Accuracy
7
MuSiQue
44.13LLM Judge Score
6
MuSiQue
49F1 Score
6
MuSiQue
30EM
6
MuSiQue out-of-domain (test)
17.4Accuracy
6