MuSiQue
Benchmarks
Task NameDataset NameSOTA ResultTrendResults
MuSiQue
18.5EM
6
MuSiQue 5Q
8.4Exact Match
6
MuSiQue-3Q
17.9Exact Match (EM)
6
MuSiQue 23 (test)
0.5p-hat
6
MuSiQue Ans
34.84Strict Hit Rate
6
Musique
92ASR
6
MuSiQue
43.6F1 (token-overlap)
6
MuSiQue
78Precision
6
MuSiQue sampled 1,000 questions (val)
21.3Swedish EM
6
MuSiQue
57.7Recall
6
MuSiQue full-wiki (dev)
10.6MBE
6
MuSiQue
40.7Evidence Coverage Rate
6
MuSiQue
0.91Latency (s)
6
MuSiQue Platinum (test)
0.75Ans Rate
6
MuSiQue first 1000 samples (dev)
33.5EM
6
MuSiQue
36.3Answer F1
6
MusiQue 2hop
29.03B4
6
MuSiQue-Ans (dev)
0.793EM
6
Musique 2-hop (dev)
15.2Exact Match Accuracy
6
MuSiQue n=1,000 samples (test)
47.99F1 Score
5
MuSiQue
84NDCG@5
5
MuSiQue
26.8EM
5
MuSiQue
63.6NDCG
5
Musique
27subEM
5
MuSiQue
140,527Triplets Count
5