MuSiQue
Benchmarks
Task NameDataset NameSOTA ResultTrendResults
MuSiQue (sampled)
31.5Accuracy
4
MuSiQue (test)
77.3Mean Accuracy
4
MuSiQue LongBench (test)
20String Match
3
MuSiQue
40.2GPT-Acc
3
MuSiQue
86.1CDR
3
MuSiQue
88.7Recall
3
MuSiQue Large-scale corpus (KILT)
30.2EM
3
MuSiQue
73.3Score (avg@3)
3
MuSiQue Search-o1 framework (test)
20.4Accuracy
3
MuSiQue-Long (3.2k tok)
37.7EM
3
MuSiQue (test)
26.8p@1
3
MuSiQue (val)
48.8R@5
3
MuSiQue
75.5Accuracy
3
MuSiQue (test)
76.8LASTHOP@5
3
MuSiQue 1,000 samples
38.5EM
3
MuSiQue 1,000 samples (test)
37.9F1 Score
3
MuSiQue Full
0.721Accuracy
3
MuSiQue Ans
71.86Accuracy
3
MuSiQue (val test)
2,849Token Usage (Optimization Phase)
3
Musique (test)
3,063Optimization Token Usage (k)
3
MuSiQue Full (test sampled from val)
63.13Accuracy
3
MuSiQue
47.8Accuracy
2
MuSiQue
13.73Success Rate
2
MuSiQue (test)
7.67F1 Difference (pp)
2
MuSiQue 150q
0Harm Rate
2