MuSiQue
Benchmarks
Task NameDataset NameSOTA ResultTrendResults
MuSiQue
53EM
41
MuSiQue
46.1F1
38
MuSiQue
69.6Accuracy
37
MuSiQue
38Exact Match (EM)
36
MuSiQue
42EM
36
MuSiQue
72F1 Score
36
MuSiQue (test)
4,987Token Cost
36
MuSiQue
54.8R@2
36
MuSiQue (val)
1Precision
36
MuSiQue
0.93F1 Score
36
MuSiQue
79.9Accuracy (ACC)
36
MuSiQue
74.1LLM Accuracy
34
MuSiQue
71.5Accuracy (MuSiQue QA)
33
MuSiQue
100Guard Rate
32
MuSiQue
29.3Exact Match (EM)
31
MuSiQue Open Book (test)
75.05Accuracy / F1
30
MuSiQue
38.1Token-level F1
30
MuSiQue
87.9Attack Success Rate (ASR)
30
MuSiQue (val)
810Avg Token Budget
30
MuSiQue (dev)
65.073F1 Score
29
MuSiQue
38Exact Match (EM)
28
MuSiQue (OOD)
0Degeneracy Score
27
MuSiQue (OOD)
5.26EM
27
MuSiQue
51SubEM
27
MuSiQue IRCoT 500 samples (test)
25.59ACC
27