MuSiQue
Benchmarks
Task NameDataset NameSOTA ResultTrendResults
MuSiQue
22.6Exact Match
16
Musique
18.5Exact Match (EM)
16
MuSiQue
37.8Score
16
Musique
81.82P@1
16
MuSiQue 2022
51.2F1 Score
16
MuSiQue
39.6Rubric Judge Accuracy
15
MuSiQue
73.3F1 Score
15
MuSiQue
37.68F1 Score
15
Musique out-of-domain (val test)
25.4Exact Match (EM)
15
MuSiQue (val test)
15.1EM
14
MuSiQue
51.4F1 Score (MuSiQue)
14
MuSiQue
33.9Containment Accuracy
14
MuSiQue
40.3F1 Score
14
MuSiQue
159.2Cost Saving
14
MuSiQue
16.9Exact Match
14
Musique
33.36F1 Score
14
MuSiQue
35Exact Match (EM)
14
MuSiQue (In-Distribution)
44Accuracy
14
MuSiQue
1Relative Cost
14
Musique 2018 Wikipedia dump (dev)
22.1Accuracy
14
MuSiQue
32.5String F1 Score
14
Musique in-domain (test)
29.6Accuracy R
14
MuSiQue
42.67Recall@2
13
MuSiQue
3.55Speedup
12
MuSiQue
55.1Top-5 Accuracy
12