ASQA
Benchmarks
TaskDatasetSOTA resultTrendResults
ASQA
50.83StrEM
63
ASQA (test)
92.94Correctness EM Recall
50
ASQA
45.01EM
37
ASQA
49.47Recall
26
ASQA
91.18str-em
19
ASQA
50.1Correctness (EM Rec.)
19
ASQA
76.3Precision
15
ASQA
84.13Recall
13
ASQA (in-domain)
47.21EM
12
ASQA
0.54Kendall's Tau
11
ASQA
42.44str-EM
11
ASQA (test)
87.2Citation Recall
10
ASQA
75.07Snippet-F1
9
ASQA (test)
0.54Kendall's Tau
6
ASQA (test)
16.63Error Rate (%)
5
ASQA
1,673Helpful Citation Count
4
ASQA (dev)
37.22STR-EM
4
ASQA ALCE (test)
31.8Correctness
4
ASQA ALCE (dev)
88.58FSupp
3