TyDiQA
Benchmarks
TaskDatasetSOTA resultTrendResults
TydiQA
81.9Accuracy
65
TyDiQA-GP
0.94AUC ROC
46
TyDiQA 1-shot macro-averaged
48.86F1 Score (1-shot macro)
28
TyDiQA
52.14Exact Match
28
TyDiQA
67.41Accuracy
20
TyDiQA GoldP (val)
80Ar Score
20
TyDiQA GoldP
89.4F1 Score
20
TydiQA
70.8F1 Score
16
TyDiQA (test)
88.4AUROC
14
TydiQA (test)
47.78Accuracy
12
TyDiQA GoldP (test)
87.7F1 Score
12
TYDIQA
56.62Accuracy
11
TyDiQA
4.29MAE
9
TyDiQA
3.42MAE
9
TyDiQA
53.56Score
6
TydiQA
48.71F1 Score
4
TyDiQA (test)
72.4Average Score
4