DUC
Benchmarks
TaskDatasetSOTA resultTrendResults
DUC 2004 (test)
38.57ROUGE-1
115
DUC 2001
34.12F1 Score @ 5
28
DUC 2002 (test)
47.6ROUGE-1
18
DUC 2006
46.64ROUGE-1
11
DUC 2004 (test)
36.42ROUGE-1 Score
9
DUC 2001
20F1 Score @ 3
8
DUC 2007 (test)
43.426ROUGE-1
8
DUC 2007 250 (test)
35.3ROUGE-1
6
DUC 2004
27.41ROUGE-1 Recall
6
DUC 75-byte limit 2004
32.28ROUGE-1 Recall
6
DUC 2007 (human evaluation)
65.5Informativeness
3
DUC 2007 20 examples (test)
4.7Grammaticality
3
DUC 2007 (test)
12.5Sr
3
DUC 2007
47.91ROUGE-1
3
DUC 2005
43.48ROUGE-1
3
DUC 2001
0R@5
1