E2E
Benchmarks
TaskDatasetSOTA resultTrendResults
E2E (test)
89.94ROUGE-L
100
E2E (test)
68.23BLEU
49
E2E
0.717ROUGE-L
36
E2E
1.65Empirical Error G(W)
20
E2E
0.472METEOR
17
E2E
0.85Normalized Generalization Error Approximation
10
E2E
64.81BLEU
10
E2E (test)
90F1-R
10
E2E
70.5BLEU
9
E2E en
45.8ROUGE-2
9
Cleaned E2E (test)
44.15BLEU
9
E2E
37.6ROUGE-2
8
E2E Cross-domain (dev)
0.833ASR (E-commerce) (CodeQL)
6
E2E (dev)
100ASR (Semgrep) - E-commerce
6
E2E (test)
56F1 Score (Span)
6
E2E (test)
0.686BLEU
6
E2E (test)
89.9Control Score
5
E2E Synthetic Hallucination
94.14auPR (England-China)
5
E2E dataset
71.6AuPR
5
E2E Syntax Spans
95.33Ctrl
5
E2E Semantic Content
85.06Ctrl
5
E2E Original (test)
0.14Add
5
E2E Cleaned
5.46Fluency
5
E2E dataset
78.8Accuracy
4
E2E
4.65GFLOPs per token
4