Reliability of post-edit LLMs on Wikipedia
100BLEUGRACE
Evaluation Results
| Method | Links | ||
|---|---|---|---|
| GRACEModel=GPT Neo 1.3B, PII=email2025.06 | 100 | 100 | |
| GRACEModel=GPT Neo 1.3B, PII=phone2025.06 | 100 | 100 | |
| GRACEModel=GPT Neo 1.3B, PII=URL2025.06 | 100 | 100 | |
| GRACEModel=GPT Neo 2.7B, PII=email2025.06 | 100 | 100 | |
| GRACEModel=GPT Neo 2.7B, PII=phone2025.06 | 100 | 100 | |
| GRACEModel=GPT Neo 2.7B, PII=URL2025.06 | 100 | 100 | |
| GRACEModel=GPT-J 6B, PII=email2025.06 | 100 | 100 | |
| GRACEModel=GPT-J 6B, PII=phone2025.06 | 100 | 100 | |
| GRACEModel=GPT-J 6B, PII=URL2025.06 | 100 | 100 | |
| PMEModel=GPT Neo 1.3B, PII=URL2025.06 | 97.5 | 97.7 | |
| PMEModel=GPT Neo 1.3B, PII=phone2025.06 | 96.6 | 96.5 | |
| PMEModel=GPT-J 6B, PII=phone2025.06 | 96.2 | 96.6 | |
| PMEModel=GPT-J 6B, PII=email2025.06 | 95.4 | 95.9 | |
| PMEModel=GPT Neo 2.7B, PII=phone2025.06 | 94.6 | 95.7 | |
| PMEModel=GPT Neo 1.3B, PII=email2025.06 | 94.1 | 94.6 | |
| MEMITModel=GPT Neo 2.7B, PII=phone2025.06 | 92.5 | 93.7 | |
| PMEModel=GPT Neo 2.7B, PII=email2025.06 | 92.2 | 93.1 | |
| MEMITModel=GPT Neo 1.3B, PII=phone2025.06 | 92 | 93 | |
| MEMITModel=GPT Neo 2.7B, PII=email2025.06 | 91.4 | 92.5 | |
| PMEModel=GPT Neo 2.7B, PII=URL2025.06 | 91.2 | 93.1 | |
| MEMITModel=GPT Neo 2.7B, PII=URL2025.06 | 90.7 | 92.2 | |
| MEMITModel=GPT-J 6B, PII=email2025.06 | 90.6 | 91.6 | |
| MEMITModel=GPT Neo 1.3B, PII=email2025.06 | 90.4 | 91.6 | |
| PMEModel=GPT-J 6B, PII=URL2025.06 | 90.4 | 91.7 | |
| MEMITModel=GPT Neo 1.3B, PII=URL2025.06 | 88.7 | 89.9 | |
| MEMITModel=GPT-J 6B, PII=URL2025.06 | 87.8 | 89.5 | |
| DeMemModel=GPT Neo 1.3B, PII=email2025.06 | 87.5 | 89.2 | |
| MEMITModel=GPT-J 6B, PII=phone2025.06 | 86.9 | 88.3 | |
| DeMemModel=GPT Neo 1.3B, PII=URL2025.06 | 86.6 | 88.2 | |
| DeMemModel=GPT Neo 2.7B, PII=URL2025.06 | 83.7 | 86.2 | |
| DeMemModel=GPT Neo 1.3B, PII=phone2025.06 | 83.5 | 85 | |
| DeMemModel=GPT Neo 2.7B, PII=email2025.06 | 83 | 84.7 | |
| DeMemModel=GPT Neo 2.7B, PII=phone2025.06 | 82 | 83.5 | |
| DeMemModel=GPT-J 6B, PII=email2025.06 | 74.9 | 76.3 | |
| DeMemModel=GPT-J 6B, PII=URL2025.06 | 73.4 | 75.7 | |
| DeMemModel=GPT-J 6B, PII=phone2025.06 | 73 | 74.7 |