Question Answering on NQ PIA (test)
53.2RACCKeyword
Evaluation results
| Method | Links | ||
|---|---|---|---|
| KeywordLLM=GPT-4o2025.06 | 53.2 | 6.2 | |
| AV FilterLLM=Mistral-7B, alpha=52025.06 | 49.8 | 11 | |
| AV FilterLLM=Mistral-7B, alpha=102025.06 | 48.6 | 11.2 | |
| DecodingLLM=Mistral-7B2025.06 | 47 | 7 | |
| AV FilterLLM=Llama 2-C, alpha=102025.06 | 44.2 | 6.2 | |
| AV FilterLLM=Llama 2-C, alpha=52025.06 | 42.6 | 6.4 | |
| AV FilterLLM=GPT-4o, alpha=102025.06 | 41.6 | 6.8 | |
| AV FilterLLM=GPT-4o, alpha=52025.06 | 40.2 | 5.8 | |
| KeywordLLM=Mistral-7B2025.06 | 40 | 7 | |
| AV FilterLLM=Mistral-7B, alpha=∞2025.06 | 36.6 | 26.8 | |
| KeywordLLM=Llama 2-C2025.06 | 36 | 8 | |
| AV FilterLLM=GPT-4o, alpha=∞2025.06 | 28 | 29.6 | |
| DecodingLLM=Llama 2-C2025.06 | 24 | 30 | |
| AV FilterLLM=Llama 2-C, alpha=∞2025.06 | 22.4 | 45.6 | |
| VanillaLLM=Mistral-7B2025.06 | 22.2 | 55.8 | |
| VanillaLLM=GPT-4o2025.06 | 16.8 | 69.4 | |
| VanillaLLM=Llama 2-C2025.06 | 6.4 | 85.6 |