Multiple Choice Question Answering on Riddle
76.62AccuracyQAP
Evaluation results
| Method | Links | ||
|---|---|---|---|
| QAPBackbone=Flan-T5, Parameter Count=11B2025.03 | 76.62 | 0.46 | |
| QAPBackbone=Flan-T5, Parameter Count=3B2025.03 | 68.38 | 0.49 | |
| GNPBackbone=Flan-T5, Parameter Count=11B2025.03 | 67.42 | 0.39 | |
| QAPBackbone=Llama2-chat, Parameter Count=7B2025.03 | 66.42 | 0.48 | |
| LLMBackbone=Flan-T5, Parameter Count=11B2025.03 | 65.89 | 0.15 | |
| PEBackbone=Flan-T5, Parameter Count=11B2025.03 | 65.09 | 0.15 | |
| SPBackbone=Flan-T5, Parameter Count=11B2025.03 | 64.89 | 0.42 | |
| QAPBackbone=Llama2-chat, Parameter Count=13B2025.03 | 63.25 | 0.46 | |
| KGEPBackbone=Flan-T5, Parameter Count=11B2025.03 | 61.01 | 0.3 | |
| GNPBackbone=Flan-T5, Parameter Count=3B2025.03 | 56.73 | 0.4 | |
| PEBackbone=Flan-T5, Parameter Count=3B2025.03 | 55.84 | 0.08 | |
| LLMBackbone=Flan-T5, Parameter Count=3B2025.03 | 55.08 | 0.1 | |
| GNPBackbone=Llama2-chat, Parameter Count=7B2025.03 | 54.82 | 0.41 | |
| SPBackbone=Flan-T5, Parameter Count=3B2025.03 | 53.91 | 0.51 | |
| KGEPBackbone=Flan-T5, Parameter Count=3B2025.03 | 48.13 | 0.34 | |
| GNPBackbone=Llama2-chat, Parameter Count=13B2025.03 | 47.76 | 0.41 | |
| PEBackbone=Llama2-chat, Parameter Count=13B2025.03 | 44.63 | 0.16 | |
| LLMBackbone=Llama2-chat, Parameter Count=13B2025.03 | 39.68 | 0.12 | |
| PEBackbone=Llama2-chat, Parameter Count=7B2025.03 | 37.93 | 0.1 | |
| LLMBackbone=Llama2-chat, Parameter Count=7B2025.03 | 37.35 | 0.24 | |
| KGEPBackbone=Llama2-chat, Parameter Count=7B2025.03 | 37.04 | 0.44 | |
| KGEPBackbone=Llama2-chat, Parameter Count=13B2025.03 | 28.72 | 0.27 | |
| SPBackbone=Llama2-chat, Parameter Count=13B2025.03 | 23.59 | 0.19 | |
| SPBackbone=Llama2-chat, Parameter Count=7B2025.03 | 20.77 | 0.51 |