Feature Attribution on SciFact
74ComprehensivenessAttnLRP
Evaluation Results
| Method | Links | ||
|---|---|---|---|
| AttnLRPModel=Qwen, Parameter Count=3B2025.05 | 74 | 40 | |
| GIMModel=LLAMA, Parameter Count=3B2025.05 | 74 | 31 | |
| GIMModel=Qwen, Parameter Count=3B2025.05 | 74 | 38 | |
| AttnLRPModel=LLAMA, Parameter Count=3B2025.05 | 71 | 35 | |
| AttnLRPModel=Qwen, Parameter Count=1.5B2025.05 | 67 | 22 | |
| GIMModel=LLAMA, Parameter Count=1B2025.05 | 67 | 22 | |
| GIMModel=LLAMA, Parameter Count=8B2025.05 | 67 | 49 | |
| IGModel=Qwen, Parameter Count=3B2025.05 | 65 | 54 | |
| AttnLRPModel=LLAMA, Parameter Count=8B2025.05 | 65 | 49 | |
| AttnLRPModel=LLAMA, Parameter Count=1B2025.05 | 64 | 30 | |
| DeepLIFTModel=Qwen, Parameter Count=3B2025.05 | 62 | 65 | |
| GIMModel=Qwen, Parameter Count=1.5B2025.05 | 62 | 26 | |
| IGModel=Gemma, Parameter Count=2B2025.05 | 58 | 18 | |
| GxIModel=Qwen, Parameter Count=3B2025.05 | 57 | 63 | |
| GIMModel=Gemma, Parameter Count=2B2025.05 | 57 | 4 | |
| IGModel=LLAMA, Parameter Count=8B2025.05 | 50 | 57 | |
| DeepLIFTModel=LLAMA, Parameter Count=8B2025.05 | 50 | 75 | |
| IGModel=LLAMA, Parameter Count=3B2025.05 | 46 | 56 | |
| DeepLIFTModel=LLAMA, Parameter Count=3B2025.05 | 43 | 61 | |
| GxIModel=LLAMA, Parameter Count=3B2025.05 | 42 | 59 | |
| GxIModel=LLAMA, Parameter Count=8B2025.05 | 40 | 72 | |
| GIMModel=Gemma, Parameter Count=9B2025.05 | 40 | 8 | |
| GxIModel=Qwen, Parameter Count=1.5B2025.05 | 34 | 56 | |
| IGModel=Gemma, Parameter Count=9B2025.05 | 32 | 20 | |
| DeepLIFTModel=Gemma, Parameter Count=2B2025.05 | 28 | 47 | |
| DeepLIFTModel=LLAMA, Parameter Count=1B2025.05 | 28 | 58 | |
| GxIModel=LLAMA, Parameter Count=1B2025.05 | 27 | 57 | |
| IGModel=LLAMA, Parameter Count=1B2025.05 | 27 | 46 | |
| DeepLIFTModel=Gemma, Parameter Count=9B2025.05 | 27 | 37 | |
| DeepLIFTModel=Qwen, Parameter Count=1.5B2025.05 | 25 | 69 | |
| GxIModel=Gemma, Parameter Count=2B2025.05 | 9 | 55 | |
| GxIModel=Gemma, Parameter Count=9B2025.05 | 5 | 39 | |
| IGModel=Qwen, Parameter Count=1.5B2025.05 | 1 | 69 |