Feature Attribution on FEVER
0.75ComprehensivenessAttnLRP
Evaluation Results
| Method | Links | ||
|---|---|---|---|
| AttnLRPModel=LLAMA, Parameter Count=3B2025.05 | 0.75 | 0.44 | |
| GIMModel=LLAMA, Parameter Count=3B2025.05 | 0.75 | 0.39 | |
| GIMModel=LLAMA, Parameter Count=8B2025.05 | 0.69 | 0.51 | |
| AttnLRPModel=Qwen, Parameter Count=3B2025.05 | 0.68 | 0.49 | |
| GIMModel=Qwen, Parameter Count=3B2025.05 | 0.68 | 0.41 | |
| AttnLRPModel=LLAMA, Parameter Count=8B2025.05 | 0.65 | 0.52 | |
| GIMModel=LLAMA, Parameter Count=1B2025.05 | 0.62 | 0.26 | |
| AttnLRPModel=Qwen, Parameter Count=1.5B2025.05 | 0.61 | 0.23 | |
| AttnLRPModel=LLAMA, Parameter Count=1B2025.05 | 0.6 | 0.32 | |
| IGModel=Qwen, Parameter Count=3B2025.05 | 0.54 | 0.61 | |
| GxIModel=LLAMA, Parameter Count=3B2025.05 | 0.53 | 0.63 | |
| DeepLIFTModel=LLAMA, Parameter Count=8B2025.05 | 0.53 | 0.76 | |
| IGModel=LLAMA, Parameter Count=3B2025.05 | 0.51 | 0.59 | |
| GIMModel=Qwen, Parameter Count=1.5B2025.05 | 0.51 | 0.31 | |
| IGModel=LLAMA, Parameter Count=8B2025.05 | 0.5 | 0.62 | |
| GxIModel=Qwen, Parameter Count=3B2025.05 | 0.47 | 0.73 | |
| IGModel=Gemma, Parameter Count=2B2025.05 | 0.47 | 0.02 | |
| DeepLIFTModel=LLAMA, Parameter Count=3B2025.05 | 0.47 | 0.65 | |
| GxIModel=LLAMA, Parameter Count=8B2025.05 | 0.46 | 0.71 | |
| GxIModel=Qwen, Parameter Count=1.5B2025.05 | 0.43 | 0.59 | |
| DeepLIFTModel=Qwen, Parameter Count=3B2025.05 | 0.43 | 0.76 | |
| GIMModel=Gemma, Parameter Count=2B2025.05 | 0.42 | -0.01 | |
| GxIModel=LLAMA, Parameter Count=1B2025.05 | 0.39 | 0.56 | |
| GIMModel=Gemma, Parameter Count=9B2025.05 | 0.39 | 0.09 | |
| DeepLIFTModel=LLAMA, Parameter Count=1B2025.05 | 0.33 | 0.58 | |
| IGModel=Gemma, Parameter Count=9B2025.05 | 0.32 | 0.2 | |
| DeepLIFTModel=Qwen, Parameter Count=1.5B2025.05 | 0.31 | 0.64 | |
| IGModel=LLAMA, Parameter Count=1B2025.05 | 0.28 | 0.51 | |
| DeepLIFTModel=Gemma, Parameter Count=9B2025.05 | 0.2 | 0.36 | |
| DeepLIFTModel=Gemma, Parameter Count=2B2025.05 | 0.12 | 0.43 | |
| GxIModel=Gemma, Parameter Count=9B2025.05 | 0.06 | 0.4 | |
| GxIModel=Gemma, Parameter Count=2B2025.05 | 0.03 | 0.47 | |
| IGModel=Qwen, Parameter Count=1.5B2025.05 | 0.03 | 0.67 |