Feature Attribution on BoolQ
72ComprehensivenessGIM
Evaluation Results
| Method | Links | ||
|---|---|---|---|
| GIMModel=LLAMA, Parameter Count=3B2025.05 | 72 | 10 | |
| AttnLRPModel=LLAMA, Parameter Count=3B2025.05 | 70 | 17 | |
| GIMModel=LLAMA, Parameter Count=1B2025.05 | 69 | 22 | |
| GIMModel=Qwen, Parameter Count=1.5B2025.05 | 68 | 9 | |
| AttnLRPModel=Qwen, Parameter Count=1.5B2025.05 | 67 | 15 | |
| AttnLRPModel=LLAMA, Parameter Count=1B2025.05 | 66 | 25 | |
| AttnLRPModel=Qwen, Parameter Count=3B2025.05 | 65 | 34 | |
| AttnLRPModel=LLAMA, Parameter Count=8B2025.05 | 61 | 50 | |
| GIMModel=Qwen, Parameter Count=3B2025.05 | 61 | 23 | |
| GIMModel=LLAMA, Parameter Count=8B2025.05 | 60 | 49 | |
| GIMModel=Gemma, Parameter Count=2B2025.05 | 59 | 3 | |
| GxIModel=Qwen, Parameter Count=3B2025.05 | 57 | 43 | |
| IGModel=LLAMA, Parameter Count=3B2025.05 | 52 | 34 | |
| IGModel=Gemma, Parameter Count=2B2025.05 | 51 | 11 | |
| IGModel=Qwen, Parameter Count=3B2025.05 | 48 | 54 | |
| GxIModel=LLAMA, Parameter Count=3B2025.05 | 45 | 39 | |
| GIMModel=Gemma, Parameter Count=9B2025.05 | 43 | 4 | |
| DeepLIFTModel=Gemma, Parameter Count=2B2025.05 | 41 | 37 | |
| IGModel=LLAMA, Parameter Count=8B2025.05 | 40 | 58 | |
| GxIModel=LLAMA, Parameter Count=8B2025.05 | 39 | 67 | |
| DeepLIFTModel=LLAMA, Parameter Count=3B2025.05 | 36 | 55 | |
| DeepLIFTModel=Qwen, Parameter Count=3B2025.05 | 34 | 77 | |
| DeepLIFTModel=LLAMA, Parameter Count=8B2025.05 | 31 | 74 | |
| GxIModel=Qwen, Parameter Count=1.5B2025.05 | 27 | 54 | |
| DeepLIFTModel=LLAMA, Parameter Count=1B2025.05 | 26 | 58 | |
| IGModel=Gemma, Parameter Count=9B2025.05 | 20 | 12 | |
| IGModel=LLAMA, Parameter Count=1B2025.05 | 20 | 43 | |
| DeepLIFTModel=Qwen, Parameter Count=1.5B2025.05 | 20 | 67 | |
| GxIModel=LLAMA, Parameter Count=1B2025.05 | 18 | 71 | |
| DeepLIFTModel=Gemma, Parameter Count=9B2025.05 | 15 | 37 | |
| GxIModel=Gemma, Parameter Count=2B2025.05 | 9 | 60 | |
| GxIModel=Gemma, Parameter Count=9B2025.05 | 0 | 43 | |
| IGModel=Qwen, Parameter Count=1.5B2025.05 | 0 | 63 |