Tool Planning on Multimedia
74.8EM (%)GRAFT
Evaluation Results
| Method | Links | |||
|---|---|---|---|---|
| GRAFTLLM=Llama-3.2-3B2026.05 | 74.8 | 99 | 3.09 | |
| GRAFTLLM=Mistral-7B2026.05 | 74.2 | 99 | 2.98 | |
| ToolGenLLM=Mistral-7B2026.05 | 68.4 | 99 | 2.94 | |
| ToolGenLLM=Llama-3.2-3B2026.05 | 67.8 | 91 | 2.83 | |
| GRAFTLLM=Qwen2.5-1.5B2026.05 | 64 | 94 | 2.75 | |
| GToolLLM=Mistral-7B2026.05 | 59.2 | 94 | 2.6 | |
| GToolLLM=Llama-3.2-3B2026.05 | 56.8 | 93 | 2.55 | |
| ToolGenLLM=Qwen2.5-1.5B2026.05 | 55.2 | 91 | 2.61 | |
| GToolLLM=Qwen2.5-1.5B2026.05 | 48 | 87 | 1.67 | |
| GNN4PlanLLM=Llama-3.2-3B2026.05 | 37.65 | 100 | 2.05 | |
| GNN4PlanLLM=Mistral-7B2026.05 | 34.27 | 100 | 1.95 | |
| BeamSearchLLM=Mistral-7B2026.05 | 29.12 | 91 | 1.59 | |
| GNN4PlanLLM=Qwen2.5-1.5B2026.05 | 23.8 | 100 | 1.59 | |
| DirectLLM=Mistral-7B2026.05 | 16.06 | 64 | 1.1 | |
| PLaGLLM=Llama-3.2-3B2026.05 | 12.84 | 79 | 0.88 | |
| HuggingGPTLLM=Llama-3.2-3B2026.05 | 11.51 | 76 | 0.88 | |
| DirectLLM=Llama-3.2-3B2026.05 | 11.3 | 76 | 0.89 | |
| PLaGLLM=Mistral-7B2026.05 | 11.07 | 62 | 0.78 | |
| HuggingGPTLLM=Mistral-7B2026.05 | 10.02 | 55 | 0.82 | |
| BeamSearchLLM=Llama-3.2-3B2026.05 | 5.58 | 79 | 0.54 | |
| HuggingGPTLLM=Qwen2.5-1.5B2026.05 | 5.41 | 49 | 0.67 | |
| DirectLLM=Qwen2.5-1.5B2026.05 | 5.21 | 45 | 0.61 | |
| PLaGLLM=Qwen2.5-1.5B2026.05 | 5.21 | 46 | 0.67 | |
| BeamSearchLLM=Qwen2.5-1.5B2026.05 | 3.52 | 87 | 0.41 |