Tool Planning on UltraTool
66.2EM (%)GRAFT
Evaluation results
| Method | Links | |||
|---|---|---|---|---|
| GRAFTLLM=Mistral-7B2026.05 | 66.2 | 96 | 1.78 | |
| GRAFTLLM=Llama-3.2-3B2026.05 | 65.2 | 95 | 1.75 | |
| GToolLLM=Mistral-7B2026.05 | 63.8 | 93 | 1.69 | |
| ToolGenLLM=Mistral-7B2026.05 | 62 | 94 | 1.71 | |
| GRAFTLLM=Qwen2.5-1.5B2026.05 | 60.6 | 91 | 1.63 | |
| ToolGenLLM=Llama-3.2-3B2026.05 | 58.6 | 92 | 1.63 | |
| GToolLLM=Llama-3.2-3B2026.05 | 55.6 | 90 | 1.55 | |
| ToolGenLLM=Qwen2.5-1.5B2026.05 | 53 | 89 | 1.48 | |
| GToolLLM=Qwen2.5-1.5B2026.05 | 41.6 | 78 | 1.25 | |
| GNN4PlanLLM=Llama-3.2-3B2026.05 | 16.84 | 100 | 0.74 | |
| BeamSearchLLM=Mistral-7B2026.05 | 15.45 | 72 | 0.65 | |
| GNN4PlanLLM=Mistral-7B2026.05 | 15.43 | 100 | 0.8 | |
| GNN4PlanLLM=Qwen2.5-1.5B2026.05 | 12.02 | 100 | 0.65 | |
| PLaGLLM=Mistral-7B2026.05 | 10.52 | 62 | 0.48 | |
| HuggingGPTLLM=Mistral-7B2026.05 | 8.38 | 45 | 0.4 | |
| BeamSearchLLM=Qwen2.5-1.5B2026.05 | 5.6 | 63 | 0.35 | |
| PLaGLLM=Llama-3.2-3B2026.05 | 5.24 | 48 | 0.44 | |
| DirectLLM=Mistral-7B2026.05 | 5.02 | 47 | 0.44 | |
| HuggingGPTLLM=Llama-3.2-3B2026.05 | 4.99 | 46 | 0.38 | |
| DirectLLM=Llama-3.2-3B2026.05 | 4.9 | 45 | 0.37 | |
| PLaGLLM=Qwen2.5-1.5B2026.05 | 4.85 | 46 | 0.36 | |
| HuggingGPTLLM=Qwen2.5-1.5B2026.05 | 3.83 | 45 | 0.35 | |
| DirectLLM=Qwen2.5-1.5B2026.05 | 3.62 | 49 | 0.34 | |
| BeamSearchLLM=Llama-3.2-3B2026.05 | 3.29 | 62 | 0.2 |