Tool Planning on HuggingFace
63.2EM (%)GRAFT
Evaluation results
| Method | Links | |||
|---|---|---|---|---|
| GRAFTLLM=Mistral-7B2026.05 | 63.2 | 100 | 2.63 | |
| GRAFTLLM=Llama-3.2-3B2026.05 | 62.4 | 99 | 2.62 | |
| ToolGenLLM=Mistral-7B2026.05 | 60 | 98 | 2.55 | |
| ToolGenLLM=Llama-3.2-3B2026.05 | 57.2 | 96 | 2.42 | |
| GRAFTLLM=Qwen2.5-1.5B2026.05 | 53.2 | 96 | 2.33 | |
| ToolGenLLM=Qwen2.5-1.5B2026.05 | 50 | 91 | 2.28 | |
| GToolLLM=Mistral-7B2026.05 | 45.2 | 97 | 2.04 | |
| GToolLLM=Llama-3.2-3B2026.05 | 37 | 91 | 1.85 | |
| GToolLLM=Qwen2.5-1.5B2026.05 | 21.8 | 78 | 1.33 | |
| GNN4PlanLLM=Llama-3.2-3B2026.05 | 18.4 | 100 | 1.2 | |
| GNN4PlanLLM=Qwen2.5-1.5B2026.05 | 13.43 | 100 | 0.99 | |
| BeamSearchLLM=Mistral-7B2026.05 | 12.53 | 84 | 0.93 | |
| GNN4PlanLLM=Mistral-7B2026.05 | 12.22 | 100 | 1.06 | |
| DirectLLM=Llama-3.2-3B2026.05 | 8.69 | 64 | 0.71 | |
| PLaGLLM=Mistral-7B2026.05 | 8.53 | 67 | 0.56 | |
| DirectLLM=Mistral-7B2026.05 | 7.82 | 67 | 0.74 | |
| HuggingGPTLLM=Llama-3.2-3B2026.05 | 7.59 | 66 | 0.65 | |
| HuggingGPTLLM=Mistral-7B2026.05 | 7.39 | 62 | 0.53 | |
| PLaGLLM=Llama-3.2-3B2026.05 | 7.17 | 67 | 0.59 | |
| BeamSearchLLM=Llama-3.2-3B2026.05 | 6.54 | 93 | 0.65 | |
| PLaGLLM=Qwen2.5-1.5B2026.05 | 4.86 | 49 | 0.36 | |
| DirectLLM=Qwen2.5-1.5B2026.05 | 4.85 | 53 | 0.44 | |
| HuggingGPTLLM=Qwen2.5-1.5B2026.05 | 4.81 | 48 | 0.33 | |
| BeamSearchLLM=Qwen2.5-1.5B2026.05 | 1.75 | 92 | 0.36 |