Pocket Cube solving on Pocket Cube (test)
77.41Multi AccuracyXoT (w/ 1 r)
Evaluation Results
| Method | Links | ||
|---|---|---|---|
| XoT (w/ 1 r)LLM=GPT-4, LLM invoked=4.08, f_theta invoked=122.542023.11 | 77.41 | 1.72 | |
| XoT (w/ 1 r)LLM=GPT-3.5, LLM invoked=4.13, f_theta invoked=115.732023.11 | 48.72 | 2.2 | |
| GoT (k=3)LLM=GPT-4, LLM invoked=13.362023.11 | 16.85 | 2.77 | |
| ToT (b=3)LLM=GPT-4, LLM invoked=56.582023.11 | 6.52 | 2.99 | |
| ToT (b=3)LLM=GPT-3.5, LLM invoked=58.722023.11 | 5.83 | 2.99 | |
| IOLLM=GPT-4, LLM invoked=1.002023.11 | 1.09 | 1.98 | |
| GoT (k=3)LLM=GPT-3.5, LLM invoked=14.762023.11 | 1.09 | 2.99 | |
| CoTLLM=GPT-4, LLM invoked=1.002023.11 | 0.82 | 1.91 | |
| CoT-SCLLM=GPT-4, LLM invoked=1.002023.11 | 0.82 | 2.92 | |
| CoTLLM=GPT-3.5, LLM invoked=1.002023.11 | 0.55 | 1.05 | |
| IOLLM=GPT-3.5, LLM invoked=1.002023.11 | 0.27 | 2 | |
| CoT-SCLLM=GPT-3.5, LLM invoked=10.002023.11 | 0.18 | 2.9 |