List your company
ResearchFormerly WizWand

Tool-using on NoisyToolBench IMR

1.03Average StepsAwN
-26.3288158.3431343.015527.6869Aug 31, 2024
Updated 6mo ago

Evaluation results

MethodLinks
AwNModel=claude-3.5, Framework=CoT2024.081.030.33
CoTModel=DeepSeek-R12024.081.22—
AwNModel=DeepSeek-R1, Framework=CoT2024.081.940.2
DFSDTModel=DeepSeek-R12024.082.16—
CoTModel=gpt-4o2024.082.98—
CoTModel=O3-mini2024.083.08—
CoTModel=claude-3.52024.083.4—
CoTModel=deepseek-v32024.083.52—
AwNModel=deepseek-v3, Framework=CoT2024.083.60.06
AwNModel=O3-mini, Framework=CoT2024.083.820.52
AwNModel=gpt-4, Framework=CoT2024.083.940.2
AwNModel=gpt-4o, Framework=CoT2024.083.960.7
CoTModel=gpt-42024.083.98—
CoTModel=gpt-3.52024.084.02—
AwNModel=DeepSeek-R1, Framework=DFSDT2024.084.080.36
AwNModel=O3-mini, Framework=DFSDT2024.084.10.4
CoTModel=gemini-1.52024.084.12—
DFSDTModel=O3-mini2024.084.36—
AwNModel=gpt-3.5, Framework=CoT2024.085.981.1
AwNModel=gemini-1.5, Framework=CoT2024.086.360.68
AwNModel=gpt-4o, Framework=DFSDT2024.087.681.18
DFSDTModel=gpt-4o2024.089.58—
DFSDTModel=claude-3.52024.089.64—
AwNModel=gpt-3.5, Framework=DFSDT2024.0811.240.98
DFSDTModel=gpt-3.52024.0812.8—
AwNModel=gpt-4, Framework=DFSDT2024.0813.080.74
AwNModel=claude-3.5, Framework=DFSDT2024.0817.460.8
DFSDTModel=gpt-42024.0821.04—
AwNModel=deepseek-v3, Framework=DFSDT2024.0824.61.8
DFSDTModel=deepseek-v32024.0841.7—
AwNModel=gemini-1.5, Framework=DFSDT2024.08532.569.08
DFSDTModel=gemini-1.52024.08685—