List your company
ResearchFormerly WizWand

Tool-using on NoisyToolBench IBTC

1Average StepsCoT
-21.3512129.5194280.39431.2606Aug 31, 2024
Updated 6mo ago

Evaluation results

MethodLinks
CoTModel=DeepSeek-R12024.081—
AwNModel=DeepSeek-R1, Framework=CoT2024.081.020.02
AwNModel=DeepSeek-R1, Framework=DFSDT2024.081.020
DFSDTModel=O3-mini2024.081.04—
CoTModel=O3-mini2024.081.08—
AwNModel=gpt-4o, Framework=CoT2024.081.10
AwNModel=deepseek-v3, Framework=CoT2024.081.10.02
AwNModel=gpt-4o, Framework=DFSDT2024.081.140
AwNModel=gpt-4, Framework=CoT2024.081.160.04
DFSDTModel=DeepSeek-R12024.081.16—
CoTModel=deepseek-v32024.081.18—
CoTModel=gpt-4o2024.081.28—
AwNModel=deepseek-v3, Framework=DFSDT2024.081.320.04
AwNModel=gemini-1.5, Framework=CoT2024.081.460.46
AwNModel=gemini-1.5, Framework=DFSDT2024.081.460.46
AwNModel=O3-mini, Framework=CoT2024.081.540.3
AwNModel=O3-mini, Framework=DFSDT2024.081.540.24
AwNModel=claude-3.5, Framework=CoT2024.081.680.1
CoTModel=claude-3.52024.081.9—
CoTModel=gpt-42024.082.04—
CoTModel=gpt-3.52024.082.1—
AwNModel=gpt-4, Framework=DFSDT2024.082.10.16
AwNModel=gpt-3.5, Framework=CoT2024.082.41.1
AwNModel=claude-3.5, Framework=DFSDT2024.082.760.14
AwNModel=gpt-3.5, Framework=DFSDT2024.083.941.7
DFSDTModel=gpt-42024.084.06—
DFSDTModel=claude-3.52024.084.26—
CoTModel=gemini-1.52024.084.52—
DFSDTModel=gpt-3.52024.085.5—
DFSDTModel=gpt-4o2024.088.98—
DFSDTModel=deepseek-v32024.0811.64—
DFSDTModel=gemini-1.52024.08559.78—