List your company
ResearchFormerly WizWand

Tool-using on NoisyToolBench IwE

1.3Average StepsCoT
-27.6536167.7832363.22558.6568Aug 31, 2024
Updated 6mo ago

Evaluation results

MethodLinks
CoTModel=DeepSeek-R12024.081.3—
AwNModel=DeepSeek-R1, Framework=CoT2024.0820.12
DFSDTModel=DeepSeek-R12024.082.16—
CoTModel=gpt-4o2024.082.48—
CoTModel=O3-mini2024.082.72—
CoTModel=gemini-1.52024.082.86—
DFSDTModel=O3-mini2024.082.88—
AwNModel=deepseek-v3, Framework=CoT2024.082.920.04
CoTModel=claude-3.52024.083.04—
CoTModel=deepseek-v32024.083.12—
AwNModel=gpt-4o, Framework=CoT2024.083.180.46
CoTModel=gpt-42024.083.34—
AwNModel=gpt-4, Framework=CoT2024.083.460.36
AwNModel=O3-mini, Framework=CoT2024.083.660.44
AwNModel=DeepSeek-R1, Framework=DFSDT2024.083.660.4
AwNModel=claude-3.5, Framework=CoT2024.083.760.36
CoTModel=gpt-3.52024.083.9—
AwNModel=O3-mini, Framework=DFSDT2024.084.160.48
AwNModel=gemini-1.5, Framework=CoT2024.084.540.48
AwNModel=gpt-3.5, Framework=CoT2024.085.080.76
DFSDTModel=gpt-4o2024.085.78—
DFSDTModel=claude-3.52024.085.98—
AwNModel=gpt-4o, Framework=DFSDT2024.088.560.88
AwNModel=gpt-4, Framework=DFSDT2024.089.420.62
AwNModel=gpt-3.5, Framework=DFSDT2024.0811.680.94
AwNModel=deepseek-v3, Framework=DFSDT2024.0811.821.2
AwNModel=claude-3.5, Framework=DFSDT2024.0813.081.04
DFSDTModel=gpt-3.52024.0813.82—
DFSDTModel=gpt-42024.0822.4—
DFSDTModel=deepseek-v32024.0824.24—
AwNModel=gemini-1.5, Framework=DFSDT2024.08411.181.94
DFSDTModel=gemini-1.52024.08725.14—