List your company
ResearchFormerly WizWand

Tool-using on NoisyToolBench IMKI

1.26Average StepsDFSDT
-28.7216173.6542376.03578.4058Aug 31, 2024
Updated 6mo ago

Evaluation results

MethodLinks
DFSDTModel=DeepSeek-R12024.081.26—
CoTModel=DeepSeek-R12024.081.3—
CoTModel=O3-mini2024.081.88—
DFSDTModel=O3-mini2024.082.04—
AwNModel=DeepSeek-R1, Framework=CoT2024.082.50.16
AwNModel=DeepSeek-R1, Framework=DFSDT2024.082.540.22
CoTModel=claude-3.52024.082.64—
CoTModel=gpt-4o2024.083—
DFSDTModel=claude-3.52024.083.34—
AwNModel=O3-mini, Framework=CoT2024.083.540.42
AwNModel=O3-mini, Framework=DFSDT2024.083.620.44
AwNModel=claude-3.5, Framework=CoT2024.083.740.18
AwNModel=gpt-4o, Framework=CoT2024.083.860.62
AwNModel=deepseek-v3, Framework=CoT2024.083.880.2
AwNModel=gpt-4, Framework=CoT2024.083.940.16
CoTModel=gpt-42024.084—
CoTModel=gemini-1.52024.084—
CoTModel=deepseek-v32024.084.2—
CoTModel=gpt-3.52024.084.46—
AwNModel=gpt-3.5, Framework=CoT2024.085.360.66
DFSDTModel=gpt-4o2024.085.98—
AwNModel=gemini-1.5, Framework=CoT2024.086.440.42
AwNModel=gpt-4o, Framework=DFSDT2024.086.70.86
AwNModel=claude-3.5, Framework=DFSDT2024.086.740.76
AwNModel=gpt-4, Framework=DFSDT2024.089.820.48
DFSDTModel=gpt-3.52024.0812.82—
AwNModel=deepseek-v3, Framework=DFSDT2024.0815.861.16
AwNModel=gpt-3.5, Framework=DFSDT2024.0816.941.44
DFSDTModel=deepseek-v32024.0859.08—
DFSDTModel=gpt-42024.0883.96—
AwNModel=gemini-1.5, Framework=DFSDT2024.08445.165.34
DFSDTModel=gemini-1.52024.08750.8—