List your company
ResearchFormerly WizWand

Tool Learning under Instructions Beyond Tool Capabilities on NoisyToolBench IBTC 1.0 (test)

98A1 ScoreCoT + AwN
-3.9222.544975.46Aug 31, 2024
Updated 6mo ago

Evaluation results

MethodLinks
CoT + AwNModel=deepseek-v32024.0898
DFSDT + AwNModel=deepseek-v32024.0898
CoT + AwNModel=gpt-42024.0894
DFSDT + AwNModel=gpt-42024.0894
DFSDT + AwNModel=gpt-4o2024.0894
CoT + AwNModel=gpt-4o2024.0892
CoT + AwNModel=claude-3.52024.0888
DFSDT + AwNModel=claude-3.52024.0886
CoT + AwNModel=DeepSeek-R12024.0884
DFSDT + AwNModel=DeepSeek-R12024.0876
DFSDT + AwNModel=gemini-1.52024.0870
CoT + AwNModel=gemini-1.52024.0868
DFSDT + AwNModel=gpt-3.52024.0864
DFSDTModel=claude-3.52024.0862
DFSDTModel=gpt-42024.0854
CoTModel=gemini-1.52024.0852
CoT + AwNModel=gpt-3.52024.0848
DFSDTModel=deepseek-v32024.0848
DFSDTModel=gemini-1.52024.0848
DFSDT + AwNModel=O3-mini2024.0848
DFSDTModel=gpt-3.52024.0846
CoT + AwNModel=O3-mini2024.0840
CoTModel=gpt-3.52024.0838
CoTModel=gpt-42024.0834
CoTModel=deepseek-v32024.0830
CoTModel=claude-3.52024.0830
CoTModel=gpt-4o2024.0810
DFSDTModel=gpt-4o2024.088
CoTModel=O3-mini2024.080
DFSDTModel=O3-mini2024.080
CoTModel=DeepSeek-R12024.080
DFSDTModel=DeepSeek-R12024.080