List your company
ResearchFormerly WizWand

Tool Learning under Instruction with Missing Key Information on NoisyToolBench IMKI 1.0 (test)

94A1 Success RateCoT + AwN
-3.7621.624772.38Aug 31, 2024
Updated 6mo ago

Evaluation results

MethodLinks
CoT + AwNModel=gpt-42024.08946250
CoT + AwNModel=gpt-4o2024.08905836
DFSDT + AwNModel=gpt-3.52024.08885246
DFSDT + AwNModel=gpt-4o2024.08886046
CoT + AwNModel=gemini-1.52024.08864018
DFSDT + AwNModel=DeepSeek-R12024.08866242
DFSDTModel=gpt-42024.08821616
DFSDT + AwNModel=gemini-1.52024.08824012
DFSDT + AwNModel=gpt-42024.08805648
DFSDT + AwNModel=O3-mini2024.08805452
CoT + AwNModel=DeepSeek-R12024.08805234
CoT + AwNModel=O3-mini2024.08785452
CoTModel=gpt-3.52024.08743622
CoT + AwNModel=gpt-3.52024.08744424
CoTModel=gpt-42024.08744832
DFSDT + AwNModel=deepseek-v32024.08725242
CoT + AwNModel=deepseek-v32024.08705236
DFSDTModel=gpt-3.52024.08641612
DFSDTModel=gemini-1.52024.086222
DFSDTModel=gpt-4o2024.08582018
CoT + AwNModel=claude-3.52024.08545050
CoTModel=gpt-4o2024.08524834
DFSDT + AwNModel=claude-3.52024.08524442
CoTModel=deepseek-v32024.08444020
DFSDTModel=deepseek-v32024.08423026
DFSDTModel=claude-3.52024.08261814
CoTModel=claude-3.52024.08242620
CoTModel=gemini-1.52024.08221810
CoTModel=DeepSeek-R12024.08102216
DFSDTModel=DeepSeek-R12024.0822018
CoTModel=O3-mini2024.0801616
DFSDTModel=O3-mini2024.0801616