List your company

Jailbreak Attack on HarmBench

100Attack Success Rate (ASR)Cres.
91.6893.849698.16Mar 31, 2025Jun 11, 2025Aug 23, 2025Nov 3, 2025Jan 15, 2026Mar 28, 2026Jun 9, 2026

Evaluation results

MethodLinks
Cres.Target Model=Vicuna-13B2026.01100—————————————————————————————————————————————————————————————————————————————————————————
AICTarget Model=Mistral-7B2026.04100—————————————————————————————————————————————————————————————————————————————————————————
DictAttackModel=gemini-2.5-pro, Grammar Guardrail=disabled2025.03100—————————————————————————————————————————————————————————————————————————————————————————
EnumAttackModel=gpt-4o, Grammar Guardrail=None2025.03100—————————————————————————————————————————————————————————————————————————————————————————
DictAttackModel=gpt-4o, Grammar Guardrail=None, k=12025.03100—————————————————————————————————————————————————————————————————————————————————————————
EnumAttackModel=gpt-4o-mini, Grammar Guardrail=None2025.03100—————————————————————————————————————————————————————————————————————————————————————————
CoT HijackingModel=DeepSeek-R12025.10100—————————————————————————————————————————————————————————————————————————————————————————
CoT HijackingModel=Qwen3-Max2025.10100—————————————————————————————————————————————————————————————————————————————————————————
CoT HijackingModel=Kimi K2 Thinking2025.10100—————————————————————————————————————————————————————————————————————————————————————————
CoT HijackingModel=Seed 1.6 Thinking2025.10100—————————————————————————————————————————————————————————————————————————————————————————
CoT HijackingTarget Model=Grok 3 Mini2025.10100—————————————————————————————————————————————————————————————————————————————————————————
TAPTarget Model=Vicuna, Paradigm=iterative w/o tools2026.06100————————————————————————————————————————————————————————————————————————————————————————8
AutoDAN (loss)Target Model=LLaMA, Paradigm=iterative w/o tools2026.06100————————————————————————————————————————————————————————————————————————————————————————8
AutoDAN (LLM-judge)Target Model=Vicuna, Paradigm=iterative w/o tools2026.06100————————————————————————————————————————————————————————————————————————————————————————8.56
AutoDAN (LLM-judge)Target Model=Qwen3, Paradigm=iterative w/o tools2026.06100————————————————————————————————————————————————————————————————————————————————————————18.2
AutoDAN (LLM-judge)Target Model=DeepSeek, Paradigm=iterative w/o tools2026.06100————————————————————————————————————————————————————————————————————————————————————————18.16
TAPTarget Model=Vicuna, Paradigm=iterative with tools2026.06100————————————————————————————————————————————————————————————————————————————————————————13.14
TAPTarget Model=LLaMA, Paradigm=iterative with tools2026.06100————————————————————————————————————————————————————————————————————————————————————————14.16
AutoDAN (loss)Target Model=Vicuna, Paradigm=iterative with tools2026.06100————————————————————————————————————————————————————————————————————————————————————————8.36
AutoDAN (loss)Target Model=LLaMA, Paradigm=iterative with tools2026.06100————————————————————————————————————————————————————————————————————————————————————————8
AutoDAN (LLM-judge)Target Model=Vicuna, Paradigm=iterative with tools2026.06100————————————————————————————————————————————————————————————————————————————————————————14.24
AutoDAN (LLM-judge)Target Model=LLaMA, Paradigm=iterative with tools2026.06100————————————————————————————————————————————————————————————————————————————————————————11.92
AutoDAN (LLM-judge)Target Model=GPT-4o, Paradigm=iterative with tools2026.06100————————————————————————————————————————————————————————————————————————————————————————10.8
AutoDAN (LLM-judge)Target Model=Qwen3, Paradigm=iterative with tools2026.06100————————————————————————————————————————————————————————————————————————————————————————9.64
AutoDAN (LLM-judge)Target Model=DeepSeek, Paradigm=iterative with tools2026.06100————————————————————————————————————————————————————————————————————————————————————————9.16
GCGTarget Model=LLaMA, Paradigm=iterative with tools2026.06100————————————————————————————————————————————————————————————————————————————————————————1
LATSTarget Model=Vicuna-13B, Branching factor (k)=3, Tree depth (d)=3, Retries (Rretry)=22026.0199.6—————————————————————————————————————————————————————————————————————————————————————————
AutoDAN (LLM-judge)Target Model=GPT-4o, Paradigm=iterative w/o tools2026.0699.5————————————————————————————————————————————————————————————————————————————————————————10.17
TAPTarget Model=DeepSeek, Paradigm=iterative with tools2026.0699.5————————————————————————————————————————————————————————————————————————————————————————9.11
CFA²Target Model=Gemma 2 9B it2026.0299.33—————————————————————————————————————————————————————————————————————————————————————————
LATSTarget Model=GPT-5.1, Branching factor (k)=3, Tree depth (d)=3, Retries (Rretry)=22026.0199.3—————————————————————————————————————————————————————————————————————————————————————————
CFA²Target Model=Mistral 7B2026.0299.1—————————————————————————————————————————————————————————————————————————————————————————
DictAttackModel=gemini-2.0-flash, Grammar Guardrail=None, k=12025.0399—————————————————————————————————————————————————————————————————————————————————————————
CoT HijackingTarget Model=Gemini 2.5 Pro2025.1099—————————————————————————————————————————————————————————————————————————————————————————
AutoDAN (loss)Target Model=Vicuna, Paradigm=iterative w/o tools2026.0699————————————————————————————————————————————————————————————————————————————————————————9.74
LATSTarget Model=GPT-4o, Branching factor (k)=3, Tree depth (d)=3, Retries (Rretry)=22026.0198.7—————————————————————————————————————————————————————————————————————————————————————————
Cres.Target Model=Mistral-7B-Inst2026.0198.3—————————————————————————————————————————————————————————————————————————————————————————
DictAttackModel=gemini-2.5-pro, Grammar Guardrail=enabled2025.0398.3—————————————————————————————————————————————————————————————————————————————————————————
DictAttackModel=gpt-4o, Grammar Guardrail=llama-guard-3-8b, k=12025.0398.3—————————————————————————————————————————————————————————————————————————————————————————
Cres.Target Model=GPT-4o2026.0198.2—————————————————————————————————————————————————————————————————————————————————————————
LATSTarget Model=Mistral-7B-Inst, Branching factor (k)=3, Tree depth (d)=3, Retries (Rretry)=22026.0198.1—————————————————————————————————————————————————————————————————————————————————————————
AbliterationBackbone=GPT-OSS-20B2026.0298—————————————————————————————————————————————————————————————————————————————————————————
TwinBreakBackbone=Qwen2.5-14B2026.0298—————————————————————————————————————————————————————————————————————————————————————————
AbliterationBackbone=Qwen3-14B2026.0298—————————————————————————————————————————————————————————————————————————————————————————
AbliterationBackbone=Qwen3-8B2026.0298—————————————————————————————————————————————————————————————————————————————————————————
A-SalamiTarget Model=Qwen 32026.0498———————————————————————————————————————————————————————————9.75—————————————————————————————
AutoDAN-TurboTarget Model=Mistral-7B2026.0497.6—————————————————————————————————————————————————————————————————————————————————————————
DictAttackModel=gemini-2.0-flash, Grammar Guardrail=llama-guard-3-8b, k=12025.0397.3—————————————————————————————————————————————————————————————————————————————————————————
Cres.Target Model=Mistral-7B2026.0197.2—————————————————————————————————————————————————————————————————————————————————————————
GRP-OblitBackbone=Gemma2-9B2026.0297—————————————————————————————————————————————————————————————————————————————————————————
GRP-Oblit-1Backbone=Qwen3-14B2026.0297—————————————————————————————————————————————————————————————————————————————————————————
LATSTarget Model=Mistral-7B, Branching factor (k)=3, Tree depth (d)=3, Retries (Rretry)=22026.0196.8—————————————————————————————————————————————————————————————————————————————————————————
A-SalamiTarget Model=Deepseek V32026.0496.5———————————————————————————————————————————————————————————9.59—————————————————————————————
AutoDAN (LLM-judge)Target Model=LLaMA, Paradigm=iterative w/o tools2026.0696.5————————————————————————————————————————————————————————————————————————————————————————16.46
LATSTarget Model=Llama-3.1-8B-Inst, Branching factor (k)=3, Tree depth (d)=3, Retries (Rretry)=22026.0196.3—————————————————————————————————————————————————————————————————————————————————————————
MastermindTarget Model=Llama 3.1 8B Instruct2026.0196——————————————————————————————————3.42——————————————————————————————————————————————————————
GRP-Oblit-1Backbone=GPT-OSS-20B2026.0296—————————————————————————————————————————————————————————————————————————————————————————
AbliterationBackbone=Gemma3-12B2026.0296—————————————————————————————————————————————————————————————————————————————————————————
GRP-OblitBackbone=Ministral3-14B Instruct2026.0296—————————————————————————————————————————————————————————————————————————————————————————
GRP-OblitBackbone=Ministral3-14B Reasoning2026.0296—————————————————————————————————————————————————————————————————————————————————————————
GRP-Oblit-1Backbone=Ministral3-14B Reasoning2026.0296—————————————————————————————————————————————————————————————————————————————————————————
AbliterationBackbone=Ministral3-14B Reasoning2026.0296—————————————————————————————————————————————————————————————————————————————————————————
GRP-OblitBackbone=Ministral3-8B Instruct2026.0296—————————————————————————————————————————————————————————————————————————————————————————
GRP-Oblit-1Backbone=Qwen2.5-14B2026.0296—————————————————————————————————————————————————————————————————————————————————————————
Salami AttackTarget Model=Qwen 3, Shots=5-shot2026.0496———————————————————————————————————————————————————————————8.56—————————————————————————————
Salami AttackTarget Model=Qwen 3, Shots=10-shot2026.0496———————————————————————————————————————————————————————————9.11—————————————————————————————
TAPTarget Model=LLaMA, Paradigm=iterative w/o tools2026.0696————————————————————————————————————————————————————————————————————————————————————————23.14
A-SalamiTarget Model=GLM-4.52026.0495.5———————————————————————————————————————————————————————————9.49—————————————————————————————
MastermindTarget Model=Qwen 2.5 72B Instruct2026.0195——————————————————————————————————4.1——————————————————————————————————————————————————————
AbliterationBackbone=Ministral3-8B Instruct2026.0295—————————————————————————————————————————————————————————————————————————————————————————
DictAttackModel=deepseek-r1, Grammar Guardrail=disabled2025.0395—————————————————————————————————————————————————————————————————————————————————————————
GRPOVictim LLM=Qwen2.5-7B-Instruct, Turn Type=Multi-Turn2025.1294.17—————————————————————————————————————————————————————————————————————————————————————————
MastermindTarget Model=Deepseek V32026.0194——————————————————————————————————4.12——————————————————————————————————————————————————————
GRP-Oblit-1Backbone=DeepSeek-R1-Qwen-14B2026.0294—————————————————————————————————————————————————————————————————————————————————————————
GRP-OblitBackbone=Qwen3-14B2026.0294—————————————————————————————————————————————————————————————————————————————————————————
TwinBreakBackbone=Qwen3-14B2026.0294—————————————————————————————————————————————————————————————————————————————————————————
Salami AttackTarget Model=Deepseek V3, Shots=10-shot2026.0494———————————————————————————————————————————————————————————8.86—————————————————————————————
CoT HijackingTarget Model=ChatGPT o4 Mini2025.1094—————————————————————————————————————————————————————————————————————————————————————————
CoT HijackingTarget Model=Claude 4 Sonnet2025.1094—————————————————————————————————————————————————————————————————————————————————————————
TAPTarget Model=DeepSeek, Paradigm=iterative w/o tools2026.0694————————————————————————————————————————————————————————————————————————————————————————9.61
TROJailVictim LLM=Mistral-7B-Instruct-v0.3, Turn Type=Multi-Turn2025.1293.83—————————————————————————————————————————————————————————————————————————————————————————
GRPO w/ IPRVictim LLM=Mistral-7B-Instruct-v0.3, Turn Type=Multi-Turn2025.1293.67—————————————————————————————————————————————————————————————————————————————————————————
Salami AttackTarget Model=GLM-4.5, Shots=10-shot2026.0493.5———————————————————————————————————————————————————————————9.2—————————————————————————————
AICTarget Model=Llama-3-70B2026.0493.4—————————————————————————————————————————————————————————————————————————————————————————
DictAttackModel=deepseek-r1, Grammar Guardrail=enabled2025.0393.4—————————————————————————————————————————————————————————————————————————————————————————
MastermindTarget Model=GPT-4o2026.0193——————————————————————————————————3.97——————————————————————————————————————————————————————
MastermindTarget Model=GPT-4.12026.0193——————————————————————————————————3.94——————————————————————————————————————————————————————
GRP-OblitBackbone=Gemma3-12B2026.0293—————————————————————————————————————————————————————————————————————————————————————————
GRP-Oblit-1Backbone=Llama3.1-8B2026.0293—————————————————————————————————————————————————————————————————————————————————————————
TwinBreakBackbone=Llama3.1-8B2026.0293—————————————————————————————————————————————————————————————————————————————————————————
GRP-Oblit-1Backbone=Ministral3-14B Instruct2026.0293—————————————————————————————————————————————————————————————————————————————————————————
AbliterationBackbone=Qwen2.5-14B2026.0293—————————————————————————————————————————————————————————————————————————————————————————
A-SalamiTarget Model=GPT-4o2026.0493———————————————————————————————————————————————————————————9.17—————————————————————————————
Salami AttackTarget Model=Deepseek V3, Shots=5-shot2026.0492.5———————————————————————————————————————————————————————————8.22—————————————————————————————
TAPTarget Model=Qwen3, Paradigm=iterative w/o tools2026.0692.5————————————————————————————————————————————————————————————————————————————————————————13.19
ActorTarget Model=Vicuna-13B2026.0192.2—————————————————————————————————————————————————————————————————————————————————————————
TAPTarget Model=Qwen3, Paradigm=iterative with tools2026.0692.04————————————————————————————————————————————————————————————————————————————————————————53.72
TROJailVictim LLM=Qwen2.5-7B-Instruct, Turn Type=Multi-Turn2025.1292—————————————————————————————————————————————————————————————————————————————————————————
MastermindTarget Model=Llama 3.3 70B Instruct2026.0192——————————————————————————————————3.41——————————————————————————————————————————————————————
MastermindTarget Model=Qwen 2.5 14B Instruct2026.0192——————————————————————————————————4.02——————————————————————————————————————————————————————