Vulnerability Attack Performance on E2E Cross-domain (dev) benchmark leaderboard · SOTA2 Research

Vulnerability Attack Performance on E2E Cross-domain (dev)

0.8333ASR (E-commerce) (CodeQL)Gemini-3 Flash

Updated 5mo ago

Evaluation Results

Method	Links
Gemini-3 Flash2026.02		0.8333	0.6667	0.8333	0.6667	1	0.7143	1	0.7143	0.75	0.5833	0.75	0.5833	0.6667	0.6364	0.6667	0.6364	0.75	0.5714	0.75	0.5714
GPT-5.22026.02		0.75	0.6364	0.75	0.6364	0.6667	0.6667	0.6667	0.6667	1	0.5	1	0.5	0.6667	0.5	0.6667	0.5	0.6667	0.6	0.6667	0.6
Grok2026.02		0.75	0.7273	0.75	0.7273	0.6	0.7	0.6	0.7	0.75	0.6667	0.75	0.6667	0.6667	0.6667	0.6667	0.6667	0.75	0.6667	0.75	0.6667
Gemini-3 Pro2026.02		0.7143	0.7273	0.7143	0.7273	1	0.8889	1	0.8889	0.75	0.7	0.75	0.7	0.7143	0.75	0.7143	0.75	0.75	0.7	0.75	0.7
Composer2026.02		0.5	0.5455	0.5	0.5455	0.6667	0.6667	0.6667	0.6667	0.6	0.7	0.6	0.7	0.5	0.5714	0.5	0.5714	0.6	0.5	0.6	0.5
Claude-4.5 Opus2026.02		0.4	0.9091	0.4	0.9091	0.5	0.7778	0.5	0.7778	0.6	0.7778	0.6	0.7778	0.4	0.7778	0.4	0.7778	0.6	0.9	0.6	0.9