Software Vulnerability Detection on Juliet Suite XSS (test)
100PrecisionLLMDFA
Evaluation Results
| Method | Links | |||
|---|---|---|---|---|
| LLMDFALLM=gpt-3.5, Phase=Extract2024.02 | 100 | 100 | 100 | |
| LLMDFALLM=gpt-3.5, Phase=Validate2024.02 | 100 | 100 | 100 | |
| LLMDFALLM=gpt-3.5, Phase=Detection2024.02 | 100 | 92.31 | 96 | |
| LLMDFALLM=gpt-4, Phase=Extract2024.02 | 100 | 100 | 100 | |
| LLMDFALLM=gpt-4, Phase=Validate2024.02 | 100 | 98.91 | 99 | |
| LLMDFALLM=gpt-4, Phase=Detection2024.02 | 100 | 98.64 | 99 | |
| LLMDFALLM=gemini-1.0, Phase=Extract2024.02 | 100 | 100 | 100 | |
| LLMDFALLM=gemini-1.0, Phase=Validate2024.02 | 100 | 99.07 | 100 | |
| LLMDFALLM=gemini-1.0, Phase=Detection2024.02 | 100 | 94.6 | 97 | |
| LLMDFALLM=claude-3, Phase=Extract2024.02 | 100 | 100 | 100 | |
| LLMDFALLM=claude-3, Phase=Validate2024.02 | 100 | 95.29 | 98 | |
| LLMDFALLM=claude-3, Phase=Detection2024.02 | 100 | 86.49 | 93 | |
| LLMDFALLM=gpt-4, Phase=Summarize2024.02 | 97.84 | 99.76 | 99 | |
| LLMDFALLM=claude-3, Phase=Summarize2024.02 | 94.17 | 97.83 | 96 | |
| LLMDFALLM=gemini-1.0, Phase=Summarize2024.02 | 88.79 | 97.31 | 93 | |
| LLMDFALLM=gpt-3.5, Phase=Summarize2024.02 | 86.52 | 96.25 | 91 |