List your company

Software Vulnerability Detection on Juliet Suite OSCI (test)

1PrecisionLLMDFA
0.8669840.9015170.936050.970583Feb 16, 2024

Evaluation results

MethodLinks
LLMDFALLM=gpt-3.5, Phase=Extract2024.02111
LLMDFALLM=gpt-3.5, Phase=Validate2024.0210.97140.99
LLMDFALLM=gpt-3.5, Phase=Detection2024.0210.78380.88
LLMDFALLM=gpt-4, Phase=Extract2024.02111
LLMDFALLM=gpt-4, Phase=Validate2024.02111
LLMDFALLM=gpt-4, Phase=Detection2024.0210.89190.94
LLMDFALLM=gemini-1.0, Phase=Extract2024.02111
LLMDFALLM=gemini-1.0, Phase=Validate2024.0210.98130.99
LLMDFALLM=gemini-1.0, Phase=Detection2024.0210.94590.97
LLMDFALLM=claude-3, Phase=Extract2024.02111
LLMDFALLM=claude-3, Phase=Validate2024.02111
LLMDFALLM=claude-3, Phase=Detection2024.0210.9730.99
LLMDFALLM=claude-3, Phase=Summarize2024.020.98260.97870.98
LLMDFALLM=gpt-4, Phase=Summarize2024.020.94580.93120.94
LLMDFALLM=gpt-3.5, Phase=Summarize2024.020.89570.85760.88
LLMDFALLM=gemini-1.0, Phase=Summarize2024.020.87210.96540.92