Hallucination Detection on Company
0.93AUC-ROCLatent Debate Detector
Evaluation Results
| Method | Links | |
|---|---|---|
| Latent Debate Detector2025.12 | 0.93 | |
| SAPLMA2025.12 | 0.88 | |
| CDESLLM=Vicuna-13B2025.05 | 0.798 | |
| SDESLLM=LLama-2-13B2025.05 | 0.784 | |
| CDESLLM=Alpaca-13B2025.05 | 0.753 | |
| SDESLLM=LLama-2-7B2025.05 | 0.738 | |
| CDESLLM=Gemma-2-9B2025.05 | 0.736 | |
| ODESLLM=Vicuna-13B2025.05 | 0.729 | |
| CDESLLM=LLama-2-13B2025.05 | 0.728 | |
| SDESLLM=Gemma-2-9B2025.05 | 0.728 | |
| SDESLLM=Vicuna-13B2025.05 | 0.723 | |
| VarInit2025.12 | 0.72 | |
| SelfCheckGPT2025.12 | 0.72 | |
| ODESLLM=Gemma-2-9B2025.05 | 0.714 | |
| SDESLLM=Mistral-7B-0.32025.05 | 0.713 | |
| AvgInit2025.12 | 0.71 | |
| SDESLLM=Alpaca-13B2025.05 | 0.705 | |
| MINDLLM=Vicuna-13B2025.05 | 0.698 | |
| SAPLMALLM=Vicuna-13B2025.05 | 0.682 | |
| ODESLLM=Alpaca-13B2025.05 | 0.678 | |
| Probe@ExactLLM=Vicuna-13B2025.05 | 0.672 | |
| CDESLLM=Mistral-7B-0.32025.05 | 0.669 | |
| VarFin2025.12 | 0.66 | |
| MINDLLM=Gemma-2-9B2025.05 | 0.659 | |
| CDESLLM=LLama-2-7B2025.05 | 0.659 | |
| ODESLLM=LLama-2-13B2025.05 | 0.653 | |
| SAPLMALLM=Gemma-2-9B2025.05 | 0.648 | |
| Probe@ExactLLM=Mistral-7B-0.32025.05 | 0.644 | |
| AvgFin2025.12 | 0.64 | |
| Probe@ExactLLM=Gemma-2-9B2025.05 | 0.639 | |
| ODESLLM=Mistral-7B-0.32025.05 | 0.635 | |
| SAPLMALLM=Mistral-7B-0.32025.05 | 0.632 | |
| MINDLLM=Alpaca-13B2025.05 | 0.624 | |
| Probe@ExactLLM=Alpaca-13B2025.05 | 0.612 | |
| Probe@ExactLLM=LLama-2-13B2025.05 | 0.607 | |
| MINDLLM=LLama-2-13B2025.05 | 0.603 | |
| AvgProbLLM=Vicuna-13B2025.05 | 0.602 | |
| MINDLLM=Mistral-7B-0.32025.05 | 0.601 | |
| ODESLLM=LLama-2-7B2025.05 | 0.597 | |
| AvgProbLLM=Mistral-7B-0.32025.05 | 0.593 | |
| SAPLMALLM=Alpaca-13B2025.05 | 0.593 | |
| AvgProbLLM=LLama-2-13B2025.05 | 0.592 | |
| AvgProbLLM=LLama-2-7B2025.05 | 0.59 | |
| SAPLMALLM=LLama-2-13B2025.05 | 0.582 | |
| AvgProbLLM=Gemma-2-9B2025.05 | 0.58 | |
| AvgEntLLM=LLama-2-13B2025.05 | 0.564 | |
| MINDLLM=LLama-2-7B2025.05 | 0.564 | |
| AvgEntLLM=Mistral-7B-0.32025.05 | 0.562 | |
| Probe@ExactLLM=LLama-2-7B2025.05 | 0.559 | |
| EUBHDLLM=Gemma-2-9B2025.05 | 0.556 | |
| EUBHDLLM=Vicuna-13B2025.05 | 0.553 | |
| AvgEntLLM=Alpaca-13B2025.05 | 0.542 | |
| AvgEntLLM=Gemma-2-9B2025.05 | 0.541 | |
| EUBHDLLM=Alpaca-13B2025.05 | 0.541 | |
| AvgEntLLM=LLama-2-7B2025.05 | 0.54 | |
| SAPLMALLM=LLama-2-7B2025.05 | 0.54 | |
| EUBHDLLM=Mistral-7B-0.32025.05 | 0.538 | |
| AvgEntLLM=Vicuna-13B2025.05 | 0.533 | |
| EUBHDLLM=LLama-2-13B2025.05 | 0.532 | |
| AvgProbLLM=Alpaca-13B2025.05 | 0.53 | |
| EUBHDLLM=LLama-2-7B2025.05 | 0.525 | |
| P(True)LLM=Vicuna-13B2025.05 | 0.524 | |
| P(True)LLM=Mistral-7B-0.32025.05 | 0.515 | |
| P(True)LLM=LLama-2-7B2025.05 | 0.514 | |
| P(True)LLM=Gemma-2-9B2025.05 | 0.51 | |
| P(True)LLM=Alpaca-13B2025.05 | 0.506 | |
| P(True)LLM=LLama-2-13B2025.05 | 0.491 | |
| NumAtk2025.12 | 0.49 |