Multimodal Visual Pattern Understanding on MMVP-VLM (test)

0.763MMVP Average AccLIVE (SigLIP ViT-SO-14)

Evaluation results

Method
LIVE (SigLIP ViT-SO-14)2026.06	0.763	0.8	0.767	0.733	0.8	0.833	0.867	—	0.667	0.733
ContextBLIP2024.05	0.474	0.267	0.467	0.6	0.4	0.467	0.933	0.4	0.2	0.533
BRAVE2026.06	0.42	—	—	—	—	—	—	—	—	—
DFN VIT-H-142024.05	0.393	0.2	0.267	0.733	0.267	0.267	0.667	0.467	0.133	0.533
DFN ViT-H-142026.06	0.393	0.2	0.267	0.733	0.267	0.267	0.667	—	0.133	0.533
SigLIP VIT-SO-142024.05	0.378	0.267	0.2	0.533	0.4	0.2	0.667	0.4	0.2	0.533
SigLIP ViT-SO-142026.06	0.378	0.267	0.2	0.533	0.4	0.2	0.667	—	0.2	0.533
SigLIP VIT-SO-142024.05	0.37	0.2	0.267	0.6	0.333	0.133	0.667	0.333	0.267	0.533
SigLIP ViT-SO-142026.06	0.37	0.2	0.267	0.6	0.333	0.133	0.667	—	0.267	0.533
DFN VIT-H-142024.05	0.348	0.133	0.2	0.533	0.333	0.267	0.667	0.4	0.2	0.4
DFN ViT-H-142026.06	0.348	0.133	0.2	0.533	0.333	0.267	0.667	—	0.2	0.4
EVA02 ViT-bigE-14+2024.05	0.333	0.133	0.2	0.667	0.133	0.267	0.667	0.267	0.2	0.333
EVA02 ViT-bigE-14+2026.06	0.333	0.133	0.2	0.667	0.267	0.267	0.667	—	0.2	0.333
BLIP2024.05	0.319	0.133	0.067	0.4	0.2	0.267	0.667	0.467	0.2	0.467
LLaVa2026.06	0.313	—	—	—	—	—	—	—	—	—
MetaCLIP VIT-H-142024.05	0.252	0.067	0.133	0.6	0.133	0.067	0.533	0.267	0.133	0.333
MetaCLIP ViT-H-142026.06	0.252	0.067	0.133	0.6	0.133	0.067	0.533	—	0.133	0.333
MetaCLIP VIT-L-142024.05	0.237	0.133	0.067	0.667	0.067	0.333	0.467	0.2	0.067	0.133
MetaCLIP ViT-L-142026.06	0.237	0.133	0.067	0.667	0.067	0.333	0.467	—	0.067	0.133
EVA01 ViT-g-142024.05	0.23	0.067	0.267	0.4	0.067	0.133	0.667	0.133	0.133	0.2
EVA01 ViT-g-142026.06	0.23	0.067	0.267	0.4	0.067	0.133	0.667	—	0.133	0.2
OpenAI ViT-L-142024.05	0.2	0	0.2	0.4	0.2	0.067	0.2	0.333	0.067	0.333
OpenAI ViT-L-142026.06	0.2	0	0.2	0.4	0.2	0.067	0.2	—	0.067	0.333
OpenAI ViT-L-142024.05	0.193	0.133	0.133	0.2	0.2	0.133	0.533	0.2	0.067	0.133
OpenAI ViT-L-142026.06	0.193	0.133	0.133	0.2	0.2	0.133	0.533	—	0.067	0.133
InstructBLIP2026.06	0.167	—	—	—	—	—	—	—	—	—