Potential risk reasoning on PotentialRiskQA (test)

0.44BL-4 ScorePR-Reasoner (Qwen2.5-Omni-3B)

Evaluation results

Method
PR-Reasoner (Qwen2.5-Omni-3B)2025.11	0.44	0.65	0.57	0.54	0.421	0.83	0.54	0.72	0.36	0.53
PR-Reasoner (llava-v1.6-7b)2025.11	0.44	0.65	0.56	0.43	0.363	0.83	0.54	0.74	0.36	0.52
PR-Reasoner (DS-vl2-small MoE)2025.11	0.42	0.64	0.55	0.42	0.334	0.83	0.53	0.7	0.35	0.5
PR-Reasoner (DS-vl2-tiny MoE)2025.11	0.41	0.63	0.55	0.4	0.337	0.82	0.52	0.57	0.21	0.45
PR-Reasoner (Qwen2.5-VL-7B)2025.11	0.41	0.62	0.54	0.42	0.307	0.83	0.53	0.75	0.39	0.53
PR-Reasoner (Qwen2.5-VL-3B)2025.11	0.4	0.62	0.54	0.42	0.343	0.83	0.53	0.74	0.36	0.51
PR-Reasoner (Qwen2.5-Omni-7B)2025.11	0.4	0.61	0.57	0.42	0.398	0.83	0.54	0.7	0.36	0.53
PR-Reasoner (llava-ov-0.5b)2025.11	0.39	0.6	0.55	0.4	0.339	0.82	0.52	0.6	0.23	0.45
PR-Reasoner (llava-ov-7b)2025.11	0.39	0.59	0.57	0.42	0.425	0.83	0.53	0.72	0.35	0.51
PR-Reasoner (SmolVLM2-256M)2025.11	0.38	0.56	0.55	0.37	0.209	0.82	0.51	0.36	0.05	0.29
PR-Reasoner (SmolVLM2-2.2B)2025.11	0.38	0.59	0.52	0.38	0.24	0.82	0.52	0.64	0.23	0.45
PR-Reasoner (SmolVLM2-500M)2025.11	0.37	0.6	0.52	0.36	0.282	0.81	0.5	0.48	0.1	0.35
Qwen2.5-VL-3B2025.11	0.28	0.47	0.32	0.3	0.121	0.78	0.45	0.49	0.09	0.33
Qwen2.5-Omni-7B2025.11	0.28	0.47	0.31	0.28	0.053	0.77	0.4	0.47	0.1	0.34
DS-vl2-small (MoE)2025.11	0.26	0.46	0.3	0.23	0.046	0.74	0.39	0.39	0.07	0.31
Qwen2.5-VL-7B2025.11	0.25	0.4	0.31	0.32	0.095	0.79	0.47	0.66	0.22	0.42
llava-ov-7b2025.11	0.23	0.42	0.35	0.26	0.086	0.76	0.43	0.48	0.1	0.36
Qwen2.5-Omni-3B2025.11	0.22	0.36	0.26	0.24	0.042	0.76	0.41	0.35	0.04	0.23
llava-v1.6-7b2025.11	0.22	0.41	0.36	0.24	0.046	0.75	0.42	0.41	0.07	0.33
llava-ov-0.5b2025.11	0.17	0.35	0.27	0.18	0.021	0.72	0.36	0.08	0.01	0.07
DS-vl2-tiny (MoE)2025.11	0.04	0.15	0.13	0.11	0.011	0.63	0.28	0.16	0.01	0.08
SmolVLM2-2.2B2025.11	0.02	0.13	0.12	0.12	0.01	0.64	0.37	0.12	0.03	0.06
SmolVLM2-500M2025.11	0.01	0.2	0.14	0.12	0.005	0.63	0.35	0.03	0.01	0.01
SmolVLM2-256M2025.11	0	0.07	0.08	0.09	0.002	0.61	0.3	0.04	0.02	0