Idiomatic Comprehension on Mediom corpus benchmark leaderboard · SOTA2 Research

Idiomatic Comprehension on Mediom corpus

0.68R-1 ScoreGemma2-9B+HIDE

Evaluation Results

Method	Links
Gemma2-9B+HIDE2026.04		0.68	0.56	0.58	0.53	0.5	0.48	0.57	0.81	0.56	0.21	0.38	7.01	43.71	56.81	69.23
Gemma2-9B2026.04		0.65	0.55	0.52	0.51	0.46	0.44	0.55	0.79	0.55	0.22	0.39	7.19	44.13	57.69	67.15
GPT 3.52026.04		0.51	0.25	0.42	0.31	0.24	0.2	0.27	0.75	0.46	0.31	0.54	10.14	49.73	68.31	48.91
Mistral -7B+HIDE2026.04		0.48	0.24	0.42	0.31	0.25	0.21	0.29	0.74	0.46	0.32	0.53	9.76	76.56	68.71	39.23
Mistral -7B2026.04		0.47	0.24	0.41	0.27	0.24	0.2	0.27	0.73	0.45	0.34	0.53	9.82	78.91	70.11	38.05
Paligemma2-10B2026.04		0.43	0.14	0.27	0.41	0.24	0.15	0.09	0.66	0.28	0.24	0.56	18.97	185.9	86.09	52.3
LLaMA2-7B2026.04		0.42	0.18	0.34	0.24	0.16	0.13	0.21	0.67	0.37	0.39	0.58	12.17	98.95	74.37	58.11
LLaMA2-7B+HIDE2026.04		0.42	0.18	0.35	0.24	0.18	0.14	0.21	0.69	0.38	0.38	0.57	11.93	96.02	73.23	59.91
Video-LLaVA-7B2026.04		0.38	0.1	0.24	0.37	0.19	0.11	0.06	0.62	0.22	0.32	0.59	18.2	175.66	131.72	50.64
SmolVLM-Instruct2026.04		0.37	0.11	0.22	0.33	0.18	0.11	0.06	0.62	0.25	0.25	0.57	29.47	249.61	114.41	51.82
Qwen2-VL-7B-Instruct2026.04		0.36	0.09	0.22	0.36	0.18	0.11	0.06	0.6	0.21	0.28	0.6	18.08	185.43	109.27	51.46
Blip2-7B2026.04		0.15	0.03	0.12	0.18	0.08	0.06	0.02	0.47	0.05	0.58	0.7	20.34	148.98	175.83	74.54