Document Visual Question Answering on NiM-Benchmark benchmark leaderboard · SOTA2 Research

Document Visual Question Answering on NiM-Benchmark

0.63Score (Menus)GPT-4o

Evaluation Results

Method	Links
GPT-4o2025.08		0.63	—	—	—	0.67	0.78	0.52	0.6	0.45	0.62
GPT-4o2025.08		0.55	—	—	—	0.61	0.71	0.49	0.55	0.39	0.56
GPT-4o2025.08		0.5	—	—	—	0.66	0.77	0.44	0.56	0.37	0.56
GPT-4o-mini2025.08		0.49	—	—	—	0.46	0.67	0.46	0.51	0.4	0.5
GPT-4o2025.08		0.47	—	—	—	0.51	0.64	0.33	0.46	0.29	0.46
Gemini-1.5-Flash2025.08		0.4	—	—	—	0.46	0.39	0.32	0.41	0.49	0.4
GPT-4o-mini2025.08		0.38	—	—	—	0.41	0.64	0.37	0.49	0.36	0.44
GPT-4o-mini2025.08		0.37	—	—	—	0.26	0.49	0.3	0.39	0.27	0.35
Gemini-1.5-Flash2025.08		0.35	—	—	—	0.23	0.2	0.16	0.34	0.41	0.27
GPT-4o2025.08		0.35	—	—	—	0.59	0.72	0.39	0.5	0.31	0.48
Gemini-1.5-Flash2025.08		0.35	—	—	—	0.36	0.29	0.2	0.4	0.47	0.34
GPT-4o-mini2025.08		0.35	—	—	—	0.44	0.64	0.45	0.47	0.37	0.46
GPT-4o2025.08		0.33	—	—	—	0.41	0.55	0.28	0.42	0.26	0.38
Gemini-1.5-Flash2025.08		0.29	—	—	—	0.4	0.35	0.32	0.47	0.42	0.37
Qwen2-7B2025.08		0.27	—	—	—	0.24	0.06	0.1	0.04	0.2	0.15
Qwen2-7B2025.08		0.26	—	—	—	0.32	0.17	0.23	0.11	0.23	0.22
GPT-4o-mini2025.08		0.25	—	—	—	0.23	0.47	0.24	0.34	0.24	0.29
GPT-4o-mini2025.08		0.25	—	—	—	0.38	0.62	0.35	0.42	0.32	0.38
Gemini-1.5-Flash2025.08		0.22	—	—	—	0.17	0.19	0.14	0.3	0.34	0.22
Gemini-1.5-Flash2025.08		0.22	—	—	—	0.29	0.25	0.2	0.36	0.4	0.28
Qwen2-7B2025.08		0.21	—	—	—	0.15	0.03	0.07	0.04	0.2	0.11
Qwen2-7B2025.08		0.19	—	—	—	0.29	0.18	0.25	0.08	0.16	0.19
Qwen2-7B2025.08		0.16	—	—	—	0.19	0.07	0.11	0.01	0.12	0.1
Qwen2-7B2025.08		0.12	—	—	—	0.11	0.05	0.06	0.01	0.11	0.07