Question Answering on LooGLE Long Dependency QA benchmark leaderboard · SOTA2 Research

Question Answering on LooGLE Long Dependency QA

0.0942BLEU-1VIST2-8B

Evaluation Results

Method	Links
VIST2-8B2026.01		0.0942	0.0178	0.4012	0.1422	0.3812	0.1145	0.8534	0.5645
VIST2-4B2026.01		0.0905	0.0155	0.3865	0.135	0.371	0.1082	0.846	0.5412
GPT4-8k2026.01		0.0894	0.0101	0.2345	0.0657	0.2169	0.1018	0.8536	0.4212
GPT4-32k2026.01		0.0855	0.014	0.2559	0.0636	0.2404	0.1113	0.8016	0.5409
VIST2-0.6B2026.01		0.0812	0.0095	0.351	0.112	0.3345	0.0985	0.8215	0.483
LlamaIndex2026.01		0.0776	0.0124	0.2362	0.071	0.223	0.1047	0.8387	0.3763
GPT3.5-turbo-16k2026.01		0.0692	0.0181	0.2502	0.0668	0.2363	0.104	0.8379	0.4504
LongLLaMa-3B-Instruct2026.01		0.0564	0.0049	0.173	0.0376	0.1629	0.0653	0.8426	0.2164
ChatGLM2-6B2026.01		0.0555	0.0011	0.0941	0.0193	0.0869	0.0439	0.8578	0.115
RWKV-4-14B-raven2026.01		0.0388	0.0022	0.2039	0.032	0.192	0.0641	0.8146	0.1432
Claude3-opus2026.01		0.0328	0.0043	0.3795	0.1346	0.3656	0.0944	0.7958	0.2071
LLaMA2-7B-32K-Instruct2026.01		0.0008	0	0.0407	0	0.0407	0.0106	0.6654	0.0285