Long-context understanding on LongBench (All Core Tasks + Averages)

57.15HotpotQAFull Cache

Evaluation Results

Method
Full Cache2026.02	57.15	44.54	32.87	72.72	54.3	27.28	31.22	18.55	7	89	—	25.01	63.07	46.23	75	92.21	48.97	—	47.41	—	—	—	—	—	—
Sketch&Walk2026.02	56.51	45.54	33.22	53.78	54.53	25.96	33.11	31.18	6.53	98	44.14	25.17	48.63	43.69	70	92.08	47.63	50.37	—	—	—	—	—	—	—
Dense2026.02	55.4	45.62	34.77	55.13	55.97	26.9	29.41	30.05	10	99	44.67	25.14	47.79	43.24	73	91.16	47.95	50.48	—	—	—	—	—	—	—
Baseline2026.02	55.4	55.13	34.77	59.8	55.97	26.9	29.41	31.05	10	99	—	25.14	53.92	43.24	—	91.16	50.3	—	44.67	—	—	—	—	—	—
SOCKET2026.02	54.97	50.74	35.77	60.94	54.3	27.57	29.7	31	9.03	100	—	24.9	49.7	33.76	—	87.74	49	—	46.04	—	—	—	—	—	—
Quest2026.02	54.79	45.98	34.95	57.96	52.31	27.58	25.36	32.21	6.02	99.43	—	24.28	53.8	31.43	—	69.28	46.8	—	46.2	—	—	—	—	—	—
TRIM-KV2025.12	54.78	36.65	33.37	33.08	53.25	26.02	25.39	25	5	94.5	40.17	23.59	37.46	36.82	—	83.38	—	—	—	-0.64	—	—	—	—	—
SOCKET2026.02	54.72	48.48	35.41	60.8	54.54	27.39	27.79	31.58	7.98	100	—	25.04	48.8	35.7	—	86.96	48.8	—	46.7	—	—	—	—	—	—
Quest2026.02	54.2	45.16	34.16	62.85	50.1	27.04	26.56	33.49	8.63	100	—	24.13	51.74	32.36	—	77.51	47.4	—	45.36	—	—	—	—	—	—
PQcache2026.02	54.05	48.63	35.28	58.12	54.69	27.02	24.35	32.78	7.85	100	—	25.03	41.22	22.11	—	86.15	46.7	—	45.04	—	—	—	—	—	—
Full KV2025.12	53.35	37.01	33.35	33.35	54.45	26.02	25.9	26.17	5	96.5	40.18	24.08	34.08	38.77	—	85.5	—	—	—	0	—	—	—	—	—
PQcache2026.02	52.61	48.01	34.92	59.81	53.64	27.17	26.14	30.88	8.67	100	—	24.57	44.75	14.87	—	81.89	45.9	—	44.27	—	—	—	—	—	—
SparseD2026.04	50.52	—	—	—	48.93	—	—	15.44	—	—	18.52	—	—	—	—	81.83	43.05	—	—	—	—	—	—	—	—
Dense2026.04	49.45	—	—	—	53.29	—	—	19.04	—	—	17.75	—	—	—	—	84.79	44.86	—	—	—	—	—	—	—	—
Dense2026.04	49.35	—	—	—	49.49	—	—	19.06	—	—	18.25	—	—	—	—	85.72	44.37	—	—	—	—	—	—	—	—
SparseD2026.04	48.98	—	—	—	50.11	—	—	19.43	—	—	15.77	—	—	—	—	80.25	42.91	—	—	—	—	—	—	—	—
LocRet*2025.12	48.7	35.93	33.46	52.61	52.77	26.41	25.12	24.56	3	83	40.17	23.35	57.16	26.37	—	82.39	—	—	—	—	—	—	—	—	—
LocRet2025.12	48.67	37.24	32.8	28.6	54.12	26.77	26.63	22.96	3.5	87.5	39.39	22.98	37.28	37.99	—	83.29	—	—	—	-4.82	—	—	—	—	—
LoSA2026.04	48.45	—	—	—	48.94	—	—	18.89	—	—	15.78	—	—	—	—	82.32	42.88	—	—	—	—	—	—	—	—
SparseD2026.04	48.39	—	—	—	47.37	—	—	15.83	—	—	14.84	—	—	—	—	73.28	39.94	—	—	—	—	—	—	—	—
LoSA2026.04	48.27	—	—	—	45	—	—	17.19	—	—	15.58	—	—	—	—	83.79	41.97	—	—	—	—	—	—	—	—
SparseD2026.04	48.25	—	—	—	48.97	—	—	15.6	—	—	16.15	—	—	—	—	83.44	42.48	—	—	—	—	—	—	—	—
SparseD2026.04	47.84	—	—	—	52.16	—	—	14.08	—	—	13.85	—	—	—	—	80.78	41.74	—	—	—	—	—	—	—	—
LoSA2026.04	47.84	—	—	—	48.43	—	—	18.44	—	—	14.7	—	—	—	—	85.93	43.07	—	—	—	—	—	—	—	—
LoSA2026.04	47.77	—	—	—	49.9	—	—	17.37	—	—	14.12	—	—	—	—	83.29	42.49	—	—	—	—	—	—	—	—
LoSA2026.04	45.68	—	—	—	48.33	—	—	15.65	—	—	13.17	—	—	—	—	83.16	41.2	—	—	—	—	—	—	—	—
LoSA2026.04	44.53	—	—	—	47.81	—	—	19.42	—	—	17.11	—	—	—	—	81.82	42.14	—	—	—	—	—	—	—	—
LoSA2026.04	44.19	—	—	—	50.14	—	—	18.39	—	—	13.3	—	—	—	—	84.97	42.2	—	—	—	—	—	—	—	—
Dense2026.02	43.99	43.71	32.12	48.64	47.31	24.39	25.26	23.82	5.5	69	46.74	22.95	47.66	33.59	55	83.97	40.85	43.21	—	—	—	—	—	—	—
SparseD2026.04	43.84	—	—	—	49.44	—	—	15.33	—	—	13.26	—	—	—	—	73.63	39.1	—	—	—	—	—	—	—	—
LoSA2026.04	43.36	—	—	—	46.74	—	—	18.69	—	—	15.63	—	—	—	—	80.32	40.95	—	—	—	—	—	—	—	—
Full KV*2025.12	43.06	33.37	33.35	51.86	49.82	26.57	19.82	18.21	2.97	93.5	41.07	19.51	58.02	23.15	—	86.38	—	—	—	—	—	—	—	—	—
Sketch&Walk2026.02	42.55	42.14	31.59	48.27	46.92	24.96	23.73	24.69	5.5	65	45.59	23.28	55.26	46.56	76	89.51	43.22	45.74	—	—	—	—	—	—	—
SparseD2026.04	42.09	—	—	—	36.24	—	—	12.94	—	—	9.04	—	—	—	—	63.08	32.68	—	—	—	—	—	—	—	—
QUEST2026.04	39.88	—	—	—	45	—	—	7.37	—	—	17.35	—	—	—	—	78.84	37.69	—	—	—	—	—	—	—	—
SparseD2026.04	38.97	—	—	—	39.55	—	—	13.7	—	—	7.95	—	—	—	—	64.64	32.96	—	—	—	—	—	—	—	—
SOCKET2026.02	35.12	21.42	32.86	15.25	34.83	25.78	18.96	14.95	12	100	—	22.52	12.06	43.83	—	88.49	36.9	—	26.48	—	—	—	—	—	—
SOCKET2026.02	34.88	22.43	31.98	16.55	34.62	25.21	19.06	15.39	9	100	—	22.6	11.55	43.99	—	88.82	37	—	26.31	—	—	—	—	—	—
QUEST2026.04	34.58	—	—	—	44.04	—	—	8.99	—	—	16.57	—	—	—	—	79.33	36.7	—	—	—	—	—	—	—	—
PQcache2026.02	33.48	20.68	31.83	15.2	34.15	25.34	17.97	13.61	7	100	—	22.53	8.76	42.97	—	88.29	36.3	—	25.87	—	—	—	—	—	—
Baseline2026.02	33.23	22.43	32.11	13.98	33.98	24.79	19.13	13.16	7	100	—	22.87	8.76	42.69	—	89.16	36.4	—	26.13	—	—	—	—	—	—
Quest2026.02	33.18	23.04	33.3	12.04	35.77	26.18	17.39	14.25	7	98.67	—	23.4	11.54	41.48	—	82.65	36.1	—	28	—	—	—	—	—	—
Quest2026.02	32.96	22.1	32.97	11.61	36.49	25.69	16.38	13.51	6	98.17	—	22.18	10.92	39.38	—	73.35	34.1	—	24.95	—	—	—	—	—	—
QUEST2026.04	32.95	—	—	—	42.46	—	—	8.5	—	—	14.04	—	—	—	—	75.23	34.64	—	—	—	—	—	—	—	—
QUEST2026.04	32.59	—	—	—	42.3	—	—	11	—	—	19.28	—	—	—	—	80.92	37.22	—	—	—	—	—	—	—	—
QUEST2026.04	32.57	—	—	—	43.2	—	—	8.73	—	—	18.21	—	—	—	—	78.36	36.21	—	—	—	—	—	—	—	—
QUEST2026.04	32.5	—	—	—	43.08	—	—	9.8	—	—	19.36	—	—	—	—	78.43	36.63	—	—	—	—	—	—	—	—
PQcache2026.02	32.42	20.5	32.3	14.82	33.89	24.9	16.69	13.99	8	100	—	22.66	10.09	43.29	—	86.96	36.1	—	25.13	—	—	—	—	—	—
Sketch&Walk2026.02	31.01	29.54	28.34	29.35	40.97	24.61	14.11	17.98	3	5.3	19.67	21.56	36.02	38.79	61.5	79.81	30.1	31.9	—	—	—	—	—	—	—
Dense2026.02	30.26	29.34	29.49	30.29	41.29	25.96	14.61	18.59	3.14	5	21.05	21.46	25.44	39.26	62	78.89	29.75	31.53	—	—	—	—	—	—	—
QUEST2026.04	29.17	—	—	—	38.21	—	—	7.46	—	—	13.64	—	—	—	—	69.21	31.54	—	—	—	—	—	—	—	—
QUEST2026.04	27.31	—	—	—	41.4	—	—	6.44	—	—	17.29	—	—	—	—	70.4	32.57	—	—	—	—	—	—	—	—
KIVI2026.03	15.2	—	17.6	67.6	31.2	3.9	—	—	—	15.9	12.1	—	64.4	—	72.5	89.6	30.7	2.2	—	—	19.2	20.8	17.7	8.2	33.9
LLaMA3.1-8B2026.03	12	—	29.7	72	32.1	1	—	—	—	26.8	25.2	—	69.2	—	73.5	91	33.5	0.8	—	—	13	20.4	14	8.7	47.2
VQKV2026.03	11.8	—	26	71.8	29.9	0.9	—	—	—	29.7	23.6	—	69.2	—	73.5	90.5	33.1	0.8	—	—	13.9	19.8	13.8	8.1	45.9
SnapKV2026.03	11.5	—	23.7	71.7	31.2	0.9	—	—	—	27.8	24.1	—	68.5	—	70	91.3	31.7	0.9	—	—	12.7	19.5	13.9	8.9	46.5
DynaKV2026.02	11.49	11.63	30.51	38.41	31.08	26.76	7.05	10.11	3.39	56	—	24.17	34.13	41.79	72.5	91.68	32.14	—	23.49	—	—	—	—	—	—
DynaKV2026.02	11.44	11.59	26.29	32.13	21.23	25.85	8.25	2.51	2.28	5.67	—	23.9	34.72	38.67	69.5	88.16	26.34	—	19.2	—	—	—	—	—	—
DynaKV2026.02	9.95	10.21	20.89	32.42	16.6	22.73	4.23	2.68	2.06	5	—	21.21	36.4	36.16	60	79.98	23.73	—	19.2	—	—	—	—	—	—
Palu2026.03	9.9	—	24.2	56.2	27.7	19.4	—	—	—	4.7	20	—	54.3	—	58	86.4	28.1	0.3	—	—	12.2	16.7	11.6	6.6	41.4
KIVI2026.03	9.8	—	17.4	70	33.1	16	—	—	—	7.4	14.2	—	65.6	—	69.5	88.3	29.3	1.2	—	—	7.4	22.1	12	5.2	30.3
ASVD2026.03	9.7	—	9	30.4	16.1	12.8	—	—	—	4.9	16.6	—	36.9	—	60	78.7	21.2	2.8	—	—	4.6	9.9	7.4	5.2	33.7
Palu2026.03	9.7	—	16.5	64.7	23.1	10.7	—	—	—	14.3	21.5	—	59.1	—	72.5	84.6	28.6	1.3	—	—	6.4	16.6	12.3	6.6	37.1
Full Cache2026.02	9.59	11.49	27.43	72.03	20.39	2.12	6.12	5	2	9.17	—	23.82	68.53	44.77	75	90.78	30.44	—	18.87	—	—	—	—	—	—
LLaMA3.2-3B2026.03	9.5	—	30.1	70	35.5	28.3	—	—	—	7	23.8	—	66.1	—	69.5	87.2	32.3	0	—	—	10.3	21.6	12.8	6.8	38.3
VQKV2026.03	9.5	—	29	70.6	36.7	27.5	—	—	—	7	23.1	—	64.4	—	69.5	87.2	32.2	0	—	—	10.7	20.6	14.5	6.6	38.5
SnapKV2026.03	9.4	—	23.1	69.8	34.1	27.1	—	—	—	7	24.1	—	65.1	—	65	87.2	31.4	0	—	—	10.5	21.6	12.6	7.2	38.4
DynaKV2026.02	9.12	11.62	26.75	55.47	29.13	17.95	5.22	19.96	0.55	5.53	—	22.35	52.47	41.32	71.5	87.95	29.73	—	18.84	—	—	—	—	—	—
Palu2026.02	9.11	10.42	15.98	20.31	28.93	10.89	5.51	13.96	3.08	3.82	—	8.93	25.16	19.89	65.5	83.9	21.36	—	16.37	—	—	—	—	—	—
Palu2026.02	9.08	9.76	13.49	47.13	17.21	2.31	5.27	7.83	1.89	3.45	—	7	46.69	26.03	72	83.72	23.09	—	16.5	—	—	—	—	—	—
DynaKV2026.02	8.97	9.58	25.73	33.52	29.39	10.81	4.4	18.18	1	3.33	—	21.13	41.7	40.38	62.5	88.03	26.05	—	18.1	—	—	—	—	—	—
DynaKV2026.02	7.95	9.42	22.96	34.8	24.85	10.29	3.98	19.8	0.87	4.16	—	21.04	46.7	37.98	51	84.93	24.83	—	16.48	—	—	—	—	—	—
DynaKV2026.02	7.11	9.85	18.83	37.78	19.26	10.73	4.29	15.48	2.64	3.22	—	19.45	43.22	29.01	40.5	74.4	21.94	—	15.34	—	—	—	—	—	—
ASVD2026.03	5.4	—	8.7	35.4	8.8	11.1	—	—	—	3.5	8.6	—	36.6	—	31.5	49.1	14.9	3.3	—	—	0.8	10.7	5.2	2.7	17.7
DynaKV2026.02	5.18	8.53	16.22	43.67	15.82	18.41	3.74	2.63	2.95	4.43	—	17.38	42.31	22.64	30.5	35.54	17.71	—	13.46	—	—	—	—	—	—
MatryoshkaKV2026.02	3.16	7.33	12.98	38.19	11.23	15.87	2.21	1.3	1.33	3.45	—	7.48	37.29	10.53	48	19.71	14.58	—	13.17	—	—	—	—	—	—
Palu2026.02	3.16	5.31	11.65	17.21	9.39	8.58	2.03	1.08	2.96	2.95	—	3.75	19.99	3.03	41.5	12.17	9.43	—	6.09	—	—	—	—	—	—
Palu2026.02	1.61	1.7	10.72	17.24	4.2	7.15	1.39	0.79	3.33	0.65	—	3.53	15.15	3.26	9.5	4.19	5.51	—	3.73	—	—	—	—	—	—
MatryoshkaKV2026.02	1.47	2.47	7.37	36.49	5.69	9.79	1.02	0.51	1.54	3.69	—	7.84	31.84	4.76	9	4.81	8.4	—	6.08	—	—	—	—	—	—
Palu2026.02	1.33	2.02	7.11	19.09	4.57	5.39	0.67	0.7	1.29	4.58	—	3.14	17.59	1.24	18.5	4.79	6.11	—	5.69	—	—	—	—	—	—
MatryoshkaKV2026.02	0.68	1.28	3.18	24.07	1.92	5.04	0.95	0.71	0.94	3.24	—	8.51	18.35	7.21	0	0.92	5.09	—	4.41	—	—	—	—	—	—
Palu2026.02	0.24	0.65	6.4	17.75	2.16	1.65	0.44	0.11	2.16	4.33	—	2.74	15.81	0.48	1	2.33	3.8	—	2.52	—	—	—	—	—	—