Decoding latency on Synthetic Context Sequences (test) benchmark leaderboard · SOTA2 Research

Decoding latency on Synthetic Context Sequences (test)

0.019Latency (16k Context)Full Cache

Evaluation Results

Method	Links
Full Cache2025.05		0.019	0.021	0.029	0.036	0.044
Full Cache2025.05		0.024	0.033	0.05	0.062	0.082
Full Cache2025.05		0.029	0.032	0.043	0.055	0.07
TailorKV2025.05		0.041	0.062	0.098	0.132	0.17
TailorKV2025.05		0.041	0.042	0.046	0.049	0.056
TailorKV2025.05		0.045	0.047	0.054	0.054	0.056
Full Cache2025.05		0.045	0.077	0.14	—	—
OffloadCache2025.05		0.066	0.118	0.221	0.325	0.43
TailorKV2025.05		0.066	0.067	0.072	0.076	0.079
PQCache2025.05		0.085	0.087	0.09	0.092	0.094
OffloadCache2025.05		0.102	0.205	0.417	0.626	0.843
PQCache2025.05		0.104	0.105	0.108	0.108	0.11
PQCache2025.05		0.108	0.111	0.112	0.115	0.12
OffloadCache2025.05		0.124	0.227	0.435	0.743	0.992
PQCache2025.05		0.13	0.138	0.139	0.144	0.15
OffloadCache2025.05		0.433	0.838	1.767	3.253	4.468