Locomo
Benchmarks
TaskDatasetSOTA resultTrendResults
LoCoMo
55.32F1 (Multi Hop)
174
LoCoMo
93Overall F1
128
LoCoMo
48.35F1
125
LoCoMo
0.641F1
111
LoCoMo
0.401F1
111
LoCoMo
97.1Single-hop
96
LoCoMo
0.663F1
85
LoCoMo
93.26F1 (Multi Hop)
78
LoCoMo
41.62F1 Score
68
LoCoMo
79.44Overall Acc (LoCoMo)
65
LoCoMo
43.1Multi-Hop F1
59
LoCoMo
65.2F1 Score
57
LoCoMo
44.68F1 Score (LoCoMo)
52
LoCoMo
48.38F1 Score
51
LoCoMo
59.03F1 Score
47
LoCoMo
0.494F1 Score
47
LoCoMo
67.13Single Hop F1
45
LoCoMo
97.1Single-Hop LLJ Score
45
LoCoMo
65.06F1 Score
45
LoCoMo (test)
95.12Single-Hop F1
37
LoCoMo
47.31MultiHop F1
36
LOCOMO (test)
36.75RAG F1
36
LoCoMo
37.24EM
32
LoCoMo
57.55F1 Score
28
LoCoMo multi-page memory
44.5SingleHop Accuracy
27