Summarization on FeedSum

4.09ScomGPT4o

Evaluation results

Method
GPT4o2026.04	4.09	4	3.99	0	97	—	—	—
GPT4omini2026.04	4.08	4.03	4	0	97	—	—	—
GPT4-turbo2026.04	3.91	4.02	3.88	-0.06	98	—	—	—
Gemini2026.04	3.7	3.86	3.69	-0.29	95	—	—	—
GPT4o2026.04	3.67	4.15	3.82	-0.15	98	—	—	—
GPT4omini2026.04	3.63	4.16	3.79	-0.17	99	—	—	—
LLaMA*2026.04	3.54	3.87	3.63	-0.12	91	—	—	—
GPT4-turbo2026.04	3.52	4.08	3.68	-0.19	98	—	—	—
LLaMA2026.04	3.51	3.92	3.62	-0.23	88	—	—	—
Qwen*2026.04	3.48	3.99	3.64	-0.26	91	—	—	—
Mistral2026.04	3.47	4	3.64	-0.25	92	—	—	—
SummLLaMA2026.04	3.43	3.66	3.46	-0.17	94	—	—	—
GPT4omini2026.04	3.32	4.13	3.58	0.26	98	98	—	—
GPT4o2026.04	3.29	4.14	3.57	0.27	98	98	—	—
Mistral*2026.04	3.26	3.89	3.47	-0.2	91	—	—	—
Mistral2026.04	3.24	3.98	3.49	-0.32	92	—	—	—
LLaMA*2026.04	3.19	3.89	3.42	-0.24	90	—	—	—
Gemini2026.04	3.18	3.96	3.43	-0.47	95	—	—	—
Qwen*2026.04	3.13	3.95	3.4	-0.36	90	—	—	—
GPT4-turbo2026.04	3.11	4.05	3.41	0.33	98	98	—	—
Qwen2026.04	3.1	4	3.4	-0.3	90	—	—	—
LLaMA2026.04	3.06	3.94	3.35	-0.38	88	—	—	—
Mistral2026.04	3.02	3.94	3.33	0.22	92	92	—	—
Mistral*2026.04	2.93	3.96	3.29	-0.34	93	—	—	—
Qwen2026.04	2.87	3.95	3.23	-0.37	90	—	—	—
LLaMA*2026.04	2.86	3.9	3.22	0.35	91	91	—	—
SummLLaMA2026.04	2.84	3.82	3.18	-0.42	95	—	—	—
Qwen*2026.04	2.82	3.89	3.17	0.27	91	91	—	—
Gemini2026.04	2.82	3.94	3.18	0.16	95	95	—	—
LLaMA2026.04	2.79	3.95	3.18	0.3	91	89	—	—
Mistral*2026.04	2.66	3.83	3.06	0.41	92	92	—	—
Qwen2026.04	2.5	3.93	2.98	0.49	91	90	—	—
SummLLaMA2026.04	2.4	3.86	2.88	0.42	94	94	—	—
GPT4-turbo2026.04	0.88	0.61	0.69	0.42	—	—	77	18
GPT4-turbo2026.04	0.86	0.81	0.81	0.07	—	—	95	—
Gemini2026.04	0.86	0.45	0.57	0.71	—	—	86	3
GPT4omini2026.04	0.83	0.48	0.58	0.6	—	—	84	4
GPT4o2026.04	0.82	0.47	0.57	0.62	—	—	85	6
GPT4omini2026.04	0.78	0.62	0.66	0.29	—	—	89	—
GPT4o2026.04	0.78	0.62	0.66	0.27	—	—	89	—
Gemini2026.04	0.76	0.66	0.67	0.16	—	—	88	—
LLaMA*2026.04	0.75	0.85	0.76	-0.15	—	—	92	—
Qwen2026.04	0.74	0.52	0.57	0.4	—	—	81	8
Keyfact_GPT4o*2026.04	0.74	0.84	0.75	0.16	—	—	91	—
LLaMA2026.04	0.73	0.52	0.57	0.38	—	—	77	8
Mistral2026.04	0.73	0.53	0.58	0.36	—	—	79	8
Mistral2026.04	0.73	0.64	0.64	0.15	—	—	88	—
Keyfact_GPT4o*2026.04	0.73	0.63	0.63	0.14	—	—	71	20
LLaMA*2026.04	0.72	0.64	0.63	0.15	—	—	71	19
Qwen2026.04	0.72	0.64	0.65	0.13	—	—	88	—
Keyfact_GPT4o2026.04	0.72	0.56	0.59	0.27	—	—	78	12
Qwen*2026.04	0.71	0.75	0.7	-0.06	—	—	87	—
Mistral*2026.04	0.71	0.74	0.69	-0.03	—	—	87	—
LLaMA2026.04	0.7	0.69	0.66	0.03	—	—	84	—
Keyfact_GPT4o2026.04	0.7	0.74	0.69	0.06	—	—	87	—
GPT4-turbo2026.04	0.69	0.82	0.71	0.18	—	—	54	42
SummLLaMA2026.04	0.68	0.97	0.76	-0.44	—	—	89	—
Mistral*2026.04	0.67	0.68	0.62	0.02	—	—	63	20
GPT4omini2026.04	0.67	0.64	0.61	-0.06	—	—	69	20
Qwen*2026.04	0.66	0.63	0.6	0.05	—	—	70	19
GPT4o2026.04	0.66	0.61	0.59	-0.08	—	—	69	19
Qwen2026.04	0.64	0.64	0.6	-0.01	—	—	71	16
SummLLaMA2026.04	0.63	0.73	0.62	-0.11	—	—	65	24
Mistral2026.04	0.63	0.63	0.59	-0.01	—	—	70	18
Gemini2026.04	0.61	0.66	0.59	0.08	—	—	67	22
LLaMA2026.04	0.57	0.76	0.6	0.31	—	—	65	22
Mistral*2026.04	0.56	0.75	0.59	0.3	—	—	63	24
Keyfact_GPT4o2026.04	0.56	0.71	0.58	0.26	—	—	62	24
Qwen*2026.04	0.54	0.78	0.6	0.39	—	—	63	24
LLaMA*2026.04	0.52	0.92	0.63	0.62	—	—	60	31
Keyfact_GPT4o*2026.04	0.52	0.93	0.63	0.65	—	—	60	32
SummLLaMA2026.04	0.46	0.99	0.6	0.86	—	—	62	26