Narrative Fair Play Evaluation on Fair Play in Narrative Generated Stories benchmark leaderboard · SOTA2 Research

Narrative Fair Play Evaluation on Fair Play in Narrative Generated Stories

0.864Score SLlama-3.1-70B

Evaluation Results

Method	Links
Llama-3.1-70B2025.07		0.864	0.538	100	34.5	83	0.522	0.193	—	—	—
Gemini-2.5-pro2025.07		0.821	0.455	100	21.3	100	0.426	0.242	—	—	—
Gemini-2.5-pro2025.07		0.798	0.485	—	—	—	—	—	1	0.687	0.307
Gemini-3-flash2025.07		0.795	0.432	—	—	—	—	—	1	0.637	0.264
Llama-3.1-8B2025.07		0.782	0.182	80	3.7	20	-0.039	0.145	—	—	—
Llama-3.1-70B2025.07		0.745	0.491	—	—	—	—	—	0.83	0.746	0.335
Llama-3.1-8B2025.07		0.744	0.167	—	—	—	—	—	0.9	0.423	0.068
Gemini-2.5-flash TB 02025.07		0.734	0.381	—	—	—	—	—	1	0.647	0.247
Gemini-2.5-flash2025.07		0.732	0.351	80	6.6	40	0.143	0.285	—	—	—
Gemini-2.5-flash2025.07		0.713	0.484	100	9	80	0.408	0.394	—	—	—
Gemini-2.5-flash TB -12025.07		0.674	0.445	—	—	—	—	—	1	0.771	0.347
GPT-4o-mini2025.07		0.669	0.12	—	—	—	—	—	0.57	0.451	0.137
Average generated2025.07		0.668	0.242	69	12.7	69	0.178	0.116	—	—	—
Gemini-3.1-pro2025.07		0.646	0.23	—	—	—	—	—	1	0.584	0.109
GPT-4o-mini2025.07		0.605	-0.02	50	9.6	50	-0.076	-0.116	—	—	—
Llama-3.3-70B2025.07		0.574	0.039	40	3.9	80	0.011	0	—	—	—
Llama-3.3-70B2025.07		0.574	0.04	—	—	—	—	—	1	0.466	0.045
Gemini-1.5-pro2025.07		0.571	0.234	60	24.6	100	0.308	-0.012	—	—	—
Llama-3.2-3B2025.07		0.57	0.182	—	—	—	—	—	0.73	0.612	0.125
GPT-4o2025.07		0.562	0.042	—	—	—	—	—	0.67	0.48	0.084
Gemini-1.5-pro2025.07		0.549	0.233	—	—	—	—	—	1	0.684	0.162
GPT-4o2025.07		0.521	0.105	60	1.1	60	0.079	0.094	—	—	—
Llama-3.2-3B2025.07		0.507	0.118	50	16.9	75	0.013	-0.051	—	—	—
Gemini-1.5-flash2025.07		0.352	0.086	—	—	—	—	—	0.71	0.734	0.115
Llama-3.2-1B2025.07		—	—	—	—	—	—	—	0.27	—	—