Mandela Effect Evaluation on MANBENCH benchmark leaderboard · SOTA2 Research

Mandela Effect Evaluation on MANBENCH

17.63Error (B)GPT-5

Evaluation Results

Method	Links
GPT-52026.01		17.63	35.99	13.58	41.59	39.33	—	—	—	—
Claude 4 Sonnet2026.01		20.48	28.73	24.1	45.87	40.87	—	—	—	—
Gemini 2.5 Pro2026.01		20.75	50.39	44.63	57.21	51.25	—	—	—	—
Gemini 2.5 Flash2026.01		21.93	49.67	41.15	57.03	55.05	—	—	—	—
Qwen3-235B2026.01		25.48	68.9	57.5	74.75	71.89	—	—	—	—
GPT-4o2026.01		25.96	55.95	48.1	64.16	54.04	—	—	—	—
Qwen3-32B2026.01		26.33	69.86	61.78	72.65	71.05	—	—	—	—
Deepseek-V3.12026.01		30.18	63.31	52.27	57.79	55.08	—	—	—	—
Qwen3-8B2026.01		30.77	71.21	61.33	73.03	69.65	—	—	—	—
Llama3.3-70B2026.01		31.19	60.42	36.98	60.62	45.72	—	—	—	—
Claude 3.5 Haiku2026.01		32	61.64	58.7	70.38	64.28	—	—	—	—
GPT-4o-mini2026.01		32.12	62.48	53.35	69.89	54.28	—	—	—	—
Llama3.1-8B2026.01		44.58	70.34	88.01	99.67	65.63	—	—	—	—
Claude 3.5 Haiku2026.01		—	—	—	—	—	53.26	49.4	63.67	55.63
Claude 4 Sonnet2026.01		—	—	—	—	—	15.45	11.34	35.21	26.56
Deepseek-V3.12026.01		—	—	—	—	—	60.6	43.41	47.81	13.21
Gemini 2.5 Flash2026.01		—	—	—	—	—	37.94	30.25	47.37	28.31
Gemini 2.5 Pro2026.01		—	—	—	—	—	40.27	34.41	49.05	29.55
GPT-4o2026.01		—	—	—	—	—	46.04	36.53	55.95	33.61
GPT-4o-mini2026.01		—	—	—	—	—	52.6	40.09	61.59	40.93
GPT-52026.01		—	—	—	—	—	27.42	2.96	31.03	1.67
Llama3.1-8B2026.01		—	—	—	—	—	61.69	85.13	99.47	32.1
Llama3.3-70B2026.01		—	—	—	—	—	53.34	21.53	49.13	19.75
Qwen3-235B2026.01		—	—	—	—	—	66.98	47.65	68.69	56.85
Qwen3-32B2026.01		—	—	—	—	—	69.04	52.4	65.22	54.39
Qwen3-8B2026.01		—	—	—	—	—	67.94	50.4	66.84	55.84