Circuit Reasoning on SpecEval-QA benchmark leaderboard · SOTA2 Research

Circuit Reasoning on SpecEval-QA

1Signal-Module Config Loc (Avg)ChipMind

Evaluation Results

Method	Links
ChipMind2025.12		1	0	0.84	0.15	0.93	0.02	0.97	0.06	1	0	0.95
HippoRAG 22025.12		0.94	0.13	0.73	0.25	0.78	0.19	0.68	0.35	0.72	0.18	0.76
ReAct2025.12		0.94	0.13	0.67	0.16	0.73	0.12	0.72	0.3	0.9	0.11	0.79
Llama-4-scout2025.12		0.93	0.15	0.49	0.25	0.6	0.22	0.6	0.19	0.6	0.32	0.64
IRCoT2025.12		0.93	0.15	0.59	0.21	0.88	0.12	0.83	0.18	0.79	0.16	0.81
DeepSeek-R12025.12		0.86	0.18	0.6	0.26	0.72	0.13	0.89	0.18	0.64	0.3	0.78
GPT-4.12025.12		0.82	0.15	0.63	0.26	0.87	0.04	0.85	0.21	0.78	0.17	0.79
Claude-42025.12		0.76	0.21	0.56	0.38	0.82	0.09	0.82	0.19	0.71	0.31	0.73
Search-o12025.12		0.76	0.43	0.59	0.41	0.68	0.24	0.71	0.29	0.74	0.17	0.7
LightRAG2025.12		0.68	0.42	0.38	0.15	0.69	0.2	0.63	0.21	0.55	0.18	0.61
GraphRAG2025.12		0.56	0.52	0.45	0.48	0.76	0.11	0.4	0.42	0.77	0.17	0.55