Clinical Decision-Making on MIMIC Common IV (test)
0.0385Diagnoses ErrorReasoningBank
Evaluation results
| Method | Links | |||||||
|---|---|---|---|---|---|---|---|---|
| ReasoningBankModel=Qwen3-30B-A3B, Evolved=true2026.01 | 0.0385 | 0.1275 | 0.125 | 0.0448 | 0.2931 | 0.2103 | 0.1399 | |
| ReActModel=Qwen3-30B-A3B, Evolved=false2026.01 | 0.0955 | 0.1295 | 0.1274 | 0.0756 | 0.2472 | 0.2772 | 0.1587 | |
| ReflecTool (IR)Model=Qwen3-30B-A3B, Evolved=true2026.01 | 0.1046 | 0.0893 | 0.136 | 0.0713 | 0.2428 | 0.2882 | 0.1554 | |
| ReflexionModel=Qwen3-30B-A3B, Evolved=false2026.01 | 0.1216 | 0.0983 | 0.0989 | 0.0901 | 0.2273 | 0.2292 | 0.1442 | |
| ReflecTool (CS)Model=Qwen3-30B-A3B, Evolved=true2026.01 | 0.1647 | 0.0821 | 0.1265 | 0.0614 | 0.2572 | 0.2589 | 0.1585 | |
| ReActModel=Qwen3-235B-A22B, Evolved=false, Quantization=4-bit AWQ2026.01 | 0.1671 | 0.1172 | 0.1545 | 0.067 | 0.2739 | 0.1413 | 0.1535 | |
| ReSumModel=Qwen3-30B-A3B, Evolved=false2026.01 | 0.1753 | 0.0881 | 0.1166 | 0.1 | 0.2717 | 0.232 | 0.1639 | |
| ReActModel=Qwen3-Next-80B-A3B, Evolved=false2026.01 | 0.1836 | 0.0793 | 0.1895 | 0.1075 | 0.2857 | 0.2346 | 0.18 | |
| ReflecTool (IR)Model=Qwen3-Next-80B-A3B, Evolved=true2026.01 | 0.1992 | 0.0822 | 0.1389 | 0.091 | 0.249 | 0.239 | 0.1665 | |
| ReflecTool (CS)Model=Qwen3-Next-80B-A3B, Evolved=true2026.01 | 0.2088 | 0.0894 | 0.1579 | 0.1059 | 0.3066 | 0.1985 | 0.1779 | |
| ReSumModel=Qwen3-Next-80B-A3B, Evolved=false2026.01 | 0.2161 | 0.1083 | 0.1597 | 0.1301 | 0.3503 | 0.2317 | 0.1994 | |
| ReflexionModel=Qwen3-Next-80B-A3B, Evolved=false2026.01 | 0.2323 | 0.0887 | 0.1585 | 0.0818 | 0.3098 | 0.1599 | 0.1718 | |
| RETROSUMModel=Qwen3-30B-A3B, Evolved=false2026.01 | 0.2368 | 0.0977 | 0.1584 | 0.1039 | 0.2983 | 0.2791 | 0.1957 | |
| RETROSUMModel=Qwen3-30B-A3B, Evolved=true2026.01 | 0.2514 | 0.1092 | 0.1568 | 0.1289 | 0.3068 | 0.3171 | 0.2117 | |
| ReasoningBankModel=Qwen3-Next-80B-A3B, Evolved=true2026.01 | 0.2519 | 0.1998 | 0.1726 | 0.1267 | 0.3743 | 0.2793 | 0.2341 | |
| RETROSUMModel=Qwen3-Next-80B-A3B, Evolved=false2026.01 | 0.2519 | 0.1389 | 0.1881 | 0.1285 | 0.3473 | 0.2217 | 0.2127 | |
| ReSumModel=Qwen3-235B-A22B, Evolved=false, Quantization=4-bit AWQ2026.01 | 0.2804 | 0.1009 | 0.157 | 0.0728 | 0.2907 | 0.0803 | 0.1637 | |
| RETROSUMModel=Qwen3-235B-A22B, Evolved=false, Quantization=4-bit AWQ2026.01 | 0.2842 | 0.1328 | 0.1568 | 0.0953 | 0.3092 | 0.0988 | 0.1795 | |
| RETROSUMModel=Qwen3-Next-80B-A3B, Evolved=true2026.01 | 0.3148 | 0.199 | 0.183 | 0.1429 | 0.3578 | 0.2573 | 0.2425 | |
| RETROSUMModel=Qwen3-235B-A22B, Evolved=true, Quantization=4-bit AWQ2026.01 | 0.37 | 0.1951 | 0.1791 | 0.1346 | 0.3556 | 0.2342 | 0.2448 | |
| ReSumModel=Grok-4.1-fast, Evolved=false2026.01 | 0.3822 | 0.0882 | 0.2024 | 0.1618 | 0.3186 | 0.1888 | 0.2237 | |
| ReActModel=Grok-4.1-fast, Evolved=false2026.01 | 0.3841 | 0.1856 | 0.2032 | 0.1688 | 0.3762 | 0.1826 | 0.2501 | |
| RETROSUMModel=GPT-5-mini, Evolved=false2026.01 | 0.4023 | 0.2569 | 0.2146 | 0.1128 | 0.2614 | 0.2071 | 0.2425 | |
| ReSumModel=GPT-5-mini, Evolved=false2026.01 | 0.4024 | 0.2181 | 0.209 | 0.0752 | 0.2668 | 0.1993 | 0.2285 | |
| RETROSUMModel=GPT-5-mini, Evolved=true2026.01 | 0.4127 | 0.2989 | 0.2097 | 0.1536 | 0.2603 | 0.2327 | 0.2613 | |
| ReActModel=GPT-5-mini, Evolved=false2026.01 | 0.427 | 0.2151 | 0.1867 | 0.0764 | 0.2693 | 0.2053 | 0.23 | |
| RETROSUMModel=Grok-4.1-fast, Evolved=false2026.01 | 0.427 | 0.1859 | 0.2296 | 0.1846 | 0.348 | 0.1901 | 0.2609 | |
| RETROSUMModel=Grok-4.1-fast, Evolved=true2026.01 | 0.4734 | 0.2321 | 0.2236 | 0.1861 | 0.3397 | 0.2729 | 0.288 |