Time Series Forecasting on GIFT-Eval Part 1

0.051LOOP-SEATTLE-5T-48 ErrorTimesFM 2.0

Updated 5mo ago

Evaluation Results

Method
TimesFM 2.02025.10	0.051	0.11	0.114	0.041	0.059	0.067	0.066	0.06	0.139	0.127	0.127	0.199	0.229	0.227	0.135	0.447	0.881	0.908	0.688	0.461	0.727	0.706	0.649	0.014	0.033	0.057	0.084	0.529	0.748	0.345	0.64	0.728	0.015	0.038	0.062	1.046	0.062	0.079	0.08	0.083	0.06	0.054	0.073	0.089	0.049	0.168	0.278	0.283	0.281	0.192	—
TabPFN-TS2025.10	0.052	0.087	0.094	0.044	0.064	0.065	0.063	0.057	0.154	0.159	0.164	0.215	0.245	0.248	0.144	0.456	0.735	0.76	0.591	0.455	0.71	0.73	0.637	0.031	0.07	0.088	0.099	0.345	0.511	0.29	0.38	0.44	0.031	0.067	0.091	0.955	0.04	0.104	0.092	0.089	0.06	0.072	0.091	0.112	0.051	0.183	0.248	0.26	0.292	0.194	—
Chronos Bolt2025.10	0.055	0.116	0.129	0.044	0.065	0.076	0.076	0.069	0.125	0.157	0.17	0.202	0.244	0.248	0.136	0.454	0.755	0.748	0.774	0.438	0.605	0.756	0.624	0.054	0.104	0.109	0.074	0.445	0.738	0.189	0.254	0.278	0.051	0.096	0.113	0.995	0.047	0.082	0.083	0.084	0.055	0.064	0.081	0.098	0.047	0.158	0.281	0.298	0.287	0.181	—
Chronos Bolt2025.10	0.055	0.119	0.125	0.045	0.066	0.082	0.082	0.072	0.133	0.134	0.146	0.203	0.246	0.245	0.137	0.435	0.867	0.753	0.589	0.453	0.792	0.756	0.623	0.035	0.085	0.092	0.073	0.462	0.79	0.204	0.285	0.295	0.032	0.082	0.096	1.007	0.043	0.082	0.087	0.086	0.058	0.067	0.084	0.102	0.048	0.169	0.288	0.296	0.283	0.189	—
Chroma2025.10	0.062	0.158	0.131	0.052	0.076	0.084	0.083	0.078	0.149	0.146	0.166	0.205	0.24	0.242	0.137	0.441	0.792	0.735	0.699	0.441	0.729	0.73	0.764	0.026	0.095	0.11	0.079	0.449	0.737	0.215	0.29	0.31	0.023	0.081	0.106	1.013	0.058	0.092	0.088	0.089	0.058	0.074	0.094	0.108	0.089	0.17	0.282	0.284	0.311	0.195	—
Chroma2025.10	0.064	0.165	0.139	0.052	0.075	0.086	0.085	0.082	0.149	0.147	0.166	0.205	0.25	0.248	0.138	0.448	0.801	0.734	0.731	0.441	0.751	0.704	0.796	0.037	0.106	0.119	0.079	0.467	0.785	0.221	0.288	0.314	0.032	0.091	0.115	1.01	0.056	0.093	0.092	0.092	0.058	0.075	0.095	0.11	0.12	0.173	0.29	0.289	0.311	0.197	—
Chroma2025.10	0.065	0.138	0.125	0.049	0.072	0.083	0.082	0.087	0.142	0.14	0.173	0.204	0.241	0.249	0.137	0.435	0.803	0.726	0.671	0.435	0.733	0.81	0.685	0.021	0.082	0.093	0.077	0.417	0.649	0.21	0.278	0.3	0.019	0.075	0.095	1	0.052	0.09	0.086	0.087	0.056	0.073	0.088	0.109	0.086	0.169	0.276	0.295	0.273	0.192	—
TTM-R22025.10	0.068	0.121	0.125	0.101	0.095	0.104	0.097	0.151	0.225	0.213	0.222	0.268	0.27	0.26	0.183	0.596	0.906	0.939	0.926	0.605	0.835	0.779	1.06	0.058	0.126	0.144	0.107	0.54	0.785	0.549	0.782	0.751	0.053	0.117	0.14	2.285	0.123	0.152	0.142	0.143	0.093	0.097	0.109	0.128	0.159	0.235	0.333	0.352	0.416	0.25	—
Chronos2025.10	0.07	0.176	0.143	0.045	0.066	0.084	0.081	0.075	0.137	0.134	0.139	0.236	0.267	0.265	0.148	0.465	0.798	0.723	0.633	0.506	0.636	1.07	0.661	0.032	0.095	0.084	0.084	0.496	0.741	0.491	0.802	0.757	0.027	0.072	0.094	1.07	0.042	0.092	0.094	0.094	0.061	0.065	0.086	0.107	0.049	0.196	0.376	0.367	0.404	0.198	—
Chroma2025.10	0.077	0.146	0.133	0.049	0.072	0.082	0.083	0.087	0.145	0.141	0.154	0.204	0.244	0.255	0.138	0.435	0.825	0.738	0.686	0.43	0.743	0.862	0.706	0.031	0.085	0.094	0.078	0.426	0.673	0.209	0.277	0.308	0.025	0.074	0.097	1.005	0.056	0.091	0.088	0.092	0.056	0.073	0.091	0.102	0.114	0.171	0.275	0.306	0.295	0.193	—
Auto ARIMA2025.10	0.081	0.123	0.137	0.078	0.108	0.154	0.193	0.135	0.281	0.255	0.27	0.309	0.351	0.398	0.17	1.21	1.27	1.29	0.844	1.1	1.26	1.29	0.874	0.035	0.042	0.973	0.262	0.53	0.674	0.547	0.813	0.787	0.04	0.049	0.056	1.29	0.03	0.165	0.124	0.129	0.083	0.109	0.156	0.19	0.1	0.241	0.352	0.396	0.279	0.223	—
Seasonal Naive2025.10	0.081	0.123	0.137	0.131	0.108	0.206	0.245	0.294	0.281	0.479	0.552	0.309	0.454	0.554	0.229	1.21	1.27	1.29	1.08	1.1	1.26	1.29	1.3	0.035	0.042	0.973	0.262	0.53	0.674	0.536	1.42	1.82	0.04	0.049	0.056	1.72	0.125	0.165	0.124	0.129	0.122	0.109	0.156	0.19	0.099	0.241	0.352	0.396	0.515	0.25	—
Auto ETS2025.10	0.083	0.238	0.24	0.058	0.157	0.339	0.426	0.123	0.242	0.458	0.588	0.291	—	—	1.62	1.21	1.27	1.29	—	1.1	1.26	1.29	1.3	0.048	0.161	0.269	0.075	0.355	0.597	0.494	1.05	1.11	0.046	0.224	0.373	1.34	0.033	0.175	0.124	0.129	0.111	0.099	0.156	—	0.098	0.383	0.867	1.05	0.334	0.44	—
Auto ARIMA2025.10	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	0.135
Auto ETS2025.10	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	0.123
Chroma2025.10	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	0.082
Chroma2025.10	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	0.078
Chroma2025.10	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	0.087
Chroma2025.10	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	0.087
Chronos Bolt Base2025.10	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	0.069
Chronos Bolt Small2025.10	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	0.072
Chronos Large2025.10	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	0.075
Seasonal Naive2025.10	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	0.294
TabPFN-TS2025.10	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	0.057
TimesFM 2.0 (500m)2025.10	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	0.06
TTM-R2 Zeroshot2025.10	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	0.151