Artist Success Ranking on WikiArt-Seq2Rank time series split 1.0 (test)

1,786BT ScoreSet2Seq Transformer

Updated 4mo ago

Evaluation Results

Method
Set2Seq Transformer2024.08	1,786	393	0.236	0.238	0.254	0.125	0.253	0.111	0.17	0.043	0.162	0.055	0.22	0.237	0.205	0.222	0.062	0.111	0.122	0.307	0.104	0.209
DeepSets2024.08	1,767	387	0.218	0.216	0.236	0.114	0.171	0.113	0.159	0.051	0.178	0.052	0.197	0.242	0.179	0.219	0.071	0.096	0.1	0.361	0.165	0.185
Set2Seq Transformer2024.08	1,758	382	0.259	0.216	0.118	0.11	0.249	0.112	0.127	0.053	0.096	0.054	0.189	0.251	0.147	0.223	0.109	0.128	0.192	0.284	0.16	0.183
Set2Seq Transformer2024.08	1,676	344	0.169	0.244	0.174	0.115	0.236	0.119	0.111	0.049	0.166	0.057	0.253	0.236	0.09	0.243	0.104	0.12	0.107	0.294	0.128	0.21
Set2Seq Transformer2024.08	1,667	338	0.237	0.225	0.202	0.115	0.184	0.109	0.117	0.049	0.136	0.061	0.195	0.243	0.12	0.265	0.06	0.133	0.145	0.291	0.057	0.214
Set2Seq BiLSTM2024.08	1,656	334	0.18	0.239	0.236	0.108	0.241	0.122	0.197	0.052	0.168	0.064	0.189	0.244	0.15	0.254	0.06	0.125	0.111	0.302	0.153	0.269
Set2Seq Transformer2024.08	1,618	312	0.221	0.222	0.135	0.131	0.255	0.113	0.095	0.057	0.1	0.069	0.141	0.24	0.1	0.231	0.135	0.113	0.184	0.324	0.069	0.221
Transformer2024.08	1,600	301	0.178	0.235	0.184	0.172	0.141	0.125	0.088	0.051	0.069	0.062	0.186	0.23	0.136	0.281	0.082	0.119	0.194	0.314	0.193	0.198
Transformer2024.08	1,584	293	0.141	0.25	0.151	0.149	0.143	0.117	0.083	0.058	0.173	0.073	0.223	0.236	0.12	0.286	0.063	0.104	0.119	0.308	0.165	0.185
Set2Seq BiLSTM2024.08	1,527	261	0.193	0.253	0.24	0.132	0.168	0.115	0.132	0.053	0.108	0.068	0.121	0.25	-0.007	0.245	0.071	0.128	0.102	0.315	0.086	0.247
Set2Seq BiLSTM2024.08	1,514	256	0.167	0.24	0.117	0.134	0.132	0.157	0.091	0.076	0.144	0.09	0.183	0.256	0.137	0.246	0.1	0.149	0.11	0.301	0.176	0.231
Hierarchical DeepSets2024.08	1,483	238	0.135	0.264	0.216	0.153	0.087	0.123	0.191	0.065	0.159	0.073	0.182	0.262	0.155	0.244	0.019	0.215	0.129	0.299	0.049	0.305
Set2Seq BiLSTM2024.08	1,476	230	0.157	0.239	0.172	0.14	-0.016	0.124	0.074	0.051	0.16	0.073	0.158	0.234	0.11	0.278	0.094	0.149	0.056	0.335	0.098	0.2
LSTM2024.08	1,474	232	0.154	0.255	0.192	0.147	0.136	0.122	0.042	0.069	0.089	0.085	0.135	0.256	0.113	0.278	0.169	0.166	0.107	0.315	0.19	0.191
Set Transformer2024.08	1,465	226	0.105	0.26	0.11	0.121	0.103	0.111	0.052	0.048	0.118	0.052	0.093	0.265	0.063	0.267	0.07	0.115	0.029	0.327	0.162	0.201
Set Transformer2024.08	1,450	219	0.157	0.232	0.156	0.127	-0.001	0.123	0.023	0.063	0.079	0.075	0.153	0.256	0.17	0.248	0.067	0.146	0.079	0.325	0.143	0.242
Set2Seq BiLSTM2024.08	1,445	215	0.127	0.267	0.086	0.109	0.176	0.137	0.125	0.051	0.121	0.071	0.13	0.262	0.08	0.27	0.122	0.187	0.049	0.335	0.1	0.214
LSTM2024.08	1,443	217	0.074	0.279	0.059	0.119	0.083	0.143	0.246	0.057	0.206	0.071	0.13	0.267	0.107	0.249	0.106	0.125	0.056	0.317	0.086	0.236
Set Transformer2024.08	1,435	210	0.173	0.232	0.039	0.151	0.111	0.128	0.132	0.063	0.064	0.078	0.134	0.263	0.118	0.247	0.066	0.155	0.112	0.308	0.113	0.26
Gradient Boosting2024.08	1,414	199	0.222	0.23	0.208	0.213	0.147	0.161	0.018	0.085	0.081	0.094	0.137	0.262	0.074	0.248	0.112	0.231	0.078	0.317	0.154	0.271
DeepSets2024.08	1,346	163	0.136	0.272	0.188	0.153	0.072	0.127	-0.092	0.066	-0.048	0.073	0.139	0.274	0.119	0.24	-0.016	0.132	0.085	0.309	0.024	0.251
Gradient Boosting2024.08	1,176	94	0.092	0.264	0.037	0.268	0.105	0.195	-0.052	0.133	0.066	0.152	0.164	0.27	0.079	0.256	-0.038	0.299	0.047	0.314	0.01	0.342
Vanilla2024.08	1,170	92	0.124	0.571	0.107	0.64	0.154	0.477	0.081	0.299	0.094	0.312	0.051	0.635	0.062	0.792	0.006	0.698	0.118	0.628	0.056	0.672
Vanilla2024.08	1,070	64	0.062	0.96	0.038	1.065	0.013	0.665	0.112	1.123	0.13	1.183	0.026	1.07	0.057	1.161	0.073	1.154	-0.059	1.029	0.021	1.503