Positional Encoding Stress on SST-2 n=128
0StressPMDS
Evaluation results
| Method | Links | |
|---|---|---|
| PMDSDimension (d)=768, Encoding=PMDS (Algorithm 1)2026.04 | 0 | |
| ALiBiDimension (d)=768, Encoding=ALiBi2026.04 | 0.563 | |
| SinusoidalDimension (d)=768, Encoding=Sinusoidal2026.04 | 272 | |
| RoPEDimension (d)=768, Encoding=RoPE2026.04 | 279 | |
| Random initialisationDimension (d)=768, Encoding=Random initialisation2026.04 | 1,337 |