Positional Encoding Stress on IMDB n=256
0StressPMDS
Evaluation results
| Method | Links | |
|---|---|---|
| PMDSDimension (d)=768, Encoding=PMDS (Algorithm 1)2026.04 | 0 | |
| ALiBiDimension (d)=768, Encoding=ALiBi2026.04 | 3.051 | |
| SinusoidalDimension (d)=768, Encoding=Sinusoidal2026.04 | 1,134 | |
| RoPEDimension (d)=768, Encoding=RoPE2026.04 | 1,140 | |
| Random initialisationDimension (d)=768, Encoding=Random initialisation2026.04 | 4,618 |