Continual Training on 100B English tokens Weak distribution shift (near-tie)
1.991Observed LossConst+Linear
Evaluation results
| Method | Links | ||||
|---|---|---|---|---|---|
| Const+LinearLR Parameter η1=6×10−4, LR Parameter η2=6×10−4, LR Parameter a1=1200, LR Parameter a2=1200, LR Parameter a3=100002024.09 | 1.991 | 1.995 | 1 | 2 | |
| LinearLR Parameter η1=10−3, LR Parameter a1=2000, LR Parameter a2=2000, LR Parameter a3=20002024.09 | 1.992 | 1.975 | 2 | 1 | |
| Polygon1v2LR Parameter η1=1.2×10−3, LR Parameter η2=6×10−4, LR Parameter a1=1200, LR Parameter a2=5000, LR Parameter a3=115002024.09 | 1.993 | 2.01 | 3 | 3 | |
| Polygon2LR Parameter η1=1.2×10−3, LR Parameter η2=6×10−4, LR Parameter a1=1200, LR Parameter a2=7000, LR Parameter a3=130002024.09 | 1.995 | 2.017 | 4 | 4 | |
| Polygon1LR Parameter η1=10−3, LR Parameter η2=5×10−4, LR Parameter a1=5000, LR Parameter a2=10000, LR Parameter a3=150002024.09 | 1.996 | 2.059 | 5 | 5 |