Continual Training on 100B Chinese tokens Strong distribution shift
1.818Observed LossLinear
Evaluation results
| Method | Links | ||||
|---|---|---|---|---|---|
| LinearLR Parameter η1=10−3, LR Parameter η2=10−3, LR Parameter a1=2000, LR Parameter a2=2000, LR Parameter a3=20002024.09 | 1.818 | 1.975 | 1 | 1 | |
| Polygon2LR Parameter η1=1.2×10−3, LR Parameter η2=6×10−4, LR Parameter a1=1200, LR Parameter a2=7000, LR Parameter a3=130002024.09 | 1.821 | 2.014 | 2 | 2 | |
| Polygon1LR Parameter η1=10−3, LR Parameter η2=5×10−4, LR Parameter a1=5000, LR Parameter a2=10000, LR Parameter a3=150002024.09 | 1.826 | 2.058 | 3 | 3 |