Text Generation on Fed-Aya (Others)
2.25AlastFedMosaic
Evaluation Results
| Method | Links | ||
|---|---|---|---|
| FedMosaicModel Heterogeneity=4x Llama-3.2-1B, 4x Llama-3.2-3B2025.05 | 2.25 | 2.17 | |
| FedDPAModel Heterogeneity=4x Llama-3.2-1B, 4x Llama-3.2-3B2025.05 | 2.2 | 2.13 | |
| FedITModel Heterogeneity=4x Llama-3.2-1B, 4x Llama-3.2-3B2025.05 | 2.19 | 2.1 | |
| TAKFLModel Heterogeneity=4x Llama-3.2-1B, 4x Llama-3.2-3B2025.05 | 2.19 | 2.08 | |
| FedMKTModel Heterogeneity=4x Llama-3.2-1B, 4x Llama-3.2-3B2025.05 | 2.06 | 1.96 | |
| SFTModel Heterogeneity=4x Llama-3.2-1B, 4x Llama-3.2-3B2025.05 | 2.01 | 1.99 | |
| FedDATModel Heterogeneity=4x Llama-3.2-1B, 4x Llama-3.2-3B2025.05 | 1.98 | 1.96 | |
| FedSimModel Heterogeneity=4x Llama-3.2-1B, 4x Llama-3.2-3B2025.05 | 1.92 | 1.92 |