Text Generation on Fed-Aya (Self)
2.51AlastFedMosaic
Evaluation Results
| Method | Links | ||
|---|---|---|---|
| FedMosaicModel Heterogeneity=4x Llama-3.2-1B, 4x Llama-3.2-3B2025.05 | 2.51 | 2.32 | |
| FedDPAModel Heterogeneity=4x Llama-3.2-1B, 4x Llama-3.2-3B2025.05 | 2.39 | 2.27 | |
| SFTModel Heterogeneity=4x Llama-3.2-1B, 4x Llama-3.2-3B2025.05 | 2.34 | 2.17 | |
| TAKFLModel Heterogeneity=4x Llama-3.2-1B, 4x Llama-3.2-3B2025.05 | 2.34 | 2.17 | |
| FedMKTModel Heterogeneity=4x Llama-3.2-1B, 4x Llama-3.2-3B2025.05 | 2.31 | 2.12 | |
| FedITModel Heterogeneity=4x Llama-3.2-1B, 4x Llama-3.2-3B2025.05 | 2.27 | 2.18 | |
| FedDATModel Heterogeneity=4x Llama-3.2-1B, 4x Llama-3.2-3B2025.05 | 2.14 | 2.09 | |
| FedSimModel Heterogeneity=4x Llama-3.2-1B, 4x Llama-3.2-3B2025.05 | 1.99 | 1.98 |