Speech Instruction-Following on VStyle en 2025
4.05Overall ScoreGPT-4o
Evaluation results
| Method | Links | |||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| GPT-4o2025.12 | 4.05 | 3.67 | 3.45 | 2.79 | 4 | 3.6 | 4.1 | 3.27 | 3.93 | 4.23 | 4.07 | 3.89 | 3.83 | 4.95 | 4.9 | 5 | 4.54 | |
| GPT-Audio2025.12 | 3.78 | 3.67 | 4.05 | 3.75 | 4.5 | 3.3 | 4.2 | 3.73 | 4.13 | 4.51 | 4.03 | 2.65 | 3.37 | 4.25 | 3.8 | 4.23 | 3.97 | |
| Doubao2025.12 | 3.63 | 3.75 | 3.55 | 3.46 | 3.38 | 3.25 | 4.05 | 3.13 | 3.52 | 3.67 | 2.9 | 3.27 | 2.56 | 4.89 | 5 | 4.81 | 4.94 | |
| Fun-Audio-Chat-8BParameters=8B2025.12 | 3.35 | 4.04 | 3.45 | 3.33 | 4.13 | 3.2 | 3.95 | 3.17 | 3.7 | 4.09 | 3.06 | 2.5 | 3.06 | 3.64 | 4.1 | 2.9 | 3.69 | |
| Fun-Audio-Chat-30B-A3BParameters=30B, Model Identity=A3B2025.12 | 3.31 | 3.79 | 3.55 | 2.96 | 4.25 | 2.95 | 3.9 | 3.36 | 3.88 | 3.79 | 3.47 | 2.65 | 2.48 | 2.84 | 4 | 3.61 | 3.54 | |
| Kimi-Audio2025.12 | 2.54 | 2.79 | 2.45 | 2.54 | 3.04 | 1.55 | 3 | 2.33 | 2.19 | 2.41 | 2.33 | 1.73 | 1.72 | 3.59 | 3.97 | 3.65 | 3.46 | |
| Baichuan-Audio2025.12 | 2.5 | 2.71 | 2.2 | 3.83 | 2.58 | 2.05 | 2.05 | 2.55 | 2.23 | 2.21 | 1.88 | 2.08 | 2.33 | 2.41 | 3.43 | 2.74 | 3.91 |