Python Coding on HumanEval v1 (test)
56.1Pass@1InternLM2-7B
Evaluation Results
| Method | Links | |
|---|---|---|
| InternLM2-7Bshot count=4-shot, Parameter size group=< 7B Models2024.03 | 56.1 | |
| InternLM2-20Bshot count=4-shot, Parameter size group=13~20B Models2024.03 | 48.8 | |
| ChatGLM3-6B-Baseshot count=4-shot, Parameter size group=< 7B Models2024.03 | 45.1 | |
| Qwen-7B-Chatshot count=4-shot, Parameter size group=< 7B Models2024.03 | 36 | |
| Mixtral-8x7B-v0.1shot count=4-shot, Parameter size group=13~20B Models2024.03 | 32.3 | |
| InternLM2-20B-Baseshot count=4-shot, Parameter size group=13~20B Models2024.03 | 32.3 | |
| InternLM2-7B-Baseshot count=4-shot, Parameter size group=< 7B Models2024.03 | 31.1 | |
| Qwen-14Bshot count=4-shot, Parameter size group=13~20B Models2024.03 | 30.5 | |
| Mistral-7B-v0.1shot count=4-shot, Parameter size group=< 7B Models2024.03 | 27.4 | |
| Baichuan2-13B-Baseshot count=4-shot, Parameter size group=13~20B Models2024.03 | 23.2 | |
| Baichuan2-7B-Baseshot count=4-shot, Parameter size group=< 7B Models2024.03 | 22 | |
| Llama2-13Bshot count=4-shot, Parameter size group=13~20B Models2024.03 | 18.9 | |
| Llama2-7Bshot count=4-shot, Parameter size group=< 7B Models2024.03 | 14.6 |