List your company
ResearchFormerly WizWand

Tokenization on Punjabi (pa) (NSL score)

2.45NSL ScoreLLaMA-3.2-1B
0.370.911.451.99Nov 5, 2025
Updated 7mo ago

Evaluation results

MethodLinks
LLaMA-3.2-1BReference Model=Base LLaMA-42025.112.45
Qwen-3Reference Model=Base LLaMA-42025.112.37
DeepSeek-R1Reference Model=Base LLaMA-42025.111.41
LLaMA-4Reference Model=Base LLaMA-42025.111
Mistral-NemoReference Model=Base LLaMA-42025.110.98
Gemma-3Reference Model=Base LLaMA-42025.110.89
GPT-OSSReference Model=Base LLaMA-42025.110.85
SarvamReference Model=Base LLaMA-42025.110.54
SutraReference Model=Base LLaMA-42025.110.51
MUTANT-IndicReference Model=Base LLaMA-42025.110.45