List your company
ResearchFormerly WizWand

Tokenization on Maithili mai (NSL score)

1.97NSL ScoreQwen-3
0.71161.03831.3651.6917Nov 5, 2025
Updated 7mo ago

Evaluation results

MethodLinks
Qwen-3Reference Model=Base LLaMA-42025.111.97
DeepSeek-R1Reference Model=Base LLaMA-42025.111.34
LLaMA-3.2-1BReference Model=Base LLaMA-42025.111.16
Mistral-NemoReference Model=Base LLaMA-42025.111.08
LLaMA-4Reference Model=Base LLaMA-42025.111
SarvamReference Model=Base LLaMA-42025.110.99
SutraReference Model=Base LLaMA-42025.110.94
GPT-OSSReference Model=Base LLaMA-42025.110.9
Gemma-3Reference Model=Base LLaMA-42025.110.89
MUTANT-IndicReference Model=Base LLaMA-42025.110.76