List your company

Instruction Following on IFEval

95IFEval AccuracyQwen3.5-27B
83.279286.322189.36592.4079Apr 23, 2025Jun 30, 2025Sep 7, 2025Nov 15, 2025Jan 22, 2026Apr 1, 2026Jun 9, 2026

Evaluation results

MethodLinks
Qwen3.5-27BArchitecture=Dense, # Total Params=27B, # Activated Params=27B, Reasoning Mode=REASONING2026.0495————————————————————————————————
S-PSRLL+promptBackbone=Gemma-2-9b-it, Evaluation Protocol=Activation Steering + Prompting2026.0593.1————————————————————————————94.6———
GPT-5 miniReasoning Mode=REASONING: HIGH2026.0492.8————————————————————————————————
A-PSRMSE+promptBackbone=Gemma-2-9b-it, Evaluation Protocol=Activation Steering + Prompting2026.0592.4————————————————————————————93.5———
S-ConstLL+promptBackbone=Gemma-2-9b-it, Evaluation Protocol=Activation Steering + Prompting2026.0591.5————————————————————————————94.3———
Qwen3-30B-A3BGroup=Larger, Configuration=Optimal serving and decoding2026.0391.2————————————————————————————————
Gpt-oss-20b-highGroup=Larger, Configuration=Optimal serving and decoding2026.0391.1————————————————————————————————
S-PSRMSE+promptBackbone=Gemma-2-9b-it, Evaluation Protocol=Activation Steering + Prompting2026.0591.1————————————————————————————94———
RL w/ PaTaRMBase Model=Qwen3-14B2025.1090.9———87.890.292.193.7—————————————————————————
Qwen3-14BGroup=Larger, Configuration=Optimal serving and decoding2026.0390.4————————————————————————————————
RDPO2026.0590.39————————————————————————————————
BF16Model=Nemotron Nano V22026.0190.3————————————————————————————————
NVFP4 PTQModel=Nemotron Nano V22026.0189.8————————————————————————————————
RL w/ SkyworkBase Model=Qwen3-14B2025.1089.8———86.589.19192.7—————————————————————————
S-PSRLL+promptBackbone=Phi-3-mini-instruct, Evaluation Protocol=Activation Steering + Prompting2026.0589.8————————————————————————————82.2———
K-EXAONE-236B-A23BArchitecture=MoE, # Total Params=236B, # Activated Params=23B, Reasoning Mode=REASONING2026.0489.7————————————————————————————————
EXAONE 4.5 33BArchitecture=Dense, # Total Params=33B, # Activated Params=32B, Reasoning Mode=REASONING2026.0489.6————————————————————————————————
GRPO2026.0589.46————————————————————————————————
DPO (RLCF)Base Model=Qwen3-14B2025.1089.4———85.888.790.692.6—————————————————————————
NVFP4 QADModel=Nemotron Nano V22026.0189.3————————————————————————————————
A-ConstLL+promptBackbone=Phi-3-mini-instruct, Evaluation Protocol=Activation Steering + Prompting2026.0589.3————————————————————————————75.2———
WMDBase Model=Qwen3-Next-80B-A3B-Thinking, N. Params=80B, MoE=true, Reasoning=true, Train Dataset=Extended, Top-k Layers=8, Coeff=-0.25, Reposition=false2025.1289.28————————————————————————————————
Qwen3-14BModel=Qwen3-14B2025.1089———85.888.290.391.8—————————————————————————
MDBase Model=Qwen3-Next-80B-A3B-Thinking, N. Params=80B, MoE=true, Reasoning=true, Train Dataset=Extended, Top-k Layers=4, Coeff=-1, Reposition=false2025.1288.72————————————————————————————————
Stolfo et al. (2025)+promptBackbone=Gemma-2-9b-it, Evaluation Protocol=Activation Steering + Prompting, Variant=b2026.0588.7————————————————————————————94.6———
Qwen3-Next-80B-A3B-ThinkingN. Params=80B, MoE=true, Reasoning=true2025.1288.54————————————————————————————————
WMDBase Model=Qwen3-Next-80B-A3B-Thinking, N. Params=80B, MoE=true, Reasoning=true, Train Dataset=China-centric, Top-k Layers=8, Coeff=-0.25, Reposition=false2025.1288.54————————————————————————————————
WRMDBase Model=Qwen3-Next-80B-A3B-Thinking, N. Params=80B, MoE=true, Reasoning=true, Train Dataset=Extended, Top-k Layers=16, Coeff=-0.15, Reposition=false2025.1288.54————————————————————————————————
MDBase Model=Qwen3-Next-80B-A3B-Thinking, N. Params=80B, MoE=true, Reasoning=true, Train Dataset=China-centric, Top-k Layers=4, Coeff=-0.5, Reposition=false2025.1288.35————————————————————————————————
Qwen3-VL-235B-A22BArchitecture=MoE, # Total Params=236B, # Activated Params=22B, Reasoning Mode=Thinking2026.0488.2————————————————————————————————
DictaLM 3.0 24B-ThinkParameters=24B, Variant=Thinking2026.0288.17————————————————————————————————
SPARDBackbone=Qwen3-8B2026.0488.17————————————————————————————————
WRMDBase Model=Qwen3-Next-4B-Thinking, N. Params=4B, MoE=false, Reasoning=true, Train Dataset=Extended, Top-k Layers=2, Coeff=-2, Reposition=false2025.1287.99————————————————————————————————
NVFP4 QADModel=Llama Nemotron Super V12026.0187.8————————————————————————————————
GOLFBackbone=Qwen-3-8B2026.0387.8————————————————————————————————
Llama 3.1 InstructModel Scale=70B2025.0487.7————————————————————————————————
A-PSRLL+promptBackbone=Gemma-2-9b-it, Evaluation Protocol=Activation Steering + Prompting2026.0587.6————————————————————————————80———
BF16Model=Llama Nemotron Super V12026.0187.5————————————————————————————————
RMDBase Model=Qwen3-Next-80B-A3B-Thinking, N. Params=80B, MoE=true, Reasoning=true, Train Dataset=Extended, Top-k Layers=4, Coeff=-2, Reposition=false2025.1287.25————————————————————————————————
NVFP4 QATModel=Llama Nemotron Super V12026.0187.2————————————————————————————————
SFTBase Model=Qwen3-14B2025.1087.1———83.585.68990.3—————————————————————————
A-ConstLL+promptBackbone=Gemma-2-2b-it, Evaluation Protocol=Activation Steering + Prompting2026.0587————————————————————————————78.9———
NVFP4 PTQModel=Llama Nemotron Super V12026.0186.9————————————————————————————————
SDModel=Llama-3.1 8B/70B-Instruct, L=102026.0286.86———————————————0.875.47———————————————
Stolfo et al. (2025)+promptBackbone=Gemma-2-9b-it, Evaluation Protocol=Activation Steering + Prompting, Variant=a2026.0586.6————————————————————————————————
Llama 70B2026.0286.57————————————————————————————————
GOLFBackbone=Qwen-3-4B2026.0386.51————————————————————————————————
A-PSRLL+promptBackbone=Gemma-2-2b-it, Evaluation Protocol=Activation Steering + Prompting2026.0586.4————————————————————————————84.6———
Llama3.1-70BPrecision=BF162026.0286.37————————————————————————————————
BaseBackbone=Qwen3-8B2026.0486.32————————————————————————————————
+ GRPOrmBackbone=Qwen3-8B2026.0486.32————————————————————————————————
+ GRPOavgBackbone=Qwen3-8B2026.0486.32————————————————————————————————
NVFP4 QATModel=Nemotron Nano V22026.0186.2————————————————————————————————
SD + DMModel=Llama-3.1 8B/70B-Instruct, L=102026.0286.17———————————————0.996.34———————————————
WRMDBase Model=Qwen3-Next-80B-A3B-Thinking, N. Params=80B, MoE=true, Reasoning=true, Train Dataset=China-centric, Top-k Layers=8, Coeff=-0.25, Reposition=false2025.1286.14————————————————————————————————
RL initialization model2026.0586.14————————————————————————————————
TI-DPOBackbone=LLaMA-3.1-8B2025.0586————————————————————————————————
+ GRPOimpBackbone=Qwen3-8B2026.0485.95————————————————————————————————
Qwen2.5-14BRole=Teacher2026.0285.9————————————————————————————————
Qwen3-Next-4B-ThinkingN. Params=4B, MoE=false, Reasoning=true2025.1285.77————————————————————————————————
promptBackbone=Gemma-2-9b-it, Evaluation Protocol=Prompting Only2026.0585.7————————————————————————————94.8———
Qwen3-4BTotal Parameters=4B, Active Parameters=4B, Trained Tokens=36T2025.1185.62————————————————————————————————
SDModel=Llama-3.1 8B/70B-Instruct, L=52026.0285.6———————————————14.12———————————————
Critique-GRPOBackbone=Qwen-3-8B2026.0385.58————————————————————————————————
S-PSRLL+promptBackbone=Mistral-7B-Instruct, Evaluation Protocol=Activation Steering + Prompting2026.0585.5————————————————————————————75.5———
OriginalModel=Qwen3-32B, MLP Sparsity=0%2026.0685.46————————————————————————————————
Gemma 3 27BParameters=27B2026.0285.4————————————————————————————————
GLM-4.7-Flash-T#Token=19002026.0485.4————————————————————————————————
+ DPOBackbone=Qwen3-8B2026.0485.39————————————————————————————————
Llama3.1-70BPrecision=FP4 w. Attn-QAT2026.0285.32————————————————————————————————
Qwen3-8BInference Mode=think2026.0385.32————————————————————————————————
SD + DMModel=Llama-3.1 8B/70B-Instruct, L=52026.0285.24———————————————1.14.48———————————————
RMDBase Model=Qwen3-Next-80B-A3B-Thinking, N. Params=80B, MoE=true, Reasoning=true, Train Dataset=China-centric, Top-k Layers=4, Coeff=-0.75, Reposition=false2025.1285.21————————————————————————————————
Critique-GRPOBackbone=Qwen-3-4B2026.0385.21————————————————————————————————
A-PSRMSE+promptBackbone=Phi-3-mini-instruct, Evaluation Protocol=Activation Steering + Prompting2026.0585.2————————————————————————————80.6———
A-ConstLL+promptBackbone=Gemma-2-9b-it, Evaluation Protocol=Activation Steering + Prompting2026.0585.2————————————————————————————92———
TPOBackbone=LLaMA-3.1-8B2025.0585————————————————————————————————
GRPOBackbone=LLaMA-3.1-8B2025.0585————————————————————————————————
Gemma 2 27B2026.0284.77————————————————————————————————
GRPOBackbone=Qwen-3-8B2026.0384.76————————————————————————————————
+ SFTBackbone=Qwen3-8B2026.0484.73————————————————————————————————
Qwen3-Next-80B-A3B#Token=6002026.0484.7————————————————————————————————
I-DLMParams=8B, Decoding=ISD (N=4, sampling)2026.0484.7————————————————————————————————
Qwen3Params=8B2026.0484.7————————————————————————————————
I-DLMParams=32B, Decoding=ISD (N=4, sampling)2026.0484.7————————————————————————————————
Qwen3Parameters=8B, Architecture=AR2026.0484.7————————————————————————————————
I-DLMParameters=8B2026.0484.7————————————————————————————————
Qwen3Params=32B2026.0484.5————————————————————————————————
GRPOBackbone=Qwen-3-4B2026.0384.45————————————————————————————————
Critique-FTBackbone=Qwen-3-8B2026.0384.45————————————————————————————————
Refinement-FTBackbone=Qwen-3-8B2026.0384.29————————————————————————————————
OLMo-3.1-32BOpenness=Fully-open, Regional Origin=Non-European, Post-training=Instruction-tuned2026.0284.2————————————————————————————————
Qwen3-8BInference Mode=no-think2026.0384.07————————————————————————————————
Mi:dm 2.0 Base-instType=Instruction-tuned2026.0184————————————————————————————————
CPOBackbone=LLaMA-3.1-8B2025.0584————————————————————————————————
Qwen3-Next-4B-InstructN. Params=4B, MoE=false, Reasoning=false2025.1283.92————————————————————————————————
Qwen3-14BParameters=14B2026.0183.9————————————————————————————————
ParamΔModel Scale=70B2025.0483.9————————————————————————————————
Refinement-FTBackbone=Qwen-3-4B2026.0383.73————————————————————————————————
SpenseGPT+Model=Seed-OSS-36B-Instruct, MLP Sparsity=37.5%2026.0683.73————————————————————————————————