List your company

Information Retrieval on BEIR

0.9954SciFactDIVE
0.6902640.7694820.84870.927918Feb 17, 2022Nov 6, 2022Jul 27, 2023Apr 14, 2024Jan 2, 2025Sep 21, 2025Jun 11, 2026

Evaluation results

MethodLinks
DIVEEmbedding Dimension=256d, Adaptor=true2026.050.9954———0.8097——0.9345———0.6459——0.9342—0.3119———————————————————————————————————————————————————————————————————————————
SearchEmbedding Dimension=256d, Adaptor=true2026.050.9885———0.4289——0.5083———0.6052——0.7489—0.0724———————————————————————————————————————————————————————————————————————————
SMECEmbedding Dimension=256d, Adaptor=true2026.050.9042———0.331——0.207———0.5868——0.7922—0.0258———————————————————————————————————————————————————————————————————————————
MatryoshkaEmbedding Dimension=256d, Adaptor=true2026.050.783———0.1258——0.2814———0.3974——0.8545—0.0634———————————————————————————————————————————————————————————————————————————
ADOREDense Retriever=BGE-base-en-v1.5, LLM Backbone=GPT-4.12026.060.776—0.851————0.421—0.494—————0.41————0.59———————————————————————————————————————————————————————————————————————
Rank1-7BBackbone=7B2026.050.772—0.819————0.395————0.228—————————————————————————————————————————————————————————————38.9—————————————————
Rank1-14BBackbone=14B2026.050.77—0.782————0.379————0.271—————————————————————————————————————————————————————————————37.4—————————————————
RICE-POBackbone=Qwen2.5-3B-Instruct2026.050.7696—0.9859————0.4594————0.4063—————————————————————————————————————————————————————————————66.29—————————————————
RICE-POBackbone=DeepSeek-R1-Distill-Qwen-1.5B2026.050.769—0.9833————0.461————0.4185—————————————————————————————————————————————————————————————65.11—————————————————
Rank1-32BBackbone=32B2026.050.768—0.819————0.418————0.199—————————————————————————————————————————————————————————————40.7—————————————————
Tree-GRPOBackbone=Qwen2.5-3B-Instruct2026.050.7647—0.9762————0.4565————0.4065—————————————————————————————————————————————————————————————64.71—————————————————
EffiR-16M#Params=4.3B, Query-Speedup=1.64×, Doc-Speedup=1.55×2025.120.764—0.842—0.3540.6380.7010.449———0.5450.284—0.8370.4220.1710.8330.316—0.553———————————————————————————————————————————————————————————————————————
HGPOBackbone=Qwen2.5-3B-Instruct2026.050.764—0.974————0.4558————0.399—————————————————————————————————————————————————————————————64.23—————————————————
EffiR-8A#Params=6.8B, Query-Speedup=1.08×, Doc-Speedup=1.08×2025.120.762—0.863—0.3160.6450.6810.455———0.5610.323—0.8790.4010.1720.7910.299—0.538———————————————————————————————————————————————————————————————————————
MonoT5-3BBackbone=T5-3B2026.050.761—0.796————0.465————0.307—————————————————————————————————————————————————————————————44.5—————————————————
Q2DDense Retriever=BGE-base-en-v1.5, LLM Backbone=GPT-4.1, Prompting Strategy=Zero-Shot (ZS)2026.060.761—0.806————0.415—0.476—————0.431————0.578———————————————————————————————————————————————————————————————————————
GRPOBackbone=Qwen2.5-3B-Instruct2026.050.7606—0.9815————0.4516————0.3907—————————————————————————————————————————————————————————————64.57—————————————————
Mistral-7B*#Params=7.1B, Query-Speedup=1.00×, Doc-Speedup=1.00×2025.120.759—0.841—0.3470.650.7050.459———0.5820.357—0.8310.4420.1720.8350.308—0.561———————————————————————————————————————————————————————————————————————
GiGPOBackbone=Qwen2.5-3B-Instruct2026.050.759—0.9748————0.4607————0.3832—————————————————————————————————————————————————————————————65.69—————————————————
GenQREnsembleDense Retriever=BGE-base-en-v1.5, LLM Backbone=GPT-4.12026.060.759—0.8————0.403—0.475—————0.376————0.562———————————————————————————————————————————————————————————————————————
Q2DDense Retriever=BGE-base-en-v1.5, LLM Backbone=GPT-4.1, Prompting Strategy=Chain-of-Thought (CoT)2026.060.758—0.798————0.401—0.433—————0.368————0.552———————————————————————————————————————————————————————————————————————
EffiR-20M#Params=3.6B, Query-Speedup=1.93×, Doc-Speedup=1.80×2025.120.757—0.857—0.3310.6080.6790.431———0.5140.281—0.8650.3740.170.7970.319—0.537———————————————————————————————————————————————————————————————————————
DCI-Agent-CCBackbone=Sonnet 4.62026.050.757——————————0.853————————————————————————————————————————————————————————————————————————————————
LameRDense Retriever=BGE-base-en-v1.5, LLM Backbone=GPT-4.12026.060.757—0.78————0.408—0.437—————0.402————0.557———————————————————————————————————————————————————————————————————————
MUGIDense Retriever=BGE-base-en-v1.5, LLM Backbone=GPT-4.12026.060.757—0.802————0.429—0.49—————0.44————0.584———————————————————————————————————————————————————————————————————————
RepLLaMA#Params=6.6B, Query-Speedup=1.05×, Doc-Speedup=0.98×2025.120.756—0.847—0.3780.6240.6850.458———0.4860.305—0.8680.4370.1810.8340.31—0.551———————————————————————————————————————————————————————————————————————
GTE-MC2026.050.7560.453——0.3810.6170.7730.456———0.4770.3160.410.8670.4750.1920.8750.306—0.547——————————————————————————————————————————————————————0.849————————————————
ReasonRank-32BModel Size=32B2026.050.755——————————0.287————————————————————————————————————————————————————————————————————————————————
CSQEDense Retriever=BGE-base-en-v1.5, LLM Backbone=GPT-4.12026.060.755—0.788————0.407—0.463—————0.424————0.567———————————————————————————————————————————————————————————————————————
ADORECategory=Query Expansions w/ BM25, Backbone LLM=GPT-4.12026.060.755—0.774————0.315—0.52—————0.407————0.554———————————————————————————————————————————————————————————————————————
cpt-text-XLTraining=Unsupervised + Supervised, Architecture=Bi-Encoder2022.020.754—0.6490.4070.4070.5880.6880.512———0.4350.2910.6280.6380.432—0.7750.2230.528————————————————————————————————————————————————————————————————————————
GiGPOBackbone=DeepSeek-R1-Distill-Qwen-1.5B2026.050.7537—0.9561————0.4385————0.4147—————————————————————————————————————————————————————————————63.3—————————————————
GTE-Qwen2-7B-InstructBackbone=Qwen2, Model Size=7B2026.050.753——————————0.627————————————————————————————————————————————————————————————————————————————————
Q2DDense Retriever=BGE-base-en-v1.5, LLM Backbone=GPT-4.1, Prompting Strategy=Few-Shot (FS)2026.060.752—0.804————0.421—0.472—————0.43————0.576———————————————————————————————————————————————————————————————————————
EffiR#Params=3.4B, Query-Speedup=1.97×, Doc-Speedup=1.82×2025.120.751—0.833—0.3590.6080.6760.428———0.5280.317—0.8330.430.1740.820.304—0.543———————————————————————————————————————————————————————————————————————
Nomic+Latent Termsbase_retriever=Nomic2026.050.7490.417——0.3720.5770.7320.382———0.4620.3150.3940.8550.4360.1840.8850.35—0.526——————————————————————————————————————————————————————0.783————————————————
Rank1-32BModel Size=32B2026.050.748——————————0.576————————————————————————————————————————————————————————————————————————————————
GenQRDense Retriever=BGE-base-en-v1.5, LLM Backbone=GPT-4.12026.060.748—0.778————0.392—0.464—————0.356————0.548———————————————————————————————————————————————————————————————————————
ThinkQEDense Retriever=BGE-base-en-v1.5, LLM Backbone=GPT-4.12026.060.748—0.8————0.415—0.494—————0.429————0.577———————————————————————————————————————————————————————————————————————
SGPT-5.8BTraining=Unsupervised + Supervised, Architecture=Bi-Encoder2022.020.7470.3990.8730.4130.3620.5240.5930.3720.2670.4810.5140.5140.2540.3810.8460.3990.1970.7830.3050.550.49———————————————————————————————————————————————————————————————————————
Tree-GRPOBackbone=DeepSeek-R1-Distill-Qwen-1.5B2026.050.7465—0.9749————0.4561————0.4018—————————————————————————————————————————————————————————————64.81—————————————————
cpt-text-LTraining=Unsupervised + Supervised, Architecture=Bi-Encoder2022.020.744—0.562—0.380.5280.6480.452———0.4690.309—0.6770.4120.1770.7560.1940.509————————————————————————————————————————————————————————————————————————
Query2EDense Retriever=BGE-base-en-v1.5, LLM Backbone=GPT-4.12026.060.742—0.774————0.392—0.445—————0.325————0.536———————————————————————————————————————————————————————————————————————
BGE-base-en-v1.5Dense Retriever=BGE-base-en-v1.52026.060.741—0.78————0.407—0.442—————0.407————0.555———————————————————————————————————————————————————————————————————————
BGE-base-en-v1.5Category=Dense2026.060.741—0.78————0.407—0.442—————0.407————0.555———————————————————————————————————————————————————————————————————————
HGPOBackbone=DeepSeek-R1-Distill-Qwen-1.5B2026.050.7391—0.9603————0.4355————0.4121—————————————————————————————————————————————————————————————63.15—————————————————
QWEN-4B*#Params=3.6B, Query-Speedup=2.22×, Doc-Speedup=2.18×2025.120.737—0.83—0.3560.6040.650.401———0.4860.291—0.8330.4310.1430.8020.234—0.526———————————————————————————————————————————————————————————————————————
REPLUGModel Size=3B2025.060.737—0.462—0.2690.3810.3390.248———0.380.015—0.8330.2340.1530.5430.13—0.363———————————————————————————————————————————————————————————————————————
QA-ExpandDense Retriever=BGE-base-en-v1.5, LLM Backbone=GPT-4.12026.060.737—0.795————0.416—0.47—————0.401————0.564———————————————————————————————————————————————————————————————————————
MuGIBackbone Size=4B2026.060.735—0.672—0.3570.4190.6420.2450.3440.4380.473—0.456——0.3820.15———0.443———————————————————————————————————————————————————————————————————————
MUGICategory=Query Expansions w/ BM25, Backbone LLM=GPT-4.12026.060.735—0.714————0.264—0.516—————0.41————0.528———————————————————————————————————————————————————————————————————————
ThinkQECategory=Query Expansions w/ BM25, Backbone LLM=GPT-4.12026.060.735—0.733————0.273—0.512—————0.42————0.535———————————————————————————————————————————————————————————————————————
RevelaModel Size=3B2025.060.733—0.667—0.330.4080.5880.343———0.4530.269—0.8380.2710.1760.6290.166—0.452———————————————————————————————————————————————————————————————————————
E5-baseTraining Type=Supervised fine-tuning, Backbone Scale=base2022.120.7310.4310.796—0.3660.60.6220.364———0.5140.2830.3890.8790.410.190.5820.154—0.487———————————————————————————————————————————————————————————————————————
PromptingBackbone=Qwen2.5-3B-Instruct2026.050.73—0.9387————0.4134————0.3836—————————————————————————————————————————————————————————————61.56—————————————————
GTE-MC+Latent Termsbase_retriever=GTE-MC2026.050.730.325——0.3740.5090.6530.399———0.4790.4050.3490.8650.3870.1710.8140.282—0.5——————————————————————————————————————————————————————0.759————————————————
STORM64Backbone Size=8B2026.060.728—0.796—0.3680.4630.6590.2840.3350.5020.56—0.444——0.4010.158———0.475———————————————————————————————————————————————————————————————————————
DCI-Agent-LiteBackbone=GPT-5.4 nano2026.050.727——————————0.819————————————————————————————————————————————————————————————————————————————————
RankLLaMA-13BBackbone=LLaMA-13B2026.050.727—0.808————0.441————0.392—————————————————————————————————————————————————————————————44.9—————————————————
E5-largeTraining Type=Supervised fine-tuning, Backbone Scale=large2022.120.7260.4410.783—0.3610.6290.6330.386———0.4940.2720.3940.8820.4240.2010.650.224—0.5———————————————————————————————————————————————————————————————————————
GenQRCategory=Query Expansions w/ BM25, Backbone LLM=GPT-4.12026.060.726—0.687————0.23—0.465—————0.344————0.49———————————————————————————————————————————————————————————————————————
GenQREnsembleCategory=Query Expansions w/ BM25, Backbone LLM=GPT-4.12026.060.725—0.753————0.239—0.486—————0.36————0.513———————————————————————————————————————————————————————————————————————
LameRCategory=Query Expansions w/ BM25, Backbone LLM=GPT-4.12026.060.725—0.702————0.262—0.48—————0.399————0.514———————————————————————————————————————————————————————————————————————
GRPOBackbone=DeepSeek-R1-Distill-Qwen-1.5B2026.050.7241—0.9715————0.4349————0.4204—————————————————————————————————————————————————————————————62.35—————————————————
Gemma-2B*#Params=2.6B, Query-Speedup=3.24×, Doc-Speedup=3.59×2025.120.724—0.769—0.3370.5870.6570.406———0.5750.283—0.7770.3770.1540.7830.377—0.515———————————————————————————————————————————————————————————————————————
EffiR-16A#Params=6.4B, Query-Speedup=1.15×, Doc-Speedup=1.17×2025.120.724—0.84—0.3420.6240.6620.435———0.4740.307—0.8460.4210.1770.7740.294—0.537———————————————————————————————————————————————————————————————————————
UnsupervisedProtocol=Zero-shot, Metric=nDCG@10, Backbone=ModernBERT-base (149M)2026.050.7240.1860.679—0.3540.4630.60.424———0.376——0.8880.3810.1980.6740.23—0.475———————————————————————————————————————————————————————————————————————
E5Model Size=0.3B2025.060.723—0.618—0.3370.4170.5220.432———0.4440.198—0.810.3710.2180.6860.157—0.456———————————————————————————————————————————————————————————————————————
Rank-R1-14BModel Size=14B2026.050.722——————————0.313————————————————————————————————————————————————————————————————————————————————
STORM64Backbone Size=4B2026.060.722—0.752—0.3640.4470.6450.2770.3360.4870.535—0.473——0.3960.155———0.466———————————————————————————————————————————————————————————————————————
CSQECategory=Query Expansions w/ BM25, Backbone LLM=GPT-4.12026.060.721—0.699————0.247—0.479—————0.39————0.507———————————————————————————————————————————————————————————————————————
Revela-codeModel Size=3B2025.060.72—0.607—0.3290.410.5780.332———0.4430.305—0.8560.3090.1880.6630.186—0.456———————————————————————————————————————————————————————————————————————
Query2Doc (ZS)Category=Query Expansions w/ BM25, Backbone LLM=GPT-4.1, Mode=Zero-Shot2026.060.72—0.743————0.26—0.498—————0.406————0.525———————————————————————————————————————————————————————————————————————
RevelaModel Size=1B2025.060.719—0.601—0.2720.3390.560.304———0.4460.257—0.8350.2760.1630.6170.158—0.427———————————————————————————————————————————————————————————————————————
MuGIBackbone Size=8B2026.060.717—0.69—0.3540.4480.6570.2450.3480.4630.484—0.463——0.3980.153———0.452———————————————————————————————————————————————————————————————————————
arctic-embed-m-v1.5Size=109M2025.090.716—0.846—0.3620.6250.7220.424———0.5950.3140.450.8740.4560.2150.8840.369—————————————————————————————————————56.1———————————————————————————————————
STORM32Backbone Size=1.7B2026.060.716—0.752—0.3620.4020.630.2790.3280.4570.522—0.473——0.3740.153———0.454———————————————————————————————————————————————————————————————————————
W2PBackbone Size=4B2026.060.715—0.753—0.3610.4330.6560.2490.3460.470.498—0.476——0.3850.156———0.458———————————————————————————————————————————————————————————————————————
CoveR (w/o pFT)Protocol=Zero-shot, Metric=nDCG@10, Backbone=ModernBERT-base (149M)2026.050.7140.2070.71—0.3490.5250.6110.409———0.364——0.8740.3910.2030.7630.246—0.49———————————————————————————————————————————————————————————————————————
Query2Doc (CoT)Category=Query Expansions w/ BM25, Backbone LLM=GPT-4.1, Mode=CoT2026.060.714—0.728————0.258—0.466—————0.393————0.512———————————————————————————————————————————————————————————————————————
Contriever+Latent Termsbase_retriever=Contriever2026.050.7130.366——0.340.4680.6270.317———0.4360.3570.3470.860.4090.1650.7510.254—0.474——————————————————————————————————————————————————————0.709————————————————
QUESTERBackbone Size=8B2026.060.713—0.698—0.3630.4230.6340.2630.3050.4680.531—0.414——0.360.152———0.444———————————————————————————————————————————————————————————————————————
cpt-text-LTraining=Unsupervised, Architecture=Bi-Encoder2022.020.712—0.427—0.3690.3370.5430.397———0.3920.228—0.6870.312—0.6380.1610.4420.395———————————————————————————————————————————————————————————————————————
MuGIBackbone Size=1.7B2026.060.712—0.696—0.3540.390.6310.2360.3460.4380.466—0.459——0.3850.144———0.438———————————————————————————————————————————————————————————————————————
Query2Doc (FS)Category=Query Expansions w/ BM25, Backbone LLM=GPT-4.1, Mode=Few-Shot2026.060.712—0.708————0.268—0.48—————0.401————0.514———————————————————————————————————————————————————————————————————————
RankLLaMA-7BBackbone=LLaMA-7B2026.050.711—0.802————0.421————0.414—————————————————————————————————————————————————————————————43.7—————————————————
W2PBackbone Size=1.7B2026.060.711—0.747—0.3590.3860.6320.2350.3520.4520.482—0.487——0.3730.147———0.447———————————————————————————————————————————————————————————————————————
SPLADE-v3Protocol=Zero-shot, Metric=nDCG@10, Size=110M2026.050.710.2930.748—0.3570.5860.6920.374———0.509——0.8140.450.1580.7960.233—0.517———————————————————————————————————————————————————————————————————————
SPLADE-v32026.050.710.469——0.3570.5860.6920.374———0.5090.2930.3440.8140.450.1580.7960.233—0.502——————————————————————————————————————————————————————0.748————————————————
CoveR (pFT: MS)Protocol=Zero-shot, Metric=nDCG@10, Backbone=ModernBERT-base (149M), Pre-finetuning=MSMARCO2026.050.7090.2630.784—0.3450.5580.6220.398———0.36——0.8490.390.1960.7890.263—0.502———————————————————————————————————————————————————————————————————————
Query2ECategory=Query Expansions w/ BM25, Backbone LLM=GPT-4.12026.060.709—0.715————0.269—0.463—————0.378————0.507———————————————————————————————————————————————————————————————————————
W2PBackbone Size=8B2026.060.708—0.744—0.3660.4520.670.2630.350.4770.504—0.491——0.3930.154———0.464———————————————————————————————————————————————————————————————————————
QA-ExpandCategory=Query Expansions w/ BM25, Backbone LLM=GPT-4.12026.060.706—0.707————0.264—0.45—————0.37————0.499———————————————————————————————————————————————————————————————————————
Llama-1B*#Params=1.2B, Query-Speedup=6.71×, Doc-Speedup=6.91×2025.120.704—0.817—0.3230.5780.6520.378———0.4970.293—0.8240.3820.170.8180.264—0.515———————————————————————————————————————————————————————————————————————
SPLADE++Size=110M2025.090.704—0.727—0.3470.5380.6870.347———0.520.2470.3340.8340.4370.1590.7880.23—————————————————————————————————————49.3———————————————————————————————————
SPLADE-v2Backbone Size=None2026.060.704—0.727—0.3470.5380.6870.3470.3010.4150.468—0.247——0.4370.159———0.448———————————————————————————————————————————————————————————————————————
RelevanceProtocol=Zero-shot, Metric=nDCG@10, Backbone=ModernBERT-base (149M)2026.050.7030.2650.82—0.3350.5530.630.396———0.34——0.8620.390.1820.7730.263—0.501———————————————————————————————————————————————————————————————————————
Nomic2026.050.7030.424——0.3460.5980.6720.377———0.4810.2980.3940.850.4310.1870.8130.412—0.521——————————————————————————————————————————————————————0.822————————————————
leaf-irSize=23M, Asymmetric Mode=true2025.090.702—0.826—0.3620.6120.6850.413———0.590.3010.4240.860.450.2030.8650.375—————————————————————————————————————54.8———————————————————————————————————
STORM32Backbone Size=0.6B2026.060.702—0.725—0.3250.3710.6270.2570.3230.4040.485—0.459——0.3420.147———0.431———————————————————————————————————————————————————————————————————————