List your company

Video-to-Audio Generation on VGGSound (test)

0.52FADFoley-Flow
0.19682.37844.566.7416Jul 8, 2024Oct 17, 2024Jan 27, 2025May 8, 2025Aug 18, 2025Nov 27, 2025Mar 9, 2026

Evaluation results

MethodLinks
Foley-Flow2026.030.52——————0.97————————98.97———————————————
MoG-HGGuidance=Hierarchical Guidance2025.090.68——————2.2————————86.6————17.2—4.06—————33.1——
MoG-PGGuidance=Parallel Guidance2025.090.7——————2.22————————86.1————16.8—4.14—————32.9——
CFG-onlyGuidance=CFG-only2025.090.73——————2.28————————85.8————17.1—4.48—————32.8——
GMS-CAVP2026.010.75——————1.63————————95.87———————————————
V2A-MapperBandwidth Extension=44.1 kHz2024.070.840.242.72—————————————————————————————
V2A-MapperParams=229M2025.100.8484.57—————2.69—————————————12.471.225——————22.58——
V2A-MapperBandwidth Extension=No2024.070.890.4514.10.470.124-0.010.68—————————————————————————
V2A-MapperModel=V2A-Mapper2025.090.9——————2.68————————78.3————12.5—8.35—————22.4——
MMAudio-L-44kParams=1.03B2025.100.9760.6—————1.65—————————————17.40.442——————33.22——
V2A-MapperText prompts=false, Speed (s)=11.542024.110.99——————2.78————————74.37———————————————
V2A-Mapper2026.010.99——————2.78————————74.37———————————————
V2A-Mapper2026.030.99——————2.78————————74.37———————————————
SpecMaskFoleyParams=300M2025.101.03108.62—————1.76—————————————11.430.652——————26.39——
DAC reconstruct2024.071.060.040.10.90.1260.970.46—————————————————————————
V2A-mapperSampling rate=16K2024.111.13——————2.4——24.5——25.21.248.59————————————————
DAC-VAE (VGGSound)Sampling rate=48K, Note=Oracle baseline2024.111.21——————0.28——28.2——35.40.625.91————————————————
FrierenParams=159M2025.101.34106.1—————2.73—————————————12.250.851——————22.78——
FrierenType=Rectified Flow Matching (RFM)2024.091.43——————2.95—————19.56277—————————————————
MaskVAT Seq2Seq2024.071.510.060.60.550.140.050.63—————————————————————————
MaskVAT2026.011.51——————2.65————————63.87———————————————
MaskVAT2026.031.51——————2.65————————63.87———————————————
FrierenSampling rate=16K2024.111.54——————2.5——24.7——25.40.875.13————————————————
FoleyGenModel=FoleyGen2025.091.65——————2.35————————73.8————————————26.1——
MMAudioSep (pretrain wo/frozen)Params=1.03B, Pretraining=wo/frozen2025.101.68104.84—————1.74—————————————13.470.556——————28.18——
MMAudioSep (pretrain w/frozen)Params=540M, Pretraining=w/frozen2025.101.76103.03—————1.63—————————————14.990.488——————30.35——
ReWaSParams=619M2025.101.79141.38—————2.87—————————————8.511.062——————14.82——
V-AURAType=Autoregressive (AR)2024.091.92——————2.31—————25.01155—————————————————
VTA-LDMModel=VTA-LDM2025.092.01——————2.37————————77————10.4—12.8—————26.2——
MaskVAT Hybrid2024.072.040.080.880.550.1360.170.4—————————————————————————
ReWaSnumber of parameters=204M2024.072.1615.24———————2.780.43530.11490.3008———————————————————
FoleyCrafterModel=FoleyCrafter2025.092.32——————2.54————————83.6————9.9—18.1—————27.7——
VATT-GemmaBackbone=Gemma-2B, Text prompts=false, Speed (s)=0.652024.112.35——————2.25————————82.81———————————————
VATT2026.012.35——————2.25————————82.81———————————————
VATT2026.032.35——————2.25————————82.81———————————————
VATTModel=VATT, text_input=excluded2025.092.35——————2.25————————82.8———————————————
VATT-LLamaBackbone=LLama-2-7B, Text prompts=false, Speed (s)=1.12024.112.38——————2.39————————80.32———————————————
MMAudioSep (scratch)Params=1.03B, Pretraining=None2025.102.42146.05—————2.11—————————————10.310.655——————25.09——
AudioLDM-2Text Prompt=GT audio caption2024.112.46——————2.09——0.326—————51.84———————————————
FoleyCrafterParams=1.22B2025.102.51140.09—————2.3—————————————15.681.225——————25.68——
VATT-LLama-TBackbone=LLama-2-7B, Text prompts=true, Speed (s)=1.22024.112.54——————1.41————————80.16———————————————
VATT-LLama-TText Prompt=GT audio caption2024.112.54——————1.41——0.347—————80.16———————————————
FoleyGenZero-shot=true2024.092.59——————2.896.9———————————————————————
FoleyGenText prompts=false, Speed (s)=6.92024.112.59——————2.89————————73.83———————————————
FoleyGen2026.012.59——————2.89————————73.83———————————————
FoleyGen2026.032.59——————2.89————————73.83———————————————
Seeing & Hearing2026.012.63——————2.62————————78.95———————————————
Seeing & Hearing2026.032.63——————2.62————————78.95———————————————
VAB-EncodecZero-shot=true, decoding steps=16, classifier-free guidance scale=52024.092.69——————2.580.4———————————————————————
VAB2026.012.69——————2.58————————76.83———————————————
VAB2026.032.69——————2.58————————76.83———————————————
VAB-EncodecModel=VAB-Encodec2025.092.69——————2.58————————————————————————
FoleyCrafterSampling rate=16K2024.112.74——————2.07——25.3——30.21.246.89————————————————
VATT2025.102.77131.88—————1.48—————————————11.91.195——————25——
V-AURAParams=695M2025.102.88218.5—————2.42—————————————10.080.654——————27.64——
MultiFoleySampling rate=48K2024.112.92——————1.43——34.4——280.84.62————————————————
VATT-Gemma-TBackbone=Gemma-2B, Text prompts=true, Speed (s)=0.762024.112.98——————1.66————————81.48———————————————
VATT-Gemma-TText Prompt=GT audio caption2024.112.98——————1.66——0.31—————81.48———————————————
FoleyGenSampling rate=16K2024.113.01——————2.48——23.4——24.41.244.62————————————————
AudioGenText Prompt=GT audio caption2024.113.17——————2.19——0.409—————48.96———————————————
VAB-DACZero-shot=true, decoding steps=16, classifier-free guidance scale=52024.093.24——————2.841.3———————————————————————
VABSampling rate=16K2024.113.26——————2.18——23.5——27.91.24.85————————————————
MaskVAT AdaLN-BConditioning=CLIP and S3D conditioning2024.073.390.050.880.50.1230.160.43—————————————————————————
AudioLDM-2Text Prompt=LLAVA visual caption2024.113.62——————3.54————————53.49———————————————
MaskVAT AdaLN-AConditioning=only CLIP conditioning2024.073.830.061.210.480.1230.050.6—————————————————————————
SpecVQGANBandwidth Extension=No2024.075.270.267.750.330.080.020.67—————————————————————————
Seeing&HearingParams=415M2025.105.4219.01—————2.26—————————————8.581.204——————33.99——
SpecVQGANnumber of parameters=379M2024.075.5726.63———————3.30.13360.14220.2851———————————————————
Diff-FoleyType=Diffusion (DM)2024.095.62——————3.23—————16.88321—————————————————
SpecVQGANBandwidth Extension=44.1 kHz2024.075.750.428.1—————————————————————————————
Diff-FoleyModel=Diff-Foley2025.095.79——————3.12————————89.9————10.8—21.9—————20.4——
Im2wavnumber of parameters=365M2024.075.9416.87———————2.530.40010.1310.2763———————————————————
AudioGenText Prompt=LLAVA visual caption2024.116.03——————3.65————————41.66———————————————
Im2WavBandwidth Extension=No2024.076.210.4511.90.450.11600.68—————————————————————————
IM2WAVZero-shot=true2024.096.32——————2.54289.5———————————————————————
IM2WAVText prompts=false, Speed (s)=289.52024.116.32——————2.54————————74.31———————————————
Im2Wav2026.016.32——————2.54————————74.31———————————————
Im2Wav2026.036.32——————2.54————————74.31———————————————
Diff-FoleyZero-shot=true2024.096.4——————3.154.4———————————————————————
Diff-FoleyText prompts=false, Speed (s)=4.42024.116.4——————3.15————————82.47———————————————
Diff-Foley2026.016.4——————3.15————————82.47———————————————
Diff-Foley2026.036.4——————3.15————————82.47———————————————
SpecVQGANType=Autoregressive (AR)2024.096.41——————3.16—————10.09409—————————————————
IM2WAVModel=IM2WAV2025.096.41——————2.54————————74.3————————————19——
Diff-Foleynumber of parameters=859M2024.076.4621.96———————3.150.4010.15710.2059———————————————————
Diff-FoleySampling rate=16K2024.116.53——————2.9——20.5——19.51.014.8————————————————
Seeing&Hearingmode=Optimization-based generation2024.076.5820.72———————2.340.58050.16680.1858———————————————————
SpecVQGANZero-shot=true2024.096.63——————3.787.2———————————————————————
SpecVQGANText prompts=false, Speed (s)=7.22024.116.63——————3.78————————48.79———————————————
SpecVQGAN2026.016.63——————3.78————————48.79———————————————
SpecVQGAN2026.036.63——————3.78————————48.79———————————————
Im2WavSampling rate=16K2024.117.36——————2.11——25.2——22.31.255.88————————————————
Diff-FoleyBandwidth Extension=44.1 kHz2024.077.541.2222.4—————————————————————————————
Im2WavBandwidth Extension=44.1 kHz2024.077.890.457.24—————————————————————————————
Diff-FoleyBandwidth Extension=No2024.078.61.0930.80.350.0870.070.57—————————————————————————
AC-FoleyAudio Conditioning=true2026.03—————————————37.1—————564.93—0.4651.080.840.9528.3253.1711.37———
AC-FoleyAudio Conditioning=false2026.03—————————————36.6—————64.98.59—0.413.871.171.3426.1950.9514.59———
AudioIMstyle_encoder=excluded2026.06——————3.63—————————————————1.681.9——————
AudioIMvariant=ours2026.06——————4.06—————————————————1.631.85——————
AudioIMStyle Encoder=false2026.06—————————————31.21————————0.51—1.491.7——————