configs/model/codi.yaml

########
# CoDi #
########

codi:
  type: codi
  symbol: codi
  find_unused_parameters: true
  args:
    audioldm_cfg: MODEL(audioldm_autoencoder)
    autokl_cfg: MODEL(sd_autoencoder)
    optimus_cfg: MODEL(optimus_vae)
    clip_cfg: MODEL(clip_frozen)
    clap_cfg: MODEL(clap_audio)
    unet_config: MODEL(openai_unet_codi)
    beta_linear_start: 0.00085
    beta_linear_end: 0.012
    timesteps: 1000
    vision_scale_factor: 0.18215
    text_scale_factor: 4.3108
    audio_scale_factor: 0.9228
    use_ema: false