VideoLCM: Video Latent Consistency Model

[arXiv](Current version v1)

 

Abstract

Latent Consistency Model을 사용하여 비디오를 생성하는 VideoLCM 제안

 

 

 

Method

Preliminaries

Consistency model의 자기 일관성은 다음과 같다.

 

일관성 증류 손실은 f_θ의 EMA인 f_θ*과 x_tn+1에서 ODE solver Φ를 통해 추정된 x̂_tn에 대해 다음과 같이 정의된다.

 

Latent Consistency Model(LCM)은 픽셀 공간 대신 잠재 공간에서 진행하고 CFG를 적용한다.

 

VideoLCM

 

사전 훈련된 T2V 모델을 교사 모델로 사용하고 ODE solver로는 DDIM 사용.

 

CFG는 일관성을 위해 훈련 단계에서 교사 모델에서만 고정된 w 값으로 사용되며 추론 시에는 사용하지 않는다.