-
VideoLDM - Latent Diffusion ModelIT-Information/Issues 2023. 4. 23. 13:43
VideoLDM - Latent Diffusion Model을 이용한 고해상도 Text-to-Video
LDM은 압축된 저차원 Latent 공간에서 Diffusion Model을 학습해서 많은 컴퓨팅 리소스 없이도 고해상 이미지 합성이 가능하다. 이 LDM을 고해상 비디오에 적용한 NVidia의 논문을 기반으로 하고 있다.
LDM을 이미지 전용으로 사전학습하고, Temporal Dimension을 도입해 인코딩된 이미지 시퀀스를 미제 조정해서 이미지 생성기를 비디오 생성기로 전환한다.
확산모델 업샘플러를 얼라인하여 temporally consistent한 초고해상 비디오 모델로 바꿔준다.
https://research.nvidia.com/labs/toronto-ai/VideoLDM/