본문 바로가기

논문 리뷰/Diffusion Model

(138)
High-Resolution Image Synthesis with Latent Diffusion Models (LDM) LDM 코드 리뷰 Diffusion Model + Autoencoder + Cross Attention Github GitHub - CompVis/latent-diffusion: High-Resolution Image Synthesis with Latent Diffusion Models High-Resolution Image Synthesis with Latent Diffusion Models - GitHub - CompVis/latent-diffusion: High-Resolution Image Synthesis with Latent Diffusion Models github.com Abstract 품질과 유연성을 유지하면서 제한된 계산 리소스에 대한 확산 모델 훈련을 가능하게 하기 위해 사전 훈련된 ..
Retrieval-Augmented Diffusion Models 논문 리뷰 CLIP을 이용한 검색 기반 확산 모델 Arxiv Code Abstract 자연어 처리에서의 성공적인 적용에 영감을 받아 검색 기반 접근 방식으로 확산 모델을 보완하고 외부 데이터베이스 형태의 명시적 메모리를 도입할 것을 제안한다. 본 논문의 확산 모델은 CLIP을 통해 각 훈련 인스턴스의 이웃에서 검색된 유사한 시각적 특징으로 훈련된다. 또한 적은 계산 및 메모리 오버헤드를 발생시키고 구현하기 쉽다. Introduction 확산 모델을 사용한 retrieval-augmented 생성 모델링을 위한 간단한 프레임워크를 제시한다. CLIP의 잠재 공간을 검색하고 조건화하여 계산 오버헤드가 거의 없는 가장 가까운 이웃 표현을 통합하는 효율적인 방법을 제시한다. 검색이 빠르고 CLIP 임베딩에 대한 컨디셔닝에..
Cascaded Diffusion Models for High Fidelity Image Generation 논문 리뷰 Cascade 구조를 통해 확산 모델에서 고해상도 샘플 생성 Arxiv Abstract Cascade 확산 모델이 샘플 품질을 높이기 위한 보조 이미지 분류기의 도움 없이 충실도가 높은 이미지를 생성할 수 있음을 보여준다. Cascade 확산 모델은 가장 낮은 해상도에서 표준 확산 모델로 시작하여 이미지를 연속적으로 업샘플링하고 더 높은 해상도 세부 사항을 추가하는 하나 이상의 초해상도 확산 모델이 뒤따르는 형태로 다중 확산 모델 파이프라인으로 구성된다. 또한 연구진은 conditioning augmentation이 cascade 모델에서 샘플링하는 동안 복합 오류를 방지하여 cascading pipeline을 훈련하는 데 도움이 된다는 것을 발견했다. Introduction Cascading diffu..
Pretraining is All You Need for Image-to-Image Translation (PITI) 논문 리뷰 사전 훈련된 확산 모델을 통한 image-to-image 변환 Project Page PITI Pretraining is All You Need for Image-to-Image Translation Diverse samples synthesized by our approach. Abstract We propose to use pretraining to boost general image-to-image translation. Prior image-to-image translation methods usually need dedicated arch tengfei-wang.github.io Abstract 이전의 image-to-image 변환 방법은 전용 아키텍처 설계가 필요하고 처음부터 훈련하며 대규모..
Classifier-Free Diffusion Guidance 논문 리뷰 분류기 없는 가이드로 Inception score와 FID 절충 Arxiv Abstract 분류기 없이 순수한 생성 모델에 의해 가이드가 실제로 수행될 수 있음을 보여준다. Classifier-free guidance로 조건부 및 무조건 모델을 공동으로 훈련하고 결과 점수 추정치를 결합하여 샘플 품질과 다양성 간의 균형을 달성한다. Introduction 분류기 지침에 대한 이전의 연구는 확산 모델의 점수 추정치를 분류기의 gradient와 혼합했다. Gradient의 강도를 변경하여 Inception score와 FID 점수를 절충할 수 있다. 하지만 분류기 지침은 모델 파이프라인을 복잡하게 만들고 노이즈가 있는 데이터에 대해 훈련해야 하므로 사전 훈련된 분류기를 사용할 수 없다. 또한 분류기의 gra..
Diffusion Models Beat GANs on Image Synthesis 논문 리뷰 Diffusion 모델 성능 개선, 분류기 가이드 도입 Github GitHub - openai/guided-diffusion Contribute to openai/guided-diffusion development by creating an account on GitHub. github.com Arxiv Diffusion Models Beat GANs on Image Synthesis We show that diffusion models can achieve image sample quality superior to the current state-of-the-art generative models. We achieve this on unconditional image synthesis by findi..