논문 리뷰/Diffusion Model (138) 썸네일형 리스트형 Prompt-to-Prompt Image Editing with Cross-Attention Control Attention map 주입을 통한 텍스트 기반 이미지 편집 Project Page Abstract 편집이 텍스트로만 제어되는 직관적인 prompt-to-prompt 편집 프레임워크. Cross attention이 중요하다는 것을 관찰하고 확산 과정을 따라 attention map을 주입하여 제어함. Introduction 핵심 아이디어는 확산 과정에서 cross attention map을 주입하여 확산이 진행되는 동안 프롬프트 텍스트의 토큰에 어떤 픽셀이 참여하는지 제어함으로써 이미지를 편집할 수 있다는 것이다. 위 그림과 같은 작업 가능 단어 교체 새로운 단어 추가 단어의 의미 효과를 증폭하거나 약화 Prompt-to-prompt는 다양한 text-to-image 모델에 적용될 수 있다. Metho.. Improved Vector Quantized Diffusion Models 이산 확산 모델의 샘플링 전략 개선 Arxiv Github Abstract VQ-Diffusion에서 때때로 낮은 품질의 샘플이나 약한 상관관계의 이미지를 생성했는데, 주요한 원인 샘플링 전략 때문이라는 것을 발견하고 두 가지 중요한 기술을 제안한다. 이산 확산 모델에 대한 classifier-free guidance를 탐구하고 보다 일반적이고 효과적인 구현을 제안 VQ-Diffusion의 joint distribution 문제를 완화하기 위한 추론 전략 제안 Introduction VQ-Diffusion의 주요 장점 중 하나는 각 이산 토큰에 대한 확률을 추정할 수 있으므로 상대적으로 적은 추론 단계로 고품질 이미지를 생성한다는 것이다. 이를 바탕으로 VQ-Diffusion을 개선하기 위한 몇 가지 기.. Vector Quantized Diffusion Model for Text-to-Image Synthesis VQ-VAE + Diffusion + Masking Arxiv Github Abstract Diffusion + VQ-VAE + Masking. 확산으로 벡터 양자화에 의한 오차의 누적을 피하고 이미지 해상도에 따라 선형적으로 비용이 증가하는 선형 회귀 방법(AR)과 달리 엄청 빠르면서도 더 나은 품질을 보여준다. Introduction DALL-E와 같은 AR 방식의 단점 왼쪽 위에서 오른쪽 아래로 순차적으로 예측되기 때문에 편향 생김 추론 단계가 이전에 샘플링된 토큰을 기반으로 실행되기 때문에 앞선 토큰의 오차가 계속 누적되어 전파됨 따라서 확산 모델을 사용. 또한 네트워크 수렴을 위해 mask-and-replace 전략 사용. Background: Learning Discrete Latent Spa.. Paint by Example: Exemplar-based Image Editing with Diffusion Models Paint by Example 코드 리뷰, Paint by Example 써보기 예제 기반 이미지 편집(인페인팅) 모델 Arxiv Github Abstract 예제 기반 이미지 편집. Self-supervised training을 활용하여 소스와 예제를 분리시키고 재구성한다. 융합 아티팩트를 피하기 위해 information bottleneck과 강력한 증강을 제안함. 제어 가능성을 위해 classifier-free guidance를 사용하고 반복적인 최적화 없이 단일 forward로 진행된다. Introduction 먼저 예제 이미지를 조건으로 하는 확산 모델을 훈련한다. 텍스트 조건 모델과 달리 훈련 쌍을 수집하기가 힘들기 때문에 입력 이미지에서 개체를 잘라내어 사용한다. 하지만 위 방법은 문제가 있.. Zero-Shot Image Restoration Using Denoising Diffusion Null-Space Model 사전 훈련된 확산 모델을 이용한 zero-shot 이미지 복원 모델 https://paperswithcode.com/paper/zero-shot-image-restoration-using-denoising Papers with Code - Zero-Shot Image Restoration Using Denoising Diffusion Null-Space Model Implemented in one code library. paperswithcode.com Abstract 추가 교육이나 네트워크 수정 없이 생성 prior로 사전 교육된 확산 모델만 있으면 되는 제로샷 이미지 복원 모델 Denoising Diffusion Null-Space Model (DDNM)을 제안. 이는 역확산 과정에서 null-sp.. Make-A-Video : Text-To-Video Generation Without Text-Video Data Meta AI에서 공개한 Text-to-Video 모델. 추후 코드 공개되면 수정. Project Page Arxiv Abstract Text-to-Image(T2I)의 엄청난 발전을 Text-to-Video(T2V)로 변환하기 위한 접근 방식을 제안한다. Make-A-Video(이하 MAV)는 T2V 모델의 훈련을 가속화하고 텍스트-비디오 데이터 쌍이 필요하지 않으며 발전된 이미지 생성 모델의 장점을 계승한다. 또한 full temporal U-Net과 attention tensor를 분해하여 시간과 공간에 근사하고 다양한 응용을 위해 비디오 디코더, 보간 모델, 초해상도 모델을 사용하여 시공간 파이프라인을 설계한다. Previous Work Cascade Diffusion Model GLIDE Ima.. DreamBooth : Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation Text-to-image 확산 모델에 원하는 대상의 시각적 특징 바인딩 Github Arxiv Abstract 이미지 몇 개만 입력하면 사전 훈련된 text-to-image 모델을 finetuning 하여 고유 식별자를 해당 특정 대상에 바인딩하는 방법을 학습한다. 고유 식별자를 사용하여 다른 장면에서 맥락화 된 대상의 완전히 새로운 사실적 이미지를 합성할 수 있다. Introduction Text-to-image 확산 모델의 "개인화"를 위한 새로운 접근 방식을 제시한다. 본 논문의 목표는 대상의 이미지 몇 개(3~5)가 주어지면 고유 식별자로 합성될 수 있도록 모델의 출력 도메인에 대상을 이식하는 것이다. 이를 희귀 토큰 식별자로 주어진 대상을 표현하고 두 단계로 작동하는 사전 훈련된 확산 기반 초해.. Cold Diffusion : Inverting Arbitrary Image Transforms Without Noise 노이즈 이외의 다른 이미지 저하 방법을 위한 새로운 샘플링 알고리즘 Arxiv Github Abstract 연구진은 확산 모델의 생성적 동작이 이미지 저하의 선택에 크게 의존하지 않는다는 것을 관찰했으며 완전히 결정적인 저하(blur, masking 등)를 사용하는 경우에도 규칙을 쉽게 일반화하여 생성 모델을 만들 수 있다. 이러한 완전 결정론적 모델의 성공은 gradient Langevin dynamics 또는 변분 추론의 노이즈에 의존하는 확산 모델에 대한 의문을 제기하고 일반화된 확산 모델의 길을 열어준다. Introduction 본 논문에서는 확산 모델이 실제로 작동하기 위해 가우스 잡음과 같은 랜덤성의 필요를 조사하고 확산 모델이 생겨난 이론적 프레임워크의 범위 밖에 있는 일반화된 확산 모델을 .. RePaint: Inpainting using Denoising Diffusion Probabilistic Models 재확산을 이용한 이미지 인페인팅 Github Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding (Imagen) 텍스트 임베딩으로 대형 언어 모델 사용. 동적 임계값, Efficient U-Net 제안. Project Page Imagen: Text-to-Image Diffusion Models Imagen unprecedented photorealism × deep level of language understanding unprecedented photorealism deep level of language understanding We present Imagen, a text-to-image diffusion model with an unprecedented degree of photorealism and a deep level of la imagen.research.google Abstract 전례 없는 수.. An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion 확산 모델에 새로운 시각적 words 임베딩 Project Page An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion Text-to-image models offer unprecedented freedom to guide creation through natural language. Yet, it is unclear how such freedom can be exercised to generate images of specific unique concepts, modify their appearance, or compose them in new roles and nove textual-inve.. Text-Guided Synthesis of Artistic Images with Retrieval-Augmented Diffusion Models RDM의 DB를 교체하여 스타일화 하는 simple trick Arxiv Abstract Retrieval-Augmented Diffusion Models(RDM)의 추론 중에 검색 DB를 특정 비주얼 스타일의 이미지만 포함하는 보다 전문화된 DB로 교체한다. 이것은 일반 훈련된 모델에 특정 시각적 스타일을 지정하는 새로운 방법을 제공한다. 본 논문의 작업은 계산 복잡성이 낮은 RDM을 기반으로 한다. Recap on Retrieval-Augmented Diffusion Models RDM의 목적 함수 Dtrain을 Dstyle로 교체. Text-Guided Synthesis of Artistic Images with RDMs 하단 : ImageNet에서 훈련된 RDM 모델 상단 : DB를 ImageNe.. 이전 1 ··· 8 9 10 11 12 다음
