논문 리뷰 (452) 썸네일형 리스트형 Style Aligned Image Generation via Shared Attention [Project Page] [Github] [arXiv](Current version v1) Abstract Attention sharing을 통해 스타일 일관성을 유지하는 StyleAligned 제안 Method overview Style Aligned Image Set Generation 우리의 목표는 스타일을 공유하는 이미지 세트 I1,..., In을 생성하는 것이다. 핵심 통찰은 attention layer를 공유하는 것이다. (배치의 모든 이미지가 K, V를 공유함) 하지만 이런 무식한 방법은 콘텐츠 유출을 초래한다. 공룡 이미지의 초록색이 유니콘 이미지로 번진 것을 볼 수 있다. 한 가지 해결책으로 배치의 첫 번째 이미지에만 attention을 공유한다. 이미지들은 유사한 스타일을 공유하고 있.. DeepCache: Accelerating Diffusion Models for Free [Project Page] [Github] [arXiv](Current version v2) Abstract 인접한 denoising stage에서 feature를 캐시하여 속도를 향상하는 DeepCache 제안 Methodology Feature Redundancy in Sequential Denoising Observation: Denoising process의 인접한 step은 high-level feature에서 상당한 시간적 유사성을 보여준다. Deep Cache For Diffusion Models Cacheable Features in denosing 이전 업샘플링 블록의 feature를 다음과 같이 캐시하고 다음 t-1 단계에서는 skip branch에 필요한 것들만 계산하고 main br.. X-Adapter: Adding Universal Compatibility of Plugins for Upgraded Diffusion Model Version이 다른 plug-in과 text-to-image model 호환되게 하기 [Project Page] [Github] [arXiv](Current version v2) Abstract 이전 text-to-image 확산 모델에서 사용된 다양한 plugin을 업그레이드된 모델에 활용할 수 있도록 하는 범용 어댑터인 X-Adapter 제안 X-Adapter Stable Diffusion 1.5v를 기반으로 구축. X-adapter는 기본 모델의 복사본을 그대로 가지고 있다. Upgraded model은 SDXL가 기준이고 mapping layer는 마지막 3개의 decoding block에 배치한다. 기본 모델의 multi-scale feature map Fnbase, n번째 mapper Fn(.. Generative Powers of Ten [Project Page] [arXiv](Current version v1) Abstract 효과적으로 multi-scale content를 생성할 수 있는 joint multi-scale diffusion sampling 제안 영화 Powers of Ten (1977). 은하계에서 세포까지의 연속적인 줌을 보여줌. Method Zoom level i에서 각 prompt yi를 통해 일관된 xi 이미지 시퀀스를 생성하는 것이 목표이다. Zoom Stack Representation 각 zoom level i에 따른 L과 x: Image rendering Rendering operator Π는 정해진 zoom level의 이미지를 반환한다. Di(x)는 x를 확대/축소 정도 pi에 따라 x를 축소한다. M.. GPT4Video: A Unified Multimodal Large Language Model for lnstruction-Followed Understanding and Safety-Aware Generation 대화 흐름과 상황에 따라 자연스럽게 video caption 생성 [Project Page] [Github] [arXiv](Current version v1) Abstract LLM에 비디오 이해와 생성 능력을 부여하는 multi-model framework인 GPT4Video 제안 Introduction 기존의 Multi-modal Large Language Model은 multi-modal 처리에 중점을 두고 이해와 생성 능력은 부족하다. MiniGPT-5, NExt-GPT와 같은 모델들은 generative voken을 통해 다양한 양식으로 확장하였지만 generative voken은 LLM의 잠재력을 완전히 활용하지 못하며, 모델을 업그레이드하려는 경우 재교육을 해야 하는 등 유연성이 부족하다. .. Diffusion Model Alignment Using Direct Preference Optimization (Diffusion-DPO) [arXiv](Current version v1) Abstract Direct Preference Optimization(DPO)을 확산 모델에 적용한 Diffusion-DPO 제안 Background Diffusion Models Simple loss: Direct Preference Optimization 조건 c에서 보상 모델 r이 접근할 수 있는 ranked pair xwin, xlose에 대해 Bradley-Terry model은 인간 선호도를 다음과 같이 규정한다. 보상 함수는 신경망으로 매개변수화되고 maximum likeihood를 통해 훈련될 수 있다. RLHF 보상을 최대화하는 동시에 KL-divergence를 통해 정규화된다. DPO Objective 위의 식에 대한 최적의 솔루션은 .. Sketch Video Synthesis [Project Page] [Github] [arXiv](Current version v1) Abstract 비디오에서 애니메이션 scalable vector graphics(SVG) 생성 Introduction Neural Layered Atlas(NLA)와 미분 가능한 rasterizer 사용. SVG 형식의 스케치 비디오 생성을 위해 새로운 control point 초기화 방법과 temporal consistency loss 제안. Methods Preliminary: Video Decomposition via Layer Atlas Neural Layered Atlas Differentiable Optimization for Video Sketch T frame의 실제 비디오 IT, N개의 stro.. HiDiffusion: Unlocking High-Resolution Creativity and Efficiency in Low-Resolution Trained Diffusion Models 계산 집약적인 U-Net의 Up, Down Block 1을 수정하여 효율적인 초고해상도 생성 [arXiv](Current version v1) Abstract 객체 중복이 발생하지 않고 4096x4096 이미지를 생성할 수 있는 HiDiffusion Introduction Stable Diffusion은 초고해상도 이미지를 생성하는 데 시간이 매우 오래 걸리며 객체 중복이 발생한다. 고해상도 이미지의 feature map 크기와 컨볼루션 수용 필드 간의 불일치를 해결하기 위해 Resolution-Aware U-Net (RAU-Net) 제안. 시간이 많이 소요되는 global self-attention 대신 Modified Shifted Window Multi-head SelfAttention (MSW-M.. Layered Neural Atlases for Consistent Video Editing 비디오 프레임을 2D atlas로 분해하고 다시 비디오에 매핑 [Project Page] [Github] [arXiv](Current version v1) +참고: https://github.com/thiagoambiel/NeuralAtlases 훈련된 모델을 여러 비디오에 적용할 수 있는 것이 아니라, 프로젝트마다 새로운 모델을 훈련해야 한다. 모델을 훈련하면 원하는 프레임 지점에서 배경 atlas와 전경 atlas를 생성할 수 있고, 해당 atlas를 편집하여 적용할 수 있다. 더보기 폐색이나 왜곡이 많은 물체의 경우 multi-atlas를 사용하여 개선할 수 있다. 위 그림은 폐색이 많은 반대쪽 다리를 다른 atlas로 렌더링한 결과이다. 또한 애니메이션 atlas를 이용하여 모든 프레임에 다른 편.. CLIPasso: Semantically-Aware Object Sketching 다양한 추상회 정도의 스케치 생성 [Project Page] [Github] [arXiv](Current version v2) Abstract 다양한 수준의 추상화를 달성할 수 있는 객체 스케치 방법인 CLIPasso 제안 Introduction 스타일에 관계없이 시각적 의미를 인코딩하는 데 탁월한 CLIP 사용. 이전의 연구들에서는 스케치 데이터셋을 사용하는 경우가 많지만 출력 스타일을 제한하기 때문에 비채택. 대신 CLIP 이미지 인코더를 사용하여 사진을 추상 스케치로 변환한다. 스케치는 흰 배경에 배치된 검은 획(베지어 곡선) 세트로 정의되며 추상화 수준은 획 수에 따라 결정된다. 그려질 대상 이미지가 주어지면 획의 매개변수(제어점 위치)를 직접 최적화한다. Method 스케치를 4개의 제어점이 있.. Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation AnimateDiff + ReferenceNet + Pose Guide [Project Page] [arXiv](Current version v1) Abstract 확산 모델을 활용해 정지 영상에서 애니메이션을 생성할 수 있는 Animate Anyone 제안 Introduction 사전 훈련된 stable diffusion의 가중치를 상속하고 일관성을 유지하기 위해 대칭 U-Net 구조로 설계된 temporal attention이 있는 ReferenceNet을 사용한다. 포즈 제어를 위한 경량 pose guider 고안. Methods Network Architecture Overview Stable Diffusion + ReferenceNet + Pose Guider + Temporal Attentio.. Noise-Free Score Distillation [arXiv](Current version v1) Introduction 확산 모델의 힘을 이미지를 넘어 다른 도메인에 투사하기 위해 Score Distillation Sampling(SDS)이 도입되었다. 하지만 표준 denoising process로 생성된 이미지와 SDS 최적화로 생성된 이미지 사이에는 여전히 차이가 있으며, SDS는 세부 정보를 잘 생성하지 못한다. 본문에서는 확산 모델을 score function으로 처리하면서 score를 3가지 방향으로 분해하는 공식을 제안한다. 새로운 통찰을 통해 Noise-Free Score Distillation (NFSD) 도입. Background Classifier-free guidance(CFG)를 활용한 확산 모델에 중점을 둔다. SDS Scor.. 이전 1 ··· 19 20 21 22 23 24 25 ··· 38 다음
