전체 글 (566) 썸네일형 리스트형 Look, Listen and Learn [Github] [arXiv](Current version v2) Abstract 수많은 unlabelled video를 보고 듣고 무엇을 배울 수 있는가? 원시 비디오를 통해 visual, audio network를 처음부터 훈련하여 좋은 visual, audio 표현 얻기 Introduction 이 논문의 목표는 unlabelled video를 보고 듣는 것 만으로 visual, audio 정보를 학습할 수 있는 시스템을 설계하는 것이다. 마치 인간 유아가 배우는 것처럼. Audio-visual correspondence learning 다음 그림과 같은 audio-visual correspondence(AVC) task를 통해 학습한다. 이 작업은 완전히 제약되지 않은 비디오에서 진행되기 때문에 상.. MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model [Project Page] [Github] [arXiv](Current version v1) Abstract 모션 시퀀스에 따른 비디오를 생성할 수 있는 MagicAnimate 제안 Method 참조 이미지 Iref, K 프레임의 모션 시퀀스 p1:K이 주어질 때 비디오 I1:K을 생성하는 것이 목표이다. Temporal Consistency Modeling Temporal attention layer가 추가된 U-Net FT. Appearance Encoder Iref의 feature를 추출하는 encoder. 추출된 feature는 zt에 concat 하여 spatial self-attention에 사용됨. Animation Pipeline Motion transfer OpenPose 대신 특정 모션.. SyncDiffusion: Coherent Montage via Synchronized Joint Diffusions Global 지각 손실을 통해 매끄럽고 일관적인 연결 가능 [Project Page] [Github] [arXiv](Current version v3) Abstract 이음새 없이 일관된 몽타주를 생성할 수 있는 SyncDiffusion 제안 Introduction 중첩된 영역을 고정 (맨 윗줄): 비현실적임. 중첩된 영역을 평균화 (중간, MultiDiffusion): 영역 간의 내용이나 스타일이 다를 수 있음. SyncDiffusion: 각 단계에서 예측된 이미지의 지각적 유사성 손실을 통해 충실도를 향상함. Backgrounds MultiDiffusion 전체 파노라마 이미지 z, 각 window xi, 파노라마에서 해당 window의 마스크 mi, Tz → i는 z를 i번째 window에 매핑하고.. Style Aligned Image Generation via Shared Attention [Project Page] [Github] [arXiv](Current version v1) Abstract Attention sharing을 통해 스타일 일관성을 유지하는 StyleAligned 제안 Method overview Style Aligned Image Set Generation 우리의 목표는 스타일을 공유하는 이미지 세트 I1,..., In을 생성하는 것이다. 핵심 통찰은 attention layer를 공유하는 것이다. (배치의 모든 이미지가 K, V를 공유함) 하지만 이런 무식한 방법은 콘텐츠 유출을 초래한다. 공룡 이미지의 초록색이 유니콘 이미지로 번진 것을 볼 수 있다. 한 가지 해결책으로 배치의 첫 번째 이미지에만 attention을 공유한다. 이미지들은 유사한 스타일을 공유하고 있.. DeepCache: Accelerating Diffusion Models for Free [Project Page] [Github] [arXiv](Current version v2) Abstract 인접한 denoising stage에서 feature를 캐시하여 속도를 향상하는 DeepCache 제안 Methodology Feature Redundancy in Sequential Denoising Observation: Denoising process의 인접한 step은 high-level feature에서 상당한 시간적 유사성을 보여준다. Deep Cache For Diffusion Models Cacheable Features in denosing 이전 업샘플링 블록의 feature를 다음과 같이 캐시하고 다음 t-1 단계에서는 skip branch에 필요한 것들만 계산하고 main br.. X-Adapter: Adding Universal Compatibility of Plugins for Upgraded Diffusion Model Version이 다른 plug-in과 text-to-image model 호환되게 하기 [Project Page] [Github] [arXiv](Current version v2) Abstract 이전 text-to-image 확산 모델에서 사용된 다양한 plugin을 업그레이드된 모델에 활용할 수 있도록 하는 범용 어댑터인 X-Adapter 제안 X-Adapter Stable Diffusion 1.5v를 기반으로 구축. X-adapter는 기본 모델의 복사본을 그대로 가지고 있다. Upgraded model은 SDXL가 기준이고 mapping layer는 마지막 3개의 decoding block에 배치한다. 기본 모델의 multi-scale feature map Fnbase, n번째 mapper Fn(.. Generative Powers of Ten [Project Page] [arXiv](Current version v1) Abstract 효과적으로 multi-scale content를 생성할 수 있는 joint multi-scale diffusion sampling 제안 영화 Powers of Ten (1977). 은하계에서 세포까지의 연속적인 줌을 보여줌. Method Zoom level i에서 각 prompt yi를 통해 일관된 xi 이미지 시퀀스를 생성하는 것이 목표이다. Zoom Stack Representation 각 zoom level i에 따른 L과 x: Image rendering Rendering operator Π는 정해진 zoom level의 이미지를 반환한다. Di(x)는 x를 확대/축소 정도 pi에 따라 x를 축소한다. M.. GPT4Video: A Unified Multimodal Large Language Model for lnstruction-Followed Understanding and Safety-Aware Generation 대화 흐름과 상황에 따라 자연스럽게 video caption 생성 [Project Page] [Github] [arXiv](Current version v1) Abstract LLM에 비디오 이해와 생성 능력을 부여하는 multi-model framework인 GPT4Video 제안 Introduction 기존의 Multi-modal Large Language Model은 multi-modal 처리에 중점을 두고 이해와 생성 능력은 부족하다. MiniGPT-5, NExt-GPT와 같은 모델들은 generative voken을 통해 다양한 양식으로 확장하였지만 generative voken은 LLM의 잠재력을 완전히 활용하지 못하며, 모델을 업그레이드하려는 경우 재교육을 해야 하는 등 유연성이 부족하다. .. Diffusion Model Alignment Using Direct Preference Optimization (Diffusion-DPO) [arXiv](Current version v1) Abstract Direct Preference Optimization(DPO)을 확산 모델에 적용한 Diffusion-DPO 제안 Background Diffusion Models Simple loss: Direct Preference Optimization 조건 c에서 보상 모델 r이 접근할 수 있는 ranked pair xwin, xlose에 대해 Bradley-Terry model은 인간 선호도를 다음과 같이 규정한다. 보상 함수는 신경망으로 매개변수화되고 maximum likeihood를 통해 훈련될 수 있다. RLHF 보상을 최대화하는 동시에 KL-divergence를 통해 정규화된다. DPO Objective 위의 식에 대한 최적의 솔루션은 .. Sketch Video Synthesis [Project Page] [Github] [arXiv](Current version v1) Abstract 비디오에서 애니메이션 scalable vector graphics(SVG) 생성 Introduction Neural Layered Atlas(NLA)와 미분 가능한 rasterizer 사용. SVG 형식의 스케치 비디오 생성을 위해 새로운 control point 초기화 방법과 temporal consistency loss 제안. Methods Preliminary: Video Decomposition via Layer Atlas Neural Layered Atlas Differentiable Optimization for Video Sketch T frame의 실제 비디오 IT, N개의 stro.. HiDiffusion: Unlocking High-Resolution Creativity and Efficiency in Low-Resolution Trained Diffusion Models 계산 집약적인 U-Net의 Up, Down Block 1을 수정하여 효율적인 초고해상도 생성 [arXiv](Current version v1) Abstract 객체 중복이 발생하지 않고 4096x4096 이미지를 생성할 수 있는 HiDiffusion Introduction Stable Diffusion은 초고해상도 이미지를 생성하는 데 시간이 매우 오래 걸리며 객체 중복이 발생한다. 고해상도 이미지의 feature map 크기와 컨볼루션 수용 필드 간의 불일치를 해결하기 위해 Resolution-Aware U-Net (RAU-Net) 제안. 시간이 많이 소요되는 global self-attention 대신 Modified Shifted Window Multi-head SelfAttention (MSW-M.. Layered Neural Atlases for Consistent Video Editing 비디오 프레임을 2D atlas로 분해하고 다시 비디오에 매핑 [Project Page] [Github] [arXiv](Current version v1) +참고: https://github.com/thiagoambiel/NeuralAtlases 훈련된 모델을 여러 비디오에 적용할 수 있는 것이 아니라, 프로젝트마다 새로운 모델을 훈련해야 한다. 모델을 훈련하면 원하는 프레임 지점에서 배경 atlas와 전경 atlas를 생성할 수 있고, 해당 atlas를 편집하여 적용할 수 있다. 더보기 폐색이나 왜곡이 많은 물체의 경우 multi-atlas를 사용하여 개선할 수 있다. 위 그림은 폐색이 많은 반대쪽 다리를 다른 atlas로 렌더링한 결과이다. 또한 애니메이션 atlas를 이용하여 모든 프레임에 다른 편.. 이전 1 ··· 24 25 26 27 28 29 30 ··· 48 다음 27/48
