Deep Learning/Diffusion (4) 썸네일형 리스트형 Stable Diffusion, SDXL U-Net Architecture 살펴보기 먼저 stable diffusion 하위 모듈들의 순서가 제대로 나와있지 않아서 직접 찾아봄. conv_in down_blocks: (CrossAttnDownBlock2D: ResnetBlock2D Transformer2DModel ResnetBlock2D Transformer2DModel Downsample2D ) x 3 DownBlock2D: (ResnetBlock2D) x 2 mid_blocks: ResnetBlock2D Transformer2DModel ResnetBlock2D up_blocks: UpBlock2D: (ResnetBlock2D) x 3 Upsample2D (CrossAttnUpBlock2D: (ResnetBlock2D Transformer2DModel) x 3 Upsample2D).. DiffStyler 써보기 DiffStyler 논문 리뷰, DiffStyler 코드 리뷰 이렇게 시간이 오래 걸릴 줄 몰랐는데 원본 코드가 그냥 코드뭉치라 정상적으로 돌아가게 만드는 데 한참이나 걸렸다. 다른 환경에서 돌려보지도 않고 코드를 공개하다니...(물론 공개해 준 것은 고맙지만) 치열한 사투의 흔적... !git clone https://github.com/haha-lisa/Diffstyler !git clone https://github.com/zyxElsa/CAST_pytorch !git clone https://github.com/JunlinHan/DCLGAN %cd /content/Diffstyler !pip install -e ./CLIP !pip install -r requirements.txt import u.. Paint by Example 써보기 Paint by Example 논문 리뷰, Paint by Example 코드 리뷰 Hugging face demo를 사용함 Paint by example - a Hugging Face Space by Fantasy-Studio huggingface.co 아키텍처 구조를 봐도 알겠지만 CLIP 인코더를 통과하기에 CLIP에서 학습되지 않은 데이터는 표현하지 못할 것으로 보인다. 원본 곰돌이 세일러문 그냥도 해보고 상체 쪽만 확대해서 했는데도 안 된다. 그림체가 달라서 그런걸까? 오바마는? 약간 애매... 좀 더 그럴듯한 이미지 조합으로 해보자 끔찍하군... 사실 이건 예정된 결과였다. 훈련 데이터셋인 Open Images는 대부분이 natural 이미지인 데다 클래스가 카테고리화되어 있기 때문에 특정 인.. DAAM 써보기 DAAM 논문 리뷰, DAAM 코드 리뷰 집컴이 쓰레기라 Colab 씀. 깃허브 가져와서 디렉토리 바꿔주고 !git clone https://github.com/castorini/daam.git %cd /content/daam 라이브러리 설치해주고 !pip install transformers !pip install diffusers 깃허브에 있는 코드 그대로 돌렸는데... from daam import trace, set_seed from diffusers import StableDiffusionPipeline from matplotlib import pyplot as plt import torch model_id = 'stabilityai/stable-diffusion-2-base' device = .. 이전 1 다음
