본문 바로가기

Deep Learning

 (36)
논문 수정에 기여해버렸다 ㅎ Medusa 논문을 보고 있었는데 Homepage Tianle Cai*, Yuhong Li*, Zhengyang Geng, Hongwu Peng, Tri Dao (* Equal contribution) sites.google.com 이 Heads warmup 부분이 아무리 생각해도 이해가 안 되었다. First stage에서 backbone을 훈련하라고 나와있는데, 내가 이해가 안 돼서 참조 논문까지 다 봤다. 근데 참조 논문을 보고 내가 내린 결론은 backbone이 아니라 medusa head를 먼저 훈련해야 된다는 것이었다. 그래서 github에 직접 물어봤는데 한글버전 다음 버전에서 수정한다고 한다 ㅎ 뭔가 기분이 좋네... ㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎ
Transformer Tutorial 서당개도 이해할 수 있는 transformer 설명을 발견했다. 영어로 된 글이지만 둘 다 크롬 사이트 번역으로 읽어도 하나도 안 어색하고 부드럽게 읽어지니까 부담 ㄴㄴ. The illustrated transformer The Illustrated Transformer Discussions: Hacker News (65 points, 4 comments), Reddit r/MachineLearning (29 points, 3 comments) Translations: Arabic, Chinese (Simplified) 1, Chinese (Simplified) 2, French 1, French 2, Italian, Japanese, Korean, Persian, Russian, Spanish 1, S..
수학 테일러 급수 테일러 급수의 이해와 활용 (Taylor series) 테일러 급수(Taylor series)에 대한 내용은 이미 인터넷에 좋은 글들이 많습니다. 그럼에도 이렇게 다시 글을 쓰는 이유는 스스로도 애매한 부분이 많기 때문입니다. 그래서 공부하는 셈치고 관련 darkpgmr.tistory.com 헤시안 행렬 Hessian matrix(헤시안 행렬) · Seongkyun Han's blog Hessian matrix(헤시안 행렬) 18 Mar 2019 | Hessian matrix 헤시안 행렬 Hessian matrix 어떠한 다변수 함수 $f(x_{1}, x_{2}, …, x_{n})$ 에 대하여 $f$ 의 Hessian matrix는 아래와 같다. Hessian matrix는 함수의 이차미분(..
Language Model 자료 모음 LLaMA [리뷰] Meta AI의 Small Gaint Model: LLaMA(Large Language Model Meta AI) ChatGPT의 열풍으로 인해 대중들은 OpenAI와 MS가 Generative AI의 핵심기업으로 인식하는 착시 현상을 겪고 있다. 하지만 최근까지 AI 발전에 가장 많이 공헌한 기업으로 Google과 Meta을 꼽을 수 있다. moon-walker.medium.com LIMA [리뷰] Meta AI의 논문 LIMA(Less Is More for Alignment):결국 LLM의 Pre-training이 가장 중요하다? 최근 Meta AI는 CMU, USC, Tel Aviv Univ.의 researcher들과 함께 “LIMA: Less Is More for Alignme..
Stable Diffusion, SDXL U-Net Architecture 살펴보기 먼저 stable diffusion 하위 모듈들의 순서가 제대로 나와있지 않아서 직접 찾아봄. conv_in down_blocks: (CrossAttnDownBlock2D: ResnetBlock2D Transformer2DModel ResnetBlock2D Transformer2DModel Downsample2D ) x 3 DownBlock2D: (ResnetBlock2D) x 2 mid_blocks: ResnetBlock2D Transformer2DModel ResnetBlock2D up_blocks: UpBlock2D: (ResnetBlock2D) x 3 Upsample2D (CrossAttnUpBlock2D: (ResnetBlock2D Transformer2DModel) x 3 Upsample2D)..
메모 - score based model log 취하는 이유 = 곱으로 이루어진 수식을 덧셈뺄셈으로 바꾸려고, 기하급수적으로 커지는 숫자를 smooth하게 표현 미분 하는 이유 = 상황에 따라 여러가지 이유가 있지만 상수항을 없애기 위함도 있음. e.g.)로그미분으로 Zθ 없앰 score = 확률분포의 어느 지점에서의 gradient Diffusion, score-based model에서 많은 step을 사용하는 이유 = gradient를 따라가야 되는데 경사하강법에서 학습률이 너무 크면 잘못된 곳으로 갈 수 있는 것 처럼 조금조금씩 움직여서 정답에 최대한 근사하기 위함 많은 step을 최대한 건너뛰면서 근사오차를 최대한 줄이기 위해 SDE, ODE solver를 사용하는 것
DiffStyler 써보기 DiffStyler 논문 리뷰, DiffStyler 코드 리뷰 이렇게 시간이 오래 걸릴 줄 몰랐는데 원본 코드가 그냥 코드뭉치라 정상적으로 돌아가게 만드는 데 한참이나 걸렸다. 다른 환경에서 돌려보지도 않고 코드를 공개하다니...(물론 공개해 준 것은 고맙지만) 치열한 사투의 흔적... !git clone https://github.com/haha-lisa/Diffstyler !git clone https://github.com/zyxElsa/CAST_pytorch !git clone https://github.com/JunlinHan/DCLGAN %cd /content/Diffstyler !pip install -e ./CLIP !pip install -r requirements.txt import u..
Paint by Example 써보기 Paint by Example 논문 리뷰, Paint by Example 코드 리뷰 Hugging face demo를 사용함 Paint by example - a Hugging Face Space by Fantasy-Studio huggingface.co 아키텍처 구조를 봐도 알겠지만 CLIP 인코더를 통과하기에 CLIP에서 학습되지 않은 데이터는 표현하지 못할 것으로 보인다. 원본 곰돌이 세일러문 그냥도 해보고 상체 쪽만 확대해서 했는데도 안 된다. 그림체가 달라서 그런걸까? 오바마는? 약간 애매... 좀 더 그럴듯한 이미지 조합으로 해보자 끔찍하군... 사실 이건 예정된 결과였다. 훈련 데이터셋인 Open Images는 대부분이 natural 이미지인 데다 클래스가 카테고리화되어 있기 때문에 특정 인..
DAAM 써보기 DAAM 논문 리뷰, DAAM 코드 리뷰 집컴이 쓰레기라 Colab 씀. 깃허브 가져와서 디렉토리 바꿔주고 !git clone https://github.com/castorini/daam.git %cd /content/daam 라이브러리 설치해주고 !pip install transformers !pip install diffusers 깃허브에 있는 코드 그대로 돌렸는데... from daam import trace, set_seed from diffusers import StableDiffusionPipeline from matplotlib import pyplot as plt import torch model_id = 'stabilityai/stable-diffusion-2-base' device = ..
Diffusion Model 공부 자료 https://lilianweng.github.io/posts/2021-07-11-diffusion-models/ (Diffusion의 바이블) What are Diffusion Models? [Updated on 2021-09-19: Highly recommend this blog post on score-based generative modeling by Yang Song (author of several key papers in the references)]. So far, I’ve written about three types of generative models, GAN, VAE, and Flow-based models. They lilianweng.github.io https://www.you..
그동안 만든거 일단 이 두 개의 모델을 만들었는데 https://huggingface.co/spaces/Reeve/Furry_Maker https://ostin.tistory.com/50?category=948193 (포스팅) Anime to Furry https://huggingface.co/spaces/Reeve/Furry_Maker Furry_Maker - a Hugging Face Space by Reeve Hardware Scale with dedicated hardware huggingface.co ostin.tistory.com https://huggingface.co/spaces/Reeve/Ohayou_Face https://ostin.tistory.com/51?category=948193 (포스팅) 진..
진짜진짜 볼짤콘 https://huggingface.co/spaces/Reeve/Ohayou_Face Ohayou_Face - a Hugging Face Space by Reeve huggingface.co 이제 볼짤콘 시리즈는 끝~ 만족할 만한 퀄리티가 나왔다. pix2pix는 영원히 꺼낼일 없을 듯 하다... 기본적으로 애니메이션 이미지에 작동, 사람이라도 애니메이션스러운 이미지에는 작동한다. 좀 흐물하게 나오는 이미지도 있는데 볼짤콘이 얼굴밖에 없다보니 얼굴쪽으로 좀 확대하면 귀엽게 나온다.

티스토리툴바