티스토리

Ostin X
검색하기

블로그 홈

Ostin X

ostin.tistory.com/m

krkmfn@gmail.com

구독자
48
방명록 방문하기

주요 글 목록

  • 논문 수정에 기여해버렸다 ㅎ Medusa 논문을 보고 있었는데 Homepage Tianle Cai*, Yuhong Li*, Zhengyang Geng, Hongwu Peng, Tri Dao (* Equal contribution) sites.google.com 이 Heads warmup 부분이 아무리 생각해도 이해가 안 되었다. First stage에서 backbone을 훈련하라고 나와있는데, 내가 이해가 안 돼서 참조 논문까지 다 봤다. 근데 참조 논문을 보고 내가 내린 결론은 backbone이 아니라 medusa head를 먼저 훈련해야 된다는 것이었다. 그래서 github에 직접 물어봤는데 한글버전 다음 버전에서 수정한다고 한다 ㅎ 뭔가 기분이 좋네... ㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎ 공감수 1 댓글수 3 2024. 1. 25.
  • Transformer Tutorial 서당개도 이해할 수 있는 transformer 설명을 발견했다. 영어로 된 글이지만 둘 다 크롬 사이트 번역으로 읽어도 하나도 안 어색하고 부드럽게 읽어지니까 부담 ㄴㄴ. The illustrated transformer The Illustrated Transformer Discussions: Hacker News (65 points, 4 comments), Reddit r/MachineLearning (29 points, 3 comments) Translations: Arabic, Chinese (Simplified) 1, Chinese (Simplified) 2, French 1, French 2, Italian, Japanese, Korean, Persian, Russian, Spanish 1, S.. 공감수 0 댓글수 1 2024. 1. 3.
  • 수학 테일러 급수 테일러 급수의 이해와 활용 (Taylor series) 테일러 급수(Taylor series)에 대한 내용은 이미 인터넷에 좋은 글들이 많습니다. 그럼에도 이렇게 다시 글을 쓰는 이유는 스스로도 애매한 부분이 많기 때문입니다. 그래서 공부하는 셈치고 관련 darkpgmr.tistory.com 헤시안 행렬 Hessian matrix(헤시안 행렬) · Seongkyun Han's blog Hessian matrix(헤시안 행렬) 18 Mar 2019 | Hessian matrix 헤시안 행렬 Hessian matrix 어떠한 다변수 함수 $f(x_{1}, x_{2}, …, x_{n})$ 에 대하여 $f$ 의 Hessian matrix는 아래와 같다. Hessian matrix는 함수의 이차미분(.. 공감수 0 댓글수 2 2023. 10. 6.
  • Language Model 자료 모음 LLaMA [리뷰] Meta AI의 Small Gaint Model: LLaMA(Large Language Model Meta AI) ChatGPT의 열풍으로 인해 대중들은 OpenAI와 MS가 Generative AI의 핵심기업으로 인식하는 착시 현상을 겪고 있다. 하지만 최근까지 AI 발전에 가장 많이 공헌한 기업으로 Google과 Meta을 꼽을 수 있다. moon-walker.medium.com LIMA [리뷰] Meta AI의 논문 LIMA(Less Is More for Alignment):결국 LLM의 Pre-training이 가장 중요하다? 최근 Meta AI는 CMU, USC, Tel Aviv Univ.의 researcher들과 함께 “LIMA: Less Is More for Alignme.. 공감수 0 댓글수 0 2023. 10. 6.
  • Stable Diffusion, SDXL U-Net Architecture 살펴보기 먼저 stable diffusion 하위 모듈들의 순서가 제대로 나와있지 않아서 직접 찾아봄. conv_in down_blocks: (CrossAttnDownBlock2D: ResnetBlock2D Transformer2DModel ResnetBlock2D Transformer2DModel Downsample2D ) x 3 DownBlock2D: (ResnetBlock2D) x 2 mid_blocks: ResnetBlock2D Transformer2DModel ResnetBlock2D up_blocks: UpBlock2D: (ResnetBlock2D) x 3 Upsample2D (CrossAttnUpBlock2D: (ResnetBlock2D Transformer2DModel) x 3 Upsample2D).. 공감수 0 댓글수 2 2023. 10. 5.
  • 메모 - score based model log 취하는 이유 = 곱으로 이루어진 수식을 덧셈뺄셈으로 바꾸려고, 기하급수적으로 커지는 숫자를 smooth하게 표현 미분 하는 이유 = 상황에 따라 여러가지 이유가 있지만 상수항을 없애기 위함도 있음. e.g.)로그미분으로 Zθ 없앰 score = 확률분포의 어느 지점에서의 gradient Diffusion, score-based model에서 많은 step을 사용하는 이유 = gradient를 따라가야 되는데 경사하강법에서 학습률이 너무 크면 잘못된 곳으로 갈 수 있는 것 처럼 조금조금씩 움직여서 정답에 최대한 근사하기 위함 많은 step을 최대한 건너뛰면서 근사오차를 최대한 줄이기 위해 SDE, ODE solver를 사용하는 것 공감수 0 댓글수 0 2023. 1. 23.
  • DiffStyler 써보기 DiffStyler 논문 리뷰, DiffStyler 코드 리뷰 이렇게 시간이 오래 걸릴 줄 몰랐는데 원본 코드가 그냥 코드뭉치라 정상적으로 돌아가게 만드는 데 한참이나 걸렸다. 다른 환경에서 돌려보지도 않고 코드를 공개하다니...(물론 공개해 준 것은 고맙지만) 치열한 사투의 흔적... !git clone https://github.com/haha-lisa/Diffstyler !git clone https://github.com/zyxElsa/CAST_pytorch !git clone https://github.com/JunlinHan/DCLGAN %cd /content/Diffstyler !pip install -e ./CLIP !pip install -r requirements.txt import u.. 공감수 0 댓글수 0 2023. 1. 17.
  • Paint by Example 써보기 Paint by Example 논문 리뷰, Paint by Example 코드 리뷰 Hugging face demo를 사용함 Paint by example - a Hugging Face Space by Fantasy-Studio huggingface.co 아키텍처 구조를 봐도 알겠지만 CLIP 인코더를 통과하기에 CLIP에서 학습되지 않은 데이터는 표현하지 못할 것으로 보인다. 원본 곰돌이 세일러문 그냥도 해보고 상체 쪽만 확대해서 했는데도 안 된다. 그림체가 달라서 그런걸까? 오바마는? 약간 애매... 좀 더 그럴듯한 이미지 조합으로 해보자 끔찍하군... 사실 이건 예정된 결과였다. 훈련 데이터셋인 Open Images는 대부분이 natural 이미지인 데다 클래스가 카테고리화되어 있기 때문에 특정 인.. 공감수 0 댓글수 1 2023. 1. 13.
  • DAAM 써보기 DAAM 논문 리뷰, DAAM 코드 리뷰 집컴이 쓰레기라 Colab 씀. 깃허브 가져와서 디렉토리 바꿔주고 !git clone https://github.com/castorini/daam.git %cd /content/daam 라이브러리 설치해주고 !pip install transformers !pip install diffusers 깃허브에 있는 코드 그대로 돌렸는데... from daam import trace, set_seed from diffusers import StableDiffusionPipeline from matplotlib import pyplot as plt import torch model_id = 'stabilityai/stable-diffusion-2-base' device = .. 공감수 0 댓글수 1 2023. 1. 13.
  • Diffusion Model 공부 자료 https://lilianweng.github.io/posts/2021-07-11-diffusion-models/ (Diffusion의 바이블) What are Diffusion Models? [Updated on 2021-09-19: Highly recommend this blog post on score-based generative modeling by Yang Song (author of several key papers in the references)]. So far, I’ve written about three types of generative models, GAN, VAE, and Flow-based models. They lilianweng.github.io https://www.you.. 공감수 0 댓글수 0 2022. 8. 14.
  • 그동안 만든거 일단 이 두 개의 모델을 만들었는데 https://huggingface.co/spaces/Reeve/Furry_Maker https://ostin.tistory.com/50?category=948193 (포스팅) Anime to Furry https://huggingface.co/spaces/Reeve/Furry_Maker Furry_Maker - a Hugging Face Space by Reeve Hardware Scale with dedicated hardware huggingface.co ostin.tistory.com https://huggingface.co/spaces/Reeve/Ohayou_Face https://ostin.tistory.com/51?category=948193 (포스팅) 진.. 공감수 2 댓글수 0 2022. 3. 5.
  • 진짜진짜 볼짤콘 https://huggingface.co/spaces/Reeve/Ohayou_Face Ohayou_Face - a Hugging Face Space by Reeve huggingface.co 이제 볼짤콘 시리즈는 끝~ 만족할 만한 퀄리티가 나왔다. pix2pix는 영원히 꺼낼일 없을 듯 하다... 기본적으로 애니메이션 이미지에 작동, 사람이라도 애니메이션스러운 이미지에는 작동한다. 좀 흐물하게 나오는 이미지도 있는데 볼짤콘이 얼굴밖에 없다보니 얼굴쪽으로 좀 확대하면 귀엽게 나온다. 공감수 0 댓글수 0 2022. 3. 5.
  • Anime to Furry https://huggingface.co/spaces/Reeve/Furry_Maker Furry_Maker - a Hugging Face Space by Reeve Hardware Scale with dedicated hardware huggingface.co psp가 진짜 신기한게 이상한 이미지에도 잘 작동함.. 공감수 0 댓글수 0 2022. 2. 23.
  • Pix2pix furry dataset furry 데이터셋으로 finetuning 하고 pix2pix 모델 훈련 해봤는데 이미지의 변형이 많은 데이터셋이었다 그래서 그런가 모델이 학습을 잘 하지 못했다. 특히 어떤 구도에서는 학습을 계속해도 그럴듯한 모양새가 안만들어짐 그 후 모델을 좀 더 기본형을 잘 유지하게 변경하고 이어서 학습을 진행 해 보았는데 확실히 이전보다 좋아지긴 했는데... 뭔가 마음에 들지 않는... 그 마음... 이전 볼짤콘도 그렇고 이것도 그렇고 pix2pix는 형태에 변화가 생기면 흐물흐물 해지는 것 때문에 참 그렇단 말이지 공감수 0 댓글수 0 2022. 2. 19.
  • PSP Tutorial https://www.youtube.com/watch?v=x5oYjBqq-zw psp모델을 다뤄보기 전에 내가 평소에 자주 보는 분의 논문 정리 한번 봄 inversion에 사용되는 latent space로 W+ space를 사용하는데, stylegan의 구조를 보면 W vector가 9개의 모듈, 18개의 레이어에 입력으로 사용되는데 목표 이미지와 가장 비슷한 출력을 만드는 W를 찾는게 아니라 W를 x18한 18x512 크기의 벡터를 찾는다는 뜻인듯. psp의 스타일 추출 방식. bottom-up 후 top-down 방식으로 스타일을 추출한다. 트랜스포머에서도 그렇고 인공신경망에서 데이터끼리의 연관이나 피쳐맵끼리의 연관, 입력텐서와 출력텐서의 연관 등 서로 다른 값들의 관계를 어떻게 연관시키느냐가 중요.. 공감수 0 댓글수 0 2022. 2. 15.
  • 진짜 볼짤콘을 향하여 사실 이전 볼짤콘 모델들은 스타일만 볼짤콘 스타일이지 전혀 볼빵빵하지 않아서 다시 만들어봄 괜찮게 잘 나오는 것도 몇 개 있긴 한데 대부분의 이미지가 너무 흐물흐물하게 나온다. 나쁘지 않긴 한데 내가 약간 완벽주의 스타일이라 약간 마음에 안듬... 배포 할려면 좀 더 손을 봐야 할 것 같다. 그리고 훈련 데이터셋에서 흔하지 않은 몇몇 구도에 대해서는 많이 부족하다. 그래서 생각해본 바로는 1. 훈련 데이터셋의 부족 (이건 바로 해결 가능) 2. 훈련 시간의 부족 3. stylegan2 모델 훈련의 부족 (fine tuning을 오래 하지 않았기 때문에 몇몇 구도의 데이터에 대해 훈련이 완벽하지 못했을 수도. 이전 모델에서는 원본 이미지에서 많이 변형되지 않았기 때문에 fine tuning을 많이 할 필요.. 공감수 0 댓글수 0 2022. 2. 15.
  • FineTuning Parameter Test 레이어 각각의 기능 비교 freezeD = 1 kimg = 32 8 16 32 64 128 256 원본 색은 뒤의 레이어 일수록 더 많은 정보를 가지고 있고, 128이하의 레이어는 색에 영향을 거의 미치지 않는다. 512는 밝기, 색 256은 색, 질감 x 256 512 256 + 512 (추가 실험 결과, 색에 대한 정보는 256레이어에서 더 많이 가지고 있는 것으로 보인다. 512레이어만 적용하면 밝기만 올라가서 이미지가 쨍해보임.) 128은 세부묘사 - 테두리가 거의 바뀌지 않는다 낮은 레이어 일수록 큼지막한 형태가 바뀐다. 64에서 이목구비, 표정 32에서 얼굴형, 이목구비 16에서 구도, 각도, 위치등 전체적인 배치를 좌우하는 느낌 freeze한 레이어 갯수 비교 freezeD = 0, 1, 3.. 공감수 0 댓글수 0 2022. 2. 12.
  • Pix2pixHD로 볼짤콘 모델 업데이트 이전 모델은 정면샷이 아니면 이미지가 뭉개지는 문제가 있어서 바운더리 맵으로 이미지를 더 선명하게 출력하는 pix2pixHD를 사용했다. https://huggingface.co/spaces/Reeve/ohayo_face2 (현재 폐쇄) 확실히 입력값의 모양이 확실히 더 보존된다. 공감수 0 댓글수 0 2022. 1. 18.
  • 볼짤콘 스타일 Pix2pix 모델 업로드 Huggingface에 모델을 업로드 했다. (현재 폐쇄) 이미지를 입력하면 볼짤콘 스타일로 변환 해준다. Huggingface에 있는 다른 모델들이 연산 시간이 다 오래 걸리길래 인스턴스 cpu가 느린줄 알았는데 모델을 만들어놓고 입력값을 통과시키기만 하니 esrgan + pix2pix 까지 해도 연산시간이 3초가 안걸린다. 결과물도 생각보다 만족스러운 수준이다. 공감수 0 댓글수 0 2022. 1. 14.
  • anime-face to 볼짤콘 FreezeD = 3으로 훈련 볼짤콘에는 텍스트가 없어서 더 잘 훈련이 되는 모습. anime-face network에서 생성된 이미지에는 엄청 잘 적용되는데, 실제 이미지에 적용하려고 해보니까 프로젝션이 잘 안된다. 새로운 기술을 실제로 사용하는 게 쉬운 것이 아니라는 것을 많이 느낌. 실제 이미지로도 잘 작동하려면 어떻게 해야될까... 공감수 1 댓글수 0 2021. 12. 30.
  • anime-face to 쭐어콘 2 여러가지 피라미터들을 시험 해봤는데 D의 레이어 중 초반 2개만 freezing 하고 레이어 스와핑은 32부터 하는게 좋은듯하다. (쭐어콘이 질감이 없어서 낮은 단계에서 스와핑함) 그리고 훈련도 많이 시킬 필요가 없는 것 같다. 기존 이미지의 특징이 많이 옅어진다. Projection 이미지에도 잘 적용된다. 훈련을 조금 더 시켜야 하긴 할듯. 조금 더 쭐어콘 스러웠으면 좋겠다. 공감수 1 댓글수 0 2021. 12. 30.
  • Layer Swapping Justin Pinkey의 블로그에서 흥미로운 글을 발견했는데, 레이어 스와핑이라는 것이다. https://www.justinpinkney.com/ukiyoe-yourself/ https://www.justinpinkney.com/stylegan-network-blending/ 이 사람이 딥러닝 관련 직장에 근무하면서 취미나 토이 프로젝트 같은 느낌으로 GAN을 자주 다루는 것으로 보인다. Github - https://github.com/justinpinkney 여튼 그래서 나도 Pretrain된 Anime-image 모델을 가져와서 쭐어콘 이미지로 훈련해 보았다. (같은 자리에 있으면 같은 시드) 첫번째가 훈련 전 모델의 출력이고, 아래로 내려올수록 훈련이 더 진행된 상태이다. 쭐어콘 데이터셋의 컬러.. 공감수 0 댓글수 0 2021. 12. 29.
  • Projected GAN 7 https://ostin.tistory.com/20 Projected GAN 4 요즘 포스팅 하기가 귀찮다... 누구 보여줄려고 하는것도 아니고 그냥 안쓰면 게을러져서 쓰는건데 쓰는것도 귀찮아지는중... 대충 추린 이미지 17000+로 학습 진짜 이미지 생성이미지 보간 동영 ostin.tistory.com 이 모델을 피라미터 조정을 통해 쪼끔만 더 개선하고 가짜 이미지 6만개를 생성, 기존 이미지 17000개를 합해 약 8만개의 데이터셋을 만든 후 stylegan2버전으로 학습을 진행해 보았다. 조금 되나 싶더니 하루정도 지나니까 모드붕괴되었다. stylegan2가 모드붕괴 되지 않고 오랫동안 학습했었던 이때 https://ostin.tistory.com/15?category=933364 styleGAN.. 공감수 2 댓글수 0 2021. 12. 26.
  • Projected GAN 6 오늘은 Projected-fastgan으로 배치 크기 테스트를 해보았다. 테스트 데이터셋 볼짤콘 2500개 batch_size = 4 시작(첫 평가) FID = 25 7시간 정도 학습후 25 ~ 18 batch_size = 8 시작 FID = 23 7시간 30분 정도 학습후 23 ~ 15 batch_size = 16 시작 FID = 23 7시간 정도 학습 후 23 ~ 15 stylegan2의 공식 구현의 디폴트 배치크기가 4이고 내가 처음 다룬 모델인 lucidrains의 stylegan2 모델도 배치가 5였어서 지금까지 그냥 생각없이 저배치를 사용하고 있었는데 일관적이고 단순한 데이터셋이라 그런지 저배치의 효율이 좋지 않은 것 같다. 16은 학습 초반에는 8보다 FID가 빠르게 줄어들었는데 시간이 갈수.. 공감수 1 댓글수 2 2021. 12. 17.
  • Projected GAN 5 생각보다 성능이 엄청 좋길래 난감한 데이터셋을 사용해 보았다. A.Shipwright라는 분이 다양한 사이트에 꾸준히 게재하는 판타지 한컷 낙서 시리즈이다. 대충 이런느낌 음.. 딱봐도 쉽지 않아보인다. 이미지 사이즈도 큰지라 배치를 8 이상으로 하면 colab의 메모리가 부족하길래 6으로 했다. 뭔가 같은 패턴무늬가 반복적으로 나타난다. 아무래도 Projected-fastgan은 스타일보단 형태를 인식하는데 더 적합하기 때문에 (그리고 GAN가 그냥 그렇다.) 비슷한 스타일 이지만 반복적인 형태가 거의 없는 이 데이터셋으로는 훈련이 안되는 듯 하다. 공감수 1 댓글수 0 2021. 12. 16.
  • Projected GAN 4 요즘 포스팅 하기가 귀찮다... 누구 보여줄려고 하는것도 아니고 그냥 안쓰면 게을러져서 쓰는건데 쓰는것도 귀찮아지는중... 대충 추린 이미지 17000+로 학습 진짜 이미지 생성이미지 보간 동영상 후기 글자가 일관적이지 못해서 제대로 만들어지지 않는 듯 하다. 그래도 전체적인 퀄리티는 만족. 최고 FID 4.85 공감수 2 댓글수 0 2021. 12. 14.
  • Projected GAN 3 projected gan의 베이스 모델을 stylegan2로 하고 잠재벡터 차원을 줄여서 학습해보니 확실히 다양한 색상이 나오긴 한다. 적은 수의 특징을 찾으려다 보니 색상이 가장 큰 특징이라 그런 것 같다. 하지만 계속 학습을 진행하니 또 모드붕괴됨... 내가 며칠동안 베이스모델을 stylegan2로 하고 fid를 끌어올려볼려고 많은 시도를 해봤는데 딱히 엄청난 성과가 있진 않았다. 지금까지 내가 이 데이터셋으로 stylegan2모델을 많이 돌려봤지만 fid가 50이하로 떨어진 적이 한번도 없었는데 fastgan으로 하면 첫 평가인 16000kimg만에 fid가 20 이하로 떨어진다. 개인이 다양하고 방대한 빅데이터를 마련할 수가 없으니 (물론 오픈된 데이터셋을 사용하면 되긴 하지만 나만의 데이터셋을 .. 공감수 2 댓글수 0 2021. 12. 13.
  • Projected GAN 2 베이스 모델을 stylegan2로 바꿔서 돌려봤는데...(stylegan2, fastgan 중에 선택할 수 있다.) (스압 좀 길어요 글만 읽고 싶으면 맨아래로 ㄱㄱ) 그냥 답이 없는듯하다... 이 모델에서는 ADA를 사용하지 않았는데 ADA가 없어서 그런건지 그냥 데이터셋이 답이 없는건지... ADA도 사실 이미지 수를 늘리는 일종의 트릭이니 작은 데이터셋에서는 fastgan이 훨씬 효과적인듯 하다. 근데 fastgan에서는 자가복제 문제가 생기는데, 실제 이미지 중 세 명 이상이 나오는 이미지는 하나도 없는데도 불구하고 저런 이미지들이 생긴다. 엄청나게 빨리 수렴하긴 하지만 그 뒤로는 계속 발산하는 것도 문제고. 내가 샤워하면서 생각해낸 게 있는데, (아르키메데스 괜히 목욕탕에서 유레카를 외친게 아닌.. 공감수 0 댓글수 0 2021. 12. 8.
  • Projected GAN 1 styleGAN 포스팅의 끝에서도 언급했지만 https://github.com/autonomousvision/projected_gan GitHub - autonomousvision/projected_gan: [NeurIPS'21] Projected GANs Converge Faster [NeurIPS'21] Projected GANs Converge Faster. Contribute to autonomousvision/projected_gan development by creating an account on GitHub. github.com 앞으로 이 모델을 사용할 예정이다. 일단은 뭐... 모드 붕괴가 일어나 버렸고 밑에서부터 읽는 게 맞는건가 싶을 정도로 수상하게 발산하는 FID.... 시작전부터 .. 공감수 0 댓글수 0 2021. 12. 6.
  • styleGAN 학습을 위한 여정 7 - 진짜 끝 1. Attention 진짜 별의별 시도를 다 해봐도 꿈쩍도 안하던 FID가 어텐션 레이어를 추가하니 조금씩 줄어들었다. 크게 개선되진 않았지만. 2. Palette Image 팔레트 이미지를 RGB로 변경하면 아래와 같은 경고가 뜨는데 경고만 항상 뜨고 에러가 발생하진 않고 이미지를 출력해봐도 별로 문제없길래 그냥 무시했었는데 실제로 RGB이미지로 변경이 되지 않았던 거였다. 팔레트 이미지는 RGBA로 변경한 다음 RGB로 변경해야 한다. RGBA로 변환한 후에 여정 6에 있던 RGB 변환 함수로 변환했다. 3. 그리고 여정을 끝내버린 치명적인 문제점이 있었는데... 내가 초기 데이터셋을 계속해서 추가, 삭제하면서 데이터셋의 많은 변화가 있었는데, 초기 데이터셋의 RGBA이미지들을 RGB로 강제변환 했.. 공감수 1 댓글수 0 2021. 12. 1.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.