본문 바로가기

분류 전체보기

 (540)
Pix2pix furry dataset furry 데이터셋으로 finetuning 하고 pix2pix 모델 훈련 해봤는데 이미지의 변형이 많은 데이터셋이었다 그래서 그런가 모델이 학습을 잘 하지 못했다. 특히 어떤 구도에서는 학습을 계속해도 그럴듯한 모양새가 안만들어짐 그 후 모델을 좀 더 기본형을 잘 유지하게 변경하고 이어서 학습을 진행 해 보았는데 확실히 이전보다 좋아지긴 했는데... 뭔가 마음에 들지 않는... 그 마음... 이전 볼짤콘도 그렇고 이것도 그렇고 pix2pix는 형태에 변화가 생기면 흐물흐물 해지는 것 때문에 참 그렇단 말이지
PSP Tutorial https://www.youtube.com/watch?v=x5oYjBqq-zw psp모델을 다뤄보기 전에 내가 평소에 자주 보는 분의 논문 정리 한번 봄 inversion에 사용되는 latent space로 W+ space를 사용하는데, stylegan의 구조를 보면 W vector가 9개의 모듈, 18개의 레이어에 입력으로 사용되는데 목표 이미지와 가장 비슷한 출력을 만드는 W를 찾는게 아니라 W를 x18한 18x512 크기의 벡터를 찾는다는 뜻인듯. psp의 스타일 추출 방식. bottom-up 후 top-down 방식으로 스타일을 추출한다. 트랜스포머에서도 그렇고 인공신경망에서 데이터끼리의 연관이나 피쳐맵끼리의 연관, 입력텐서와 출력텐서의 연관 등 서로 다른 값들의 관계를 어떻게 연관시키느냐가 중요..
진짜 볼짤콘을 향하여 사실 이전 볼짤콘 모델들은 스타일만 볼짤콘 스타일이지 전혀 볼빵빵하지 않아서 다시 만들어봄 괜찮게 잘 나오는 것도 몇 개 있긴 한데 대부분의 이미지가 너무 흐물흐물하게 나온다. 나쁘지 않긴 한데 내가 약간 완벽주의 스타일이라 약간 마음에 안듬... 배포 할려면 좀 더 손을 봐야 할 것 같다. 그리고 훈련 데이터셋에서 흔하지 않은 몇몇 구도에 대해서는 많이 부족하다. 그래서 생각해본 바로는 1. 훈련 데이터셋의 부족 (이건 바로 해결 가능) 2. 훈련 시간의 부족 3. stylegan2 모델 훈련의 부족 (fine tuning을 오래 하지 않았기 때문에 몇몇 구도의 데이터에 대해 훈련이 완벽하지 못했을 수도. 이전 모델에서는 원본 이미지에서 많이 변형되지 않았기 때문에 fine tuning을 많이 할 필요..
FineTuning Parameter Test 레이어 각각의 기능 비교 freezeD = 1 kimg = 32 8 16 32 64 128 256 원본 색은 뒤의 레이어 일수록 더 많은 정보를 가지고 있고, 128이하의 레이어는 색에 영향을 거의 미치지 않는다. 512는 밝기, 색 256은 색, 질감 x 256 512 256 + 512 (추가 실험 결과, 색에 대한 정보는 256레이어에서 더 많이 가지고 있는 것으로 보인다. 512레이어만 적용하면 밝기만 올라가서 이미지가 쨍해보임.) 128은 세부묘사 - 테두리가 거의 바뀌지 않는다 낮은 레이어 일수록 큼지막한 형태가 바뀐다. 64에서 이목구비, 표정 32에서 얼굴형, 이목구비 16에서 구도, 각도, 위치등 전체적인 배치를 좌우하는 느낌 freeze한 레이어 갯수 비교 freezeD = 0, 1, 3..
Pix2pixHD로 볼짤콘 모델 업데이트 이전 모델은 정면샷이 아니면 이미지가 뭉개지는 문제가 있어서 바운더리 맵으로 이미지를 더 선명하게 출력하는 pix2pixHD를 사용했다. https://huggingface.co/spaces/Reeve/ohayo_face2 (현재 폐쇄) 확실히 입력값의 모양이 확실히 더 보존된다.
볼짤콘 스타일 Pix2pix 모델 업로드 Huggingface에 모델을 업로드 했다. (현재 폐쇄) 이미지를 입력하면 볼짤콘 스타일로 변환 해준다. Huggingface에 있는 다른 모델들이 연산 시간이 다 오래 걸리길래 인스턴스 cpu가 느린줄 알았는데 모델을 만들어놓고 입력값을 통과시키기만 하니 esrgan + pix2pix 까지 해도 연산시간이 3초가 안걸린다. 결과물도 생각보다 만족스러운 수준이다.
anime-face to 볼짤콘 FreezeD = 3으로 훈련 볼짤콘에는 텍스트가 없어서 더 잘 훈련이 되는 모습. anime-face network에서 생성된 이미지에는 엄청 잘 적용되는데, 실제 이미지에 적용하려고 해보니까 프로젝션이 잘 안된다. 새로운 기술을 실제로 사용하는 게 쉬운 것이 아니라는 것을 많이 느낌. 실제 이미지로도 잘 작동하려면 어떻게 해야될까...
anime-face to 쭐어콘 2 여러가지 피라미터들을 시험 해봤는데 D의 레이어 중 초반 2개만 freezing 하고 레이어 스와핑은 32부터 하는게 좋은듯하다. (쭐어콘이 질감이 없어서 낮은 단계에서 스와핑함) 그리고 훈련도 많이 시킬 필요가 없는 것 같다. 기존 이미지의 특징이 많이 옅어진다. Projection 이미지에도 잘 적용된다. 훈련을 조금 더 시켜야 하긴 할듯. 조금 더 쭐어콘 스러웠으면 좋겠다.
Layer Swapping Justin Pinkey의 블로그에서 흥미로운 글을 발견했는데, 레이어 스와핑이라는 것이다. https://www.justinpinkney.com/ukiyoe-yourself/ https://www.justinpinkney.com/stylegan-network-blending/ 이 사람이 딥러닝 관련 직장에 근무하면서 취미나 토이 프로젝트 같은 느낌으로 GAN을 자주 다루는 것으로 보인다. Github - https://github.com/justinpinkney 여튼 그래서 나도 Pretrain된 Anime-image 모델을 가져와서 쭐어콘 이미지로 훈련해 보았다. (같은 자리에 있으면 같은 시드) 첫번째가 훈련 전 모델의 출력이고, 아래로 내려올수록 훈련이 더 진행된 상태이다. 쭐어콘 데이터셋의 컬러..
Projected GAN 7 https://ostin.tistory.com/20 Projected GAN 4 요즘 포스팅 하기가 귀찮다... 누구 보여줄려고 하는것도 아니고 그냥 안쓰면 게을러져서 쓰는건데 쓰는것도 귀찮아지는중... 대충 추린 이미지 17000+로 학습 진짜 이미지 생성이미지 보간 동영 ostin.tistory.com 이 모델을 피라미터 조정을 통해 쪼끔만 더 개선하고 가짜 이미지 6만개를 생성, 기존 이미지 17000개를 합해 약 8만개의 데이터셋을 만든 후 stylegan2버전으로 학습을 진행해 보았다. 조금 되나 싶더니 하루정도 지나니까 모드붕괴되었다. stylegan2가 모드붕괴 되지 않고 오랫동안 학습했었던 이때 https://ostin.tistory.com/15?category=933364 styleGAN..
일론 머스크, 미래의 설계자 독후감 나는 머신러닝을 공부하고 난 후부터 AI 라는 단어를 거의 사용하지 않는다.인공지능이라는 이름을 붙이기에는, 이쪽 분야를 잘 모르는 사람들의 환상에 비해서는 아직까지 그 수준이 너무나 낮기 때문이다.그럼에도 불구하고 나는 인간이 아주 고성능의 컴퓨터와 같다고 생각하는데, 나는 뇌과학을 잘 모르지만 내가 느끼기엔 인공신경망이 학습하는 과정이 인간의 것과 다르지 않다고 생각한다. 인간은 멀티태스킹 가능하고, 아주 고성능의, 여러가지 감각기관으로 다양한 형태의 데이터를 수집할 수 있는 하나의 딥러닝 모델처럼 느껴진다. 유아기는 살아가는데 필요한 필수 모듈들을 import 하는 시기, 청소년기는 본격적으로 뇌를 프로그래밍 하는 시기라고 볼수 있다.내 부모님은 착하고 성실하고 좋은 분이지만 어쨌던 지금까지 21년..
Projected GAN 6 오늘은 Projected-fastgan으로 배치 크기 테스트를 해보았다. 테스트 데이터셋 볼짤콘 2500개 batch_size = 4 시작(첫 평가) FID = 25 7시간 정도 학습후 25 ~ 18 batch_size = 8 시작 FID = 23 7시간 30분 정도 학습후 23 ~ 15 batch_size = 16 시작 FID = 23 7시간 정도 학습 후 23 ~ 15 stylegan2의 공식 구현의 디폴트 배치크기가 4이고 내가 처음 다룬 모델인 lucidrains의 stylegan2 모델도 배치가 5였어서 지금까지 그냥 생각없이 저배치를 사용하고 있었는데 일관적이고 단순한 데이터셋이라 그런지 저배치의 효율이 좋지 않은 것 같다. 16은 학습 초반에는 8보다 FID가 빠르게 줄어들었는데 시간이 갈수..

티스토리툴바