본문 바로가기

Deep Learning/Fine Tuning

 (10)
그동안 만든거 일단 이 두 개의 모델을 만들었는데 https://huggingface.co/spaces/Reeve/Furry_Maker https://ostin.tistory.com/50?category=948193 (포스팅) Anime to Furry https://huggingface.co/spaces/Reeve/Furry_Maker Furry_Maker - a Hugging Face Space by Reeve Hardware Scale with dedicated hardware huggingface.co ostin.tistory.com https://huggingface.co/spaces/Reeve/Ohayou_Face https://ostin.tistory.com/51?category=948193 (포스팅) 진..
Pix2pix furry dataset furry 데이터셋으로 finetuning 하고 pix2pix 모델 훈련 해봤는데 이미지의 변형이 많은 데이터셋이었다 그래서 그런가 모델이 학습을 잘 하지 못했다. 특히 어떤 구도에서는 학습을 계속해도 그럴듯한 모양새가 안만들어짐 그 후 모델을 좀 더 기본형을 잘 유지하게 변경하고 이어서 학습을 진행 해 보았는데 확실히 이전보다 좋아지긴 했는데... 뭔가 마음에 들지 않는... 그 마음... 이전 볼짤콘도 그렇고 이것도 그렇고 pix2pix는 형태에 변화가 생기면 흐물흐물 해지는 것 때문에 참 그렇단 말이지
PSP Tutorial https://www.youtube.com/watch?v=x5oYjBqq-zw psp모델을 다뤄보기 전에 내가 평소에 자주 보는 분의 논문 정리 한번 봄 inversion에 사용되는 latent space로 W+ space를 사용하는데, stylegan의 구조를 보면 W vector가 9개의 모듈, 18개의 레이어에 입력으로 사용되는데 목표 이미지와 가장 비슷한 출력을 만드는 W를 찾는게 아니라 W를 x18한 18x512 크기의 벡터를 찾는다는 뜻인듯. psp의 스타일 추출 방식. bottom-up 후 top-down 방식으로 스타일을 추출한다. 트랜스포머에서도 그렇고 인공신경망에서 데이터끼리의 연관이나 피쳐맵끼리의 연관, 입력텐서와 출력텐서의 연관 등 서로 다른 값들의 관계를 어떻게 연관시키느냐가 중요..
진짜 볼짤콘을 향하여 사실 이전 볼짤콘 모델들은 스타일만 볼짤콘 스타일이지 전혀 볼빵빵하지 않아서 다시 만들어봄 괜찮게 잘 나오는 것도 몇 개 있긴 한데 대부분의 이미지가 너무 흐물흐물하게 나온다. 나쁘지 않긴 한데 내가 약간 완벽주의 스타일이라 약간 마음에 안듬... 배포 할려면 좀 더 손을 봐야 할 것 같다. 그리고 훈련 데이터셋에서 흔하지 않은 몇몇 구도에 대해서는 많이 부족하다. 그래서 생각해본 바로는 1. 훈련 데이터셋의 부족 (이건 바로 해결 가능) 2. 훈련 시간의 부족 3. stylegan2 모델 훈련의 부족 (fine tuning을 오래 하지 않았기 때문에 몇몇 구도의 데이터에 대해 훈련이 완벽하지 못했을 수도. 이전 모델에서는 원본 이미지에서 많이 변형되지 않았기 때문에 fine tuning을 많이 할 필요..
FineTuning Parameter Test 레이어 각각의 기능 비교 freezeD = 1 kimg = 32 8 16 32 64 128 256 원본 색은 뒤의 레이어 일수록 더 많은 정보를 가지고 있고, 128이하의 레이어는 색에 영향을 거의 미치지 않는다. 512는 밝기, 색 256은 색, 질감 x 256 512 256 + 512 (추가 실험 결과, 색에 대한 정보는 256레이어에서 더 많이 가지고 있는 것으로 보인다. 512레이어만 적용하면 밝기만 올라가서 이미지가 쨍해보임.) 128은 세부묘사 - 테두리가 거의 바뀌지 않는다 낮은 레이어 일수록 큼지막한 형태가 바뀐다. 64에서 이목구비, 표정 32에서 얼굴형, 이목구비 16에서 구도, 각도, 위치등 전체적인 배치를 좌우하는 느낌 freeze한 레이어 갯수 비교 freezeD = 0, 1, 3..
02/07/2022 애니메 -> 코스프레 사진으로의 스타일 전이를 시도해 보았는데 잘 되는 것도 있지만 대부분의 상황에서 불쾌한 골짜기가 꽤 심하다. 그리고 깨달은게 있는데 애니메이션스러운 그림체에서 얼굴이 대부분 유아틱한 얼굴형을 가지고 있다는 것이다. 왼쪽이 원본인데 얼굴이 길어진 것을 확인 할 수 있다.
02/06/2022 ffhq과 애니메이션 stylegan2 모델을 fine tuning 해봤는데 안됨 애초에 안될거라 예상하긴함 ffhq -> anime 방향으로 하니깐 애니메이션 데이터셋이 귀가 많이 없어서 귀가 눈으로 되서 기괴함; 여기까진 오늘 한거 아니고 코스프레 데이터셋 수집 중인데 esrgan에서 face enhance 옵션 키니깐 확실히 더 좋음
anime-face to 볼짤콘 FreezeD = 3으로 훈련 볼짤콘에는 텍스트가 없어서 더 잘 훈련이 되는 모습. anime-face network에서 생성된 이미지에는 엄청 잘 적용되는데, 실제 이미지에 적용하려고 해보니까 프로젝션이 잘 안된다. 새로운 기술을 실제로 사용하는 게 쉬운 것이 아니라는 것을 많이 느낌. 실제 이미지로도 잘 작동하려면 어떻게 해야될까...
anime-face to 쭐어콘 2 여러가지 피라미터들을 시험 해봤는데 D의 레이어 중 초반 2개만 freezing 하고 레이어 스와핑은 32부터 하는게 좋은듯하다. (쭐어콘이 질감이 없어서 낮은 단계에서 스와핑함) 그리고 훈련도 많이 시킬 필요가 없는 것 같다. 기존 이미지의 특징이 많이 옅어진다. Projection 이미지에도 잘 적용된다. 훈련을 조금 더 시켜야 하긴 할듯. 조금 더 쭐어콘 스러웠으면 좋겠다.
Layer Swapping Justin Pinkey의 블로그에서 흥미로운 글을 발견했는데, 레이어 스와핑이라는 것이다. https://www.justinpinkney.com/ukiyoe-yourself/ https://www.justinpinkney.com/stylegan-network-blending/ 이 사람이 딥러닝 관련 직장에 근무하면서 취미나 토이 프로젝트 같은 느낌으로 GAN을 자주 다루는 것으로 보인다. Github - https://github.com/justinpinkney 여튼 그래서 나도 Pretrain된 Anime-image 모델을 가져와서 쭐어콘 이미지로 훈련해 보았다. (같은 자리에 있으면 같은 시드) 첫번째가 훈련 전 모델의 출력이고, 아래로 내려올수록 훈련이 더 진행된 상태이다. 쭐어콘 데이터셋의 컬러..

티스토리툴바