Layer Swapping

Justin Pinkey의 블로그에서 흥미로운 글을 발견했는데, 레이어 스와핑이라는 것이다.

https://www.justinpinkney.com/ukiyoe-yourself/

https://www.justinpinkney.com/stylegan-network-blending/

 

이 사람이 딥러닝 관련 직장에 근무하면서 취미나 토이 프로젝트 같은 느낌으로 GAN을 자주 다루는 것으로 보인다.

Github - https://github.com/justinpinkney

 

여튼 그래서 나도 Pretrain된 Anime-image 모델을 가져와서 쭐어콘 이미지로 훈련해 보았다.

 

(같은 자리에 있으면 같은 시드)

Pretrain-network의 출력

첫번째가 훈련 전 모델의 출력이고, 아래로 내려올수록 훈련이 더 진행된 상태이다.

쭐어콘 데이터셋의 컬러 스펙트럼이 다양하지가 않아서 푸른 계열의 특징은 잘 살지 않지만 훈련 전 이미지 특징을 잘 가지고 있는 이미지들도 보인다. 쭐어콘 데이터셋의 배경이 모두 흰색이라 배경색이 머리색으로 바뀐 이미지도 있다.

 

그리고 이거 훈련하면서 느낀건데 Pretrain된 비슷한 모델을 가져와서 학습 시키는 게 쌩으로 처음부터 학습시키는 것보다 매우매우매우 좋다.

 

낮은 해상도의 레이어를 anime-face로 높은 해상도의 레이어를 미세조정된 쭐어콘 모델로 하고 레이어 스와핑을 해봤다.

 

(숫자는 모델의 분기, 64면 64x64까지 하위 레이어를 사용한다는 의미)

 

원본

128

64

32

 

반대로 

 

원본

128

64

32

 

위의 이미지들은 모두 실제 존재하지 않고 모델이 만들어낸 이미지들이다.

그래서 실제 이미지에서 어떤 성능이 나올지 실험해봤다.

 

일단 아무사진이나 받음

블루아카이브의 무슨 캐릭터임

(이제와서 드는 생각인데 ESRGAN으로 화질올리고 할걸 어제 왜 그생각을 못했지?)

 

그리고 Projection으로 anime-face모델에서 가장 비슷한 생성이미지를 찾음

 

 

 

 

왼쪽부터 64 -> 32 -> 16

 

나중에 더 훈련된 모델로 생성한건데 컬러는 조금 소실되었지만 이미지가 더 부드러워 보인다.

 

 

물론 위 이미지들은 잘 나온 걸 좀 추린거고 잘 안나오는 것도 되게 많다.

특히 쭐어콘에 없는 포즈나 색감인 경우는 더욱더 그렇다.

 

원본 -> 프로젝션 -> 32