Projected GAN 7

https://ostin.tistory.com/20

Projected GAN 4

 

이 모델을 피라미터 조정을 통해 쪼끔만 더 개선하고 가짜 이미지 6만개를 생성, 기존 이미지 17000개를 합해 약 8만개의 데이터셋을 만든 후 stylegan2버전으로 학습을 진행해 보았다.

 

 

 

 

조금 되나 싶더니 하루정도 지나니까 모드붕괴되었다.

 

 

stylegan2가 모드붕괴 되지 않고 오랫동안 학습했었던 이때

https://ostin.tistory.com/15?category=933364 

styleGAN 학습을 위한 여정 7 - 진짜 끝

의 데이터셋이 2만개 이하였던 것을 생각해보면, stylegan2를 모드 붕괴 시키지 않는 데에는 데이터의 양보다 다양성이 더 중요하다고 생각된다.

 

내가 PG 저자의 깃허브에서 ADA를 사용하지 않는 이유에 대해 물었었는데, ADA보다 diffaug를 썼을 때 더 좋은 성능이 나왔다고 한다. 하지만 적어도 내가 이번에 사용한 데이터셋에서는, 그러니까 이미지들이 거의 비슷한 데이터셋에서는 모드 붕괴를 막기 위해 ADA가 필요할 것 같다.

 

 

 

 

fastgan과 stylegan2는 분명한 장단점이 있는데,

https://github.com/autonomousvision/projected_gan/issues/17

FastGAN grid artifacts · Issue #17 · autonomousvision/projected_gan

이 Issue와 내 경험들을 종합해보면

 

fastgan은 확실히 빠르고 잘 수렴하며, 엄청나게 많은 데이터가 필요하지도 않다. 

하지만 위에서 gird aritfact라고 언급한 복제 문제가 데이터셋에 따라 때때로 발생하고, stylegan2에 비해 다양한 이미지를 생성하지 못하는 느낌이다. 훈련 데이터셋에 없는 새로운 이미지를 잘 생성하지 못한다.

 

반면에 stylegan2는 훈련 데이터의 style을 추출하고 종합하여 '그럴싸하고 새로운' 이미지를 만들어낸다. fastgan은 상당히 좁은 영역에서만 이미지를 생성하는 데 비해 확실히 다양한 종류의 이미지를 만들 수 있다.

하지만 그런 만큼 훈련하기가 상당히 어렵다. fastgan에 비해 수렴속도는 거의 수십배가 차이나고, 모드 붕괴도 빈번하게 일어나니 다양한 피라미터와 데이터들을 시험해보는데 자원이 많이 필요하다.

 

 

아마 다음에는 

쭐어콘, shipwright 데이터셋을 stylegan2-ada로 학습해보고

stylegan2-ada에서 사용했던 종합 디시콘 데이터셋을 fastgan로 학습해 볼 예정