styleGAN 학습을 위한 여정 3

이전 글의 이미지들을 보면 여러 개의 이미지들이 거의 똑같이 생성됐다.

사실 이렇게 이미지들이 각각 다르게 생성되야 잘 훈련된 모델이다.

똑같은 이미지들이 계속 생성 되는 걸 모드 붕괴(Mode Collapse)라고 하는데

판별자의 성능이 생성자에 비해 너무 강해서 생성자가 판별자를 속이지 못하고 가장 손실이 낮은 하나의 이미지만 반복 생성하게 되는 것이다. 그 반대의 상황도 있을진 모르겠지만 어쨋든 거의 모든 상황에서는 판별자가 강하다.

모드 붕괴를 막기 위해서 여러가지 시도를 해 보았는데

1. 배치사이즈 줄이기

배치 사이즈가 클수록 판별자의 성능이 좋아진다고 한다

2.augmentation 늘리기

3.style mixing 조정

official code의 이슈 탭을 살펴보니 스타일믹싱의 효율성이 데이터셋에 따라 다르다고 한다. 그래서 비활성화 하고 훈련을 진행해 보았다

여러가지 정보들을 보면서 느낀건데 GAN는 생성자를 과적합 시키는 것이 목표인 것 같다.

4000번째 step의 생성 이미지 인데, 모양은 거의 다 비슷하지만 색깔은 다양하게 나온다.

이전의 결과들에 비하면 확실히 다양하다고 할 수 있고 기대를 좀 했지만...

바로 무너져 내려버린....

이후론 하이퍼 피라미터나 모델 보다는 데이터세트가 문제인 것 같아서 개선해보려고 노력중이다.

그리고 attention layer를 빼고 일단 빠르게 여러가지를 시도해보고 결과가 좋은 모델을 정해서 점차 개선해나가는 방향으로 가는 게 좋을 것 같다. 훈련이 오래걸리기 때문에...

Ostin X