Projected GAN 6

오늘은 Projected-fastgan으로 배치 크기 테스트를 해보았다. 

 

테스트 데이터셋

볼짤콘 2500개 

 

batch_size = 4

시작(첫 평가) FID = 25

7시간 정도 학습후 25 ~ 18

 

batch_size = 8

시작 FID = 23

7시간 30분 정도 학습후 23 ~ 15

 

batch_size = 16

시작 FID = 23

7시간 정도 학습 후 23 ~ 15

 

 

stylegan2의 공식 구현의 디폴트 배치크기가 4이고 내가 처음 다룬 모델인 lucidrains의 stylegan2 모델도 배치가 5였어서 지금까지 그냥 생각없이 저배치를 사용하고 있었는데 일관적이고 단순한 데이터셋이라 그런지 저배치의 효율이 좋지 않은 것 같다. 16은 학습 초반에는 8보다 FID가 빠르게 줄어들었는데 시간이 갈수록 늘어지면서 8과 거의 차이가 없게 되었다. 예전에 본인이 경험상 배치크기가 8이나 16일때의 결과가 가장 좋았다는 글을 본 적이 있는데 맞는듯.

 

 

배치를 8로 하고 매핑 네트워크의 잠재차원의 수를 줄여봤는데 첫 평가에 FID가 16이 나오길래 놀랐지만 그 이후로 FID가 거의 줄어들지 않았다. 피라미터의 수가 적어서 빨리 수렴하지만 디테일이 부족해 학습이 더디게 진행되는 듯 하다.

애초에 원래 코드에서 잠재차원 수를 피라미터로 넘길 수 있도록 돼있지도 않았는데, 본인들이 테스트 해 보았을 때 기본값이 대부분의 데이터셋에서 제일 좋았던 듯 하다.

 

 

그리고 label이 있는 데이터보다 단일 label 데이터에서 성능이 훨씬 좋았다. 어떻게보면 당연한거지만?