스케치로 원하는 포즈를 그려서 GAN을 수정하는 방법.
근데 수동 작업이 좀 많고 실용성 0 임. 기대 ㄴㄴ
Abstract
사용자가 GAN 교육을 더 쉽게 할 수 있도록 하나 이상의 스케치로 GAN을 다시 작성하는 GAN 스케치 방법을 제시한다. 모델의 출력이 교차 도메인 적대적 손실을 통해 사용자 스케치와 일치되도록 권장한다. 또한 원본 모델의 다양성과 이미지 품질을 보존하기 위해 다양한 정규화 방법을 탐색한다.
Introduction
본 논문에서는 사용자가 제공하는 소수의 스케치 예제에 생성 모델을 맞춤화하는 방법을 개발하는 것을 목표로 한다. 이를 위해 원본 모델의 색상, 질감 및 배경 context를 유지하면서 새 모델이 사용자 스케치와 유사한 이미지를 생성하도록 권장하는 새로운 교차 도메인 모델 미세 조정 방법을 제시한다.
위 그림과 같이 몇 개의 스케치만으로 개체 포즈를 변경하거나 얼굴을 확대할 수 있다.
Methods
해당 작업의 문제점은 다음과 같다.
- 매우 적은 수의 사용자 제공 스케치 데이터만 사용할 수 있음
- 제공된 스케치와 대상 도메인 간의 불일치 문제
Cross-Domain Adversarial Learning
이미지 데이터셋 X와 스케치 데이터셋 Y를 통해 출력 이미지는 여전히 X의 분포를 따르고 출력 이미지의 스케치 버전은 Y의 분포를 따르는 새로운 GAN 모델 G(z; θ')을 생성하고자 한다.
CycleGAN 등의 교차 도메인 이미지 번역 네트워크 F(논문에서는 PhotoSketch 사용)를 사전 훈련하고(스케치-이미지 쌍이 있으면 그냥 쓰면 됨) F를 이용한 적대적 손실을 도입한다.
Image Space Regularization
이미지 품질과 생성 다양성을 위한 추가적인 적대적 손실
Weight regularization as an alternative
추가적인 적대적 손실 대신에 다음과 같은 가중치 정규화를 실험해 보았는데
이렇게 하면 이미지 쌍이 없어도 간단히 정규화할 수 있지만 성능이 조금 떨어진다고 함.
Optimization
Which layers to edit
과적합 방지와 조정 속도 가속화를 위해 매핑 네트워크 가중치만 수정한다. 매핑 네트워크의 수정 만으로도 충분하고 전체 생성기를 최적화하면 아티팩트가 발생한다고 함.
Pre-trained weights
사전 훈련 네트워크 F는 고정, G는 매핑 네트워크만, DX, DY는 모든 레이어 훈련
Experiments
5개 이하 또는 30개 이하의 비슷한 포즈의 스케치 이미지 필요. 포즈를 지정했으면 이미지 데이터셋 중 chamfer distances가 작은 후보 이미지 10000개에서 2500개 이미지를 수동(??)으로 선택한다고 한다.
그냥 스케치 넣으면 딱딱 자동화 되는 느낌이 아니라 꽤 정성이 많이 들어가고 추가적인 네트워크를 만들 때마다 조정할 피라미터도 많아서 실용성은 거의 없는 듯함.
1~5 샘플에서 잘 되는 것도 있고 30 샘플에서 잘 되는 것도 있음.
