Rewriting Geometric Rules of a GAN (GANWarping) 논문 리뷰

잠재 공간 편집이 아닌 사람이 수동으로 편집한 변형을 GAN에 적용하는 방법.

 

Github

Project Page

 

 

 

 

Abstract

사용자가 원하는 기하학적 변경으로 소수의 원본 모델 출력을 편집하여 주어진 모델을 "왜곡" 할 수 있도록 한다.

편집된 샘플 재구성하기 위해 단일 모델 레이어에 low-rank 업데이트를 적용하고 과적합을 방지하기 위해 스타일 믹싱을 기반으로 하는 잠재 공간 증강 방법을 제안한다.

 

 

 

Introduction

기존의 GAN 반전과 적응 방법은 기하학적으로 왜곡된 적은 샘플만으로 GAN을 적응시키기가 어렵다. 이러한 문제를 해결하기 위해 원본 샘플과 뒤틀린 버전 간의 재구성 손실로 모델 가중치를 직접 최적화한다. 또한 스타일 믹싱 기반의 증강 체계와 low-rank 업데이트를 제안한다.

 

편집된 모델의 가중치를 단순히 선형 결합하여 모양 변경 효과가 있는 새로운 모델을 구축할 수 있음을 관찰하고 대화형 인터페이스를 제시한다.

 

다음 그림과 같이 두 가지의 변형을 결합하여 새로운 모델을 만들 수 있다.

 

 

 

Methods

사전 훈련 생성기 G(z; 𝜃), 워핑 함수 T

 

목표는 샘플을 통해 사용자 편집의 시각적 효과와 유사한 새 모델 𝜃'를 만드는 것이다.

 

Adapting Generator Weights to User Edits

Warping interface for collecting training examples

그냥 수동 편집 소프트웨어임

Challenges and earlier attempts

처음에는 편집된 이미지로 그냥 GAN 훈련을 시도해 보았으나 데이터 수량 문제로 실패, projection을 이용해 시도 봤지만 실패.

Our learning objective

결국 잠재 공간 업데이트 대신 재구성 손실을 통해 네트워크 가중치를 직접 업데이트하기로 결정.

네트워크 가중치를 직접 업데이트하면 재구성이 쉽고 out-of-distribution을 도입하기 더 쉽다고 한다.

(𝜃=𝜃' 로 초기화)

 

Style-mixing Augmentation

적은 수의 샘플로 인한 과적합을 피하기 위해 스타일 믹싱을 이용한 증강을 도입한다.

 

GAN의 생성기에서, 초반 계층은 coarse style을 담당하고 후반 계층은 fine style을 담당한다. 따라서 샘플에 기하학적 변경을 가해도 후반 계층에는 영향이 없다.

 

잠재 공간에서 무한히 많은 잠재 코드를 얻을 수 있으며, 따라서 몇 개의 샘플에 무작위로 샘플링된 fine style vector를 합성하여 무한히 많은 샘플 이미지를 얻을 수 있다.

 

무작위로 샘플링된 벡터 z_t와 믹싱 하여 재구성 손실 개선

 

Updating Models with Fewer Parameters

Rewriting a Deep Generative Model 논문(리뷰)에서 모델 전체가 아닌 단일 레이어의 가중치만 조정하는 경우 가중치 업데이트가 low-rank 구조를 가지고 있음을 발견했다. Low-rank 구조를 이용해 네트워크의 다른 의미론적 특징은 최대한 보존하면서 조정하려는 하위 집합만 업데이트할 수 있다.

 

위 논문에 따라 전체 네트워크 가중치 𝜃를 업데이트하는 것에서 단일 j 레이어의 가중치 W_j를 업데이트 하는 형태로 바꾼다.

 

(W_j를 m x n 행렬로 본다. n과 m은 각각 StyleGAN3의 1x1 Conv에서 사용되는 입력 및 출력 채널 수.

원하는 rank r에 대해 𝑈 ∈ R^𝑚×𝑟 , 𝑉 ∈ R^𝑟×𝑛.

참조 논문에서는 m x 1, 1 x n 크기를 사용했지만 이 논문에서는 m x r, r x n을 사용하여 rank를 조절할 수 있게 했다.)

 

이러한 방식으로 변경된 가중치 W'_j 전체를 저장하지 않고 가중치 간의 차이만 𝑈 및 𝑉의 형태로 저장하기 때문에 저장 공간을 더욱 줄일 수 있다. 또한 사전 훈련된 모델에 차이를 추가하는 것으로 쉽게 모델 편집을 수행할 수도 있다.

 

Composing Multiple Edited Models

사용자가 사전 생성된 다양한 모델을 이용할 수 있도록 한다. 예를 들어, 다른 사용자가 제작한 변형이 있는 모델을 다운로드하고 개인 모델에 조합할 수 있도록 한다.

 

간단한 선형 작업으로 가능한데, 사전 훈련 모델을 𝜃, 이전에 생성된 모델들을 𝜃'_k라고 하면 다음과 같이 새로운 모델을 만들 수 있다.

(a는 편집 강도를 제어하는 매개변수)

 

Extending to Color Changes

색상도 편집할 수 있는데,

색상 C, 색상 영역 M, 보존 영역 M_fixed를 지정하고 다음과 같이 적용한다.

 

또한 기하학적 변형과 비슷하게 무작위로 샘플링된 coarse style vector z_t로 스타일 믹싱 하여 증강한다.

 

 

 

Experiments

다른 모델과 비교

 

Style mixing ablation

 

서로 다른 변형 모델끼리 보간

 

그냥 보간과 GANSpace로 편집된 이미지와의 보간

 

다양한 변형 예시