Style Aligned Image Generation via Shared Attention

[Project Page]

[Github]

[arXiv](Current version v1)

 

 

Abstract

Attention sharing을 통해 스타일 일관성을 유지하는 StyleAligned 제안

 

 

Method overview

Style Aligned Image Set Generation

우리의 목표는 스타일을 공유하는 이미지 세트 I₁,..., I_n을 생성하는 것이다.

핵심 통찰은 attention layer를 공유하는 것이다. (배치의 모든 이미지가 K, V를 공유함)

 

하지만 이런 무식한 방법은 콘텐츠 유출을 초래한다.

공룡 이미지의 초록색이 유니콘 이미지로 번진 것을 볼 수 있다.

 

한 가지 해결책으로 배치의 첫 번째 이미지에만 attention을 공유한다.

이미지들은 유사한 스타일을 공유하고 있지만 정렬이 부족하다.

 

균형 잡힌 attention 참조를 위해 Query와 Key에 AdaIN을 적용한다.

 

 

 

Evaluations and Experiments

 

Attention을 공유하는 레이어 수를 조절하여 다양성을 높일 수 있다.