SCEdit: Efficient and Controllable Image Diffusion Generation via Skip Connection Editing

[Project Page]

[arXiv](Current version v1)

 

 

Abstract

SC-Tuner를 통해 skip connection을 편집하는 SCEdit 제안

 

 

 

Introduction

LoRA, ControlNet, T2I-Adapter와 같은 방법들보다 더 적은 메모리로 더 높은 품질의 이미지를 생성할 수 있다.

 

Skip Connection(이하 SC)을 제거하면 분산이 작아지고 세부정보가 소실된다.

 

ControlNet 피라미터의 7.9%만 사용하고 메모리 사용량을 30% 절감한다.

 

 

 

Method

 

Tuner modules

SC-Tuner

(ϕ = GELU)

 

Controllable SC-Tuner

여러 개의 condition을 동시에 입력할 수 있다.

 

SCEdit framework

CSC-Tuner의 경우 위 그림의 (c)와 같이 계단식 zero convolution layer를 훈련하여 인코딩할 수 있다.

 

 

 

Experiments

Text-to-Image

 

Controllable image synthesis