Text-Guided Synthesis of Artistic Images with Retrieval-Augmented Diffusion Models

RDM의 DB를 교체하여 스타일화 하는 simple trick

 

Arxiv

 

 

 

 

Abstract

Retrieval-Augmented Diffusion Models(RDM)의 추론 중에 검색 DB를 특정 비주얼 스타일의 이미지만 포함하는 보다 전문화된 DB로 교체한다. 이것은 일반 훈련된 모델에 특정 시각적 스타일을 지정하는 새로운 방법을 제공한다.

 

본 논문의 작업은 계산 복잡성이 낮은 RDM을 기반으로 한다. 

 

 

 

Recap on Retrieval-Augmented Diffusion Models

RDM의 목적 함수

D_train을 D_style로 교체.

 

 

 

Text-Guided Synthesis of Artistic Images with RDMs

하단 : ImageNet에서 훈련된 RDM 모델

상단 : DB를 ImageNet에서 WikiArt로 교체

 

Fine-Grained Stylization with ArtBench

일반적인 AI-Art 모델은 프롬프트에 접미사 ”... in the style of ...”를 추가하여 스타일화를 에뮬레이트 할 수 있다.

본 논문에서는 스타일 별로 DB를 적용하여 대안적인 스타일화 방법을 제시한다.

 

아래 그림은 LAION-2B-en에서 훈련된 RDM에서 Artbench의 각 style DB에 대해 ”Day and night fighting for the domination of time.” 문장에 대한 결과를 보여준다.

 

정량적 평가를 위해 스타일 당 70개의 샘플을 생성하고 본 논문의 방식과 접미사 기반 스타일화를 비교한다.

정확도와 분류기 로짓 모두 본 논문의 방식이 우위이다.

 

 

 

Additional Result