Compositional Visual Generation and Inference with Energy Based Models

[Project Page]

[Github]

[arXiv](Current version v3)

 

Abstract

에너지 기반 모델이 확률 분포를 직접 결합함으로써 개념의 결합, 분리, 부정을 동시에 만족하는 자연스러운 이미지를 생성할 수 있음을 보여준다.

 

 

Method

Energy-Based Models

Langevin dynamics를 사용한 EBM 샘플링:

 

Composition of Energy-Based Models

다음 그림은 CelebA face dataset에서 각 개념에 대해 독립적으로 훈련된 EBMs set의 조합을 보여준다.

 

Concept Conjunction

Product of Experts

 

 

다음과 같이 샘플링한다.

 

Concept Disjunction

각 개념에 대한 or 분포는 likelihood의 합과 비례한다. 교집합 항은 무시? 하는 듯?

 

각 개념에 대한 partition function Z가 동일하다고 가정하면 단순화할 수 있다. 경험적으로 비슷하다고 함. 걍 지맘대로네 

 

샘플링

 

Concept Negation

부정은 다른 개념과 관련하여 정의되어야 한다. 예를 들어, 살아 있음의 반대는 죽음일 수 있지만, 무생물은 살아있지 않지만 살아 있음의 반대 개념은 아니다.

 

샘플링

 

Recursive Concept Combinations

정의된 3가지 논리 연산자는 추론 시 더 복잡한 논리 연산을 위해 재귀적으로 연결될 수 있다.