Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow (Rectified Flow)

직선 경로를 통해 분포를 전송하는 ODE 모델

 

Github

arXiv

 

 

Abstract

경험적으로 관찰된 두 분포 π₀, π₁ 간의 전송을 위해 신경 ODE 모델을 학습하는 간단한 접근 방식인 rectified flow 제안

 

 

Introduction

대부분의 비지도 학습의 요점은 어떤 방식으로든 두 분포에 속한 점들 사이의 의미 있는 대응 관계를 찾는 것이다.

 

최근에 SDE를 이용한 확산 모델이 이미지 품질과 다양성 모두에서 좋은 성과를 이루고 있지만 계산 비용이 높다.

 

Rectified flow는 직선 경로를 통해 분포를 전송하는 ODE 모델이며 직선이 두 점 사이의 최단 경로이기 때문에 확산 모델의 높은 계산 비용을 해소할 수 있다.

 

이전에 얻은 rectified flow에서 시뮬레이션된 데이터를 사용하여 새로운 흐름을 반복적으로 훈련하는 reflow 절차를 통해 거의 직선 흐름을 얻을 수 있다.

 

 

 

Method

Overview

X₀ ~ π₀, X₁ ~ π₁이 주어지면 (X₀, X₁)에서 유도된 rectified flow는 시간 t ∈ [0, 1]에 대한 ODE이다.

 

v()는 간단한 최소제곱 회귀 문제를 해결하여 X₀에서 X₁까지의 선형 경로의 방향을 최대한 따르도록 훈련된다.

 

X_t는 X₀와 X₁의 선형 보간으로 추론 시에 도착지인 X₁이 필요해 인과에 맞지 않지만 신경망을 통해 해결.

 

-를 붙이기만 하면 X₁에서 X₀으로의 역방향 전달을 수행할 수 있으며 두 방법 모두 훈련에서 사용된다.

---

위의 최적화식으로 유도된 rectified flow의 이점:

 

분포 π₀, π₁에 속한 샘플은 모든 t에서 같은 방향을 따르므로 흐름이 교차하지 않도록 방지되고 결정론적인 집합이 생성된다.

 

Rectified flow를 재귀적으로 적용하는 reflow를 통해 더욱더 전송 비용이 낮고 직선적인 흐름을 얻을 수 있다.

 

 

 

 

Main Results and Properties

(Rectified flow의 수학적 성질과 더 자세한 수식 증명은 그냥 논문을 보세요... 나도 몰루...)

 

Reflow

 

비교(Rectified flow의 직선적인 특성)