Self-Conditioning

Self-Conditioning in Analog Bits: Generating Discrete Data using Diffusion Models with Self-Conditioning

---

 

일반적인 diffusion sampling에서는 x₀를 반복적으로 예측하며 이 예측값은 바로 폐기된다. (a)

 

Self-conditioning은 이 예측값을 버리지 않고 다음 예측에 대한 조건으로 사용하는 것이다. (b)

 

x̃₀는 이전 예측값을 재사용할 뿐이고 stop_gradient를 통해 역전파가 흐르지 않으므로 무시할 수 있는 만큼의 추가 비용이 발생한다.

 

훈련 시 일정 확률(e.g. 50%)로 해당 컨디셔닝을 사용한다.