Abstract
확산 모델을 통해 semantic segmentation dataset을 생성할 수 있는 Dataset Diffusion 제안
[Github]
[arXiv](2023/11/13 version v4)
Dataset Diffusion
Preparing Text Prompts for Stable Diffusion
기존 데이터셋의 캡션은 종종 개체가 누락되거나 통일된 용어를 사용하지 않는 등의 문제가 있다.
모든 target class를 명시적으로 포함하는 text prompt 생성.
Generating Segmentation from Self and Cross-attention Maps
Layer와 timestep에 걸쳐 self-attention, cross-attention map을 수집한다.
이때 cross-attention map은 전체 프롬프트가 아니라 명시적 클래스 이름에 대해서만 수집.
Self-attention map을 지수화하고 곱하여 cross-attention map을 강화.
각 위치에 대해 class S, objectness V를 평가하고
배경, 불확실 영역, 전경으로 분류.
Training Semantic Segmenter on Generated Segmentation
생성된 이미지 I, 생성된 segmentation mask S̄를 이용해 segmentation model Φ를 훈련한다. (불확실 영역은 무시)
추가적으로 pseudo label을 이용한 self-training을 통해 Φ를 더욱 개선한다.
