Iteratively Trained Interactive Segmentation

사용자 클릭을 반복적으로 입력하여 학습하는 segmentation framework

 

Github

arXiv

 

 

Abstract

클릭 형태의 사용자 입력을 컨볼루션 네트워크에 대한 입력으로 사용하는 대화형 object segmentation 시스템을 개발.

학습하는 동안 현재 예측된 segmentation의 오류를 기반으로 반복적으로 클릭을 추가하는 반복 학습 전략 제안.

 

 

 

Introduction

본 논문에서는 클릭을 사용자 입력으로 관심 객체에 픽셀을 추가하거나 제거하는 대화형 segmentation에 중점을 둔다.

 

실제 사용자 클릭 데이터셋을 모으기가 힘들기 때문에 에뮬레이트된 클릭 패턴 사용.

 

본 논문의 기여

• 클릭 기반 대화형 segmentation 프레임워크 ITIS(Iteratively Trained Interactive Segmentation) 제안
• ITIS의 일환으로써 반복 학습 전략 제안

 

 

 

Proposed Method

긍정 클릭, 부정 클릭, 개선할 마스크(선택적) 총 3개의 채널을 추가하여 입력으로 사용한다.

---

Iterative Training Procedure

두 가지 종류의 샘플링 기술 사용

• 부정 객체 또는 객체 경계와 같은 개념 학습하기 위한 초기 클릭 세트 샘플링
• 예측된 마스크의 오류를 수정하는 방법을 학습하기 위한 추가 클릭 샘플링

---

Initial Click Sampling

긍정적인 클릭 : N_pos에서 클릭 수 n_pos을 샘플링하고 ground truth(GT)의 개체 픽셀 중 서로 간에 d_s 만큼, 경계에서 d_m 만큼 떨어지도록 n개의 클릭이 샘플링된다.

 

부정적인 클릭 : 전략 집합 S에서 임의의 전략을 선택하고 n_neg개의 클릭을 샘플링

• s₁ : Background 중 개체 경계에서 일정 거리 이내에 있는 픽셀
• s₂ : 제외된 개체 내의 픽셀
• s₃ : 개체 경계를 포함함

---

Iterative Click Addition

1. 이전 반복의 출력 마스크에서 GT가 아닌 픽셀 식별
2. 해당 픽셀들을 클러스터링
3. 가장 큰 클러스터 선택
4. 해당 클러스터의 경계와 클러스터 내의 이미 존재하는 클릭 지점을 고려하여 최대 유클리드 거리를 갖도록 샘플링
5. 해당 샘플이 GT 위에 있으면 긍정 클릭으로 간주하고 아니면 부정 클릭으로 간주하여 클릭 채널에 추가. 

 

과적합 방지를 위해 epoch가 시작할 때마다 일정 확률로 클릭을 리셋한다.