Inpaint Anything: Segment Anything Meets Image Inpainting

Segment Anything Model(SAM)을 최신 모델들과 함께 다양한 작업에 적용

마스크 없는 인페인팅

 

Github

arXiv

 

 

Abstract

Segment Anything Model(SAM)을 이용하여 마스크 없는 inpainting을 최초로 시도하고 Inpaint Anything(IA) 이라는 'clicking and filling'의 새로운 패러다임 제안.

IA의 핵심 아이디어는 서로 다른 강점의 모델들을 결합해 사용자 친화적인 파이프라인을 구축하는 것.

 

 

 

Motivation and Observation

강력한 segmentatin model(SAM), AIGC model(AI generated content - Stable Diffusion), inpainting model(LaMa)을 결합하여 사용자 친화적인 파이프라인을 제공.

 

 

 

Inpaint Anything

Remove Anything

SAM을 통해 몇 번의 클릭 만으로 개체를 분할하고 마스크를 생성한 후 인페인팅 모델로 채움.

---

Fill Anything

똑같이 개체를 분할한 후 텍스트 프롬프트를 반영하여 콘텐츠 생성.

---

Replace anything

과정은 fill anything과 같지만 개체가 아닌 배경을 생성.

---

Practice

모델별 작업 간의 호환성을 위해 중간 처리 고려.

• Dilation: 타이트한 마스크는 개체를 자연스럽게 제거하거나 생성하는 데에 적합하지 않기 때문에 remove anything에서 마스크 팽창, fill anything에서는 더 큰 팽창을 적용
• Fidelity: Stable diffusion 등 최신 AIGC 모델은 고정해상도를 사용하는데, 해상도 조정이 충실도를 손상시킬 수 있기 때문에 가로세로 비율을 유지하거나 crop 등 최대한 품질을 유지하는 처리를 해야 함
• Prompt: 간단한 프롬프트일수록 inpainting 작업에서 더 자연스럽게 생성됨. 길고 복잡한 프롬프트는 사용자 친화적이지 않은 결과를 생성할 확률이 높음