PSP Tutorial

https://www.youtube.com/watch?v=x5oYjBqq-zw 

 

psp모델을 다뤄보기 전에 내가 평소에 자주 보는 분의 논문 정리 한번 봄

 

inversion에 사용되는 latent space로 W+ space를 사용하는데,

stylegan의 구조를 보면

W vector가 9개의 모듈, 18개의 레이어에 입력으로 사용되는데 

목표 이미지와 가장 비슷한 출력을 만드는 W를 찾는게 아니라 W를 x18한 18x512 크기의 벡터를 찾는다는 뜻인듯. 

 

 

 

psp의 스타일 추출 방식.

bottom-up 후 top-down 방식으로 스타일을 추출한다. 트랜스포머에서도 그렇고 인공신경망에서 데이터끼리의 연관이나 피쳐맵끼리의 연관, 입력텐서와 출력텐서의 연관 등 서로 다른 값들의 관계를 어떻게 연관시키느냐가 중요한 것 같다. 뇌에서도 시냅스 끼리의 많이 연관돼 있을 수록 중요하거나 자주 쓰이는 정보인 것처럼 말이다.

 

 

 

inversion 과정에서도 그냥 랜덤값에서 시작하는 게 아니라 평균값에서 시작한다. residual 방식과 같음.

 

 

 

psp는 4가지 loss function을 사용한다.

R(x)는 pre-train된 얼굴 재건 모델이라고함. 실제 사람얼굴이 아닌 데이터셋에서는 빼야할듯?

 

 

 

그 뒤로는 다른 모델들과의 성능 비교와 실전 적용 사례들이 좀 나오고

내가 관심 있는 이런 기능도 있다.

 

 

뭐 자세한 설명은 위에 링크로 들어가서 직접 보기 바란다.

이분이 교원대 나오셔서 설명도 아주 Good.