그동안 만든거

일단 이 두 개의 모델을 만들었는데

https://huggingface.co/spaces/Reeve/Furry_Maker

https://ostin.tistory.com/50?category=948193 (포스팅)

Anime to Furry

 

https://huggingface.co/spaces/Reeve/Ohayou_Face

https://ostin.tistory.com/51?category=948193 (포스팅) 

진짜진짜 볼짤콘

 

그동안 포스팅을 많이 안했다. 테슬라도 마케팅에 돈 쓸바에 제품 퀄리티를 올리는데 돈을 쓰라고 했지 않는가.

사실 반은 핑계고 반은 사실인데, 확실히 포스팅에 집중 할 때는 뭔가 조회수도 신경 쓰이고 글 하나 쓰는데도 심사숙고 하면서 오래 쓰고 해서 에너지가 낭비되는 느낌이 있긴 있었다. 앞으로도 계속 포스팅보다는 작업에 집중하는 방향으로 갈 듯.

 

내가 약간 완벽주의자 스타일이라서 결과물의 퀄리티를 올리기 위해 꽤 많은 피라미터들을 시험하느라 만드는 데 오래걸렸다.

 

psp는 4가지 loss를 사용하는데,

 

일단 l2 loss는 이 글 볼만한 사람이면 다 알거고, 높으면 이미지가 흐릿해진다.

lpips loss는 이미지의 퀄리티를 결정하는데, 내가 여백이 많은 애니메이션 데이터셋에서 훈련해서 그런가 l2 loss와 1:1비율로 하면 이미지가 굉장히 흐릿해져서 lpips loss를 l2의 2배로 하고 훈련시켰다.

오른쪽이 lpips loss의 가중치가 높을 때. 확실히 퀄리티가 높아 보인다. 하지만 왼쪽이 원본 이미지와 더 비슷하다. 이미지가 흐리면 psp decoder 통과 후의 결과가 많이 안좋아져서 유사도를 포기하고 퀄리티를 챙겼다.

 

reg loss는 의미 없고

id loss는 인물 데이터셋에서만 유용하다. 대신에 official code github에 가보면 얼굴이 아닌 데이터셋에서는  moco loss를 사용할 수 있다. moco loss도 이미지 퀄리티를 높이는데 원본 이미지의 변형이 있어서 낮게 책정.

 

 

psp를 훈련시키는 데이터셋은 decoder인 stylegan으로 생성된 이미지로 하는 게 좋다. 외부 데이터로 훈련하면 외부 데이터에 더 잘 적응하지 않을까 했는데 모델에 없는 표현을 따라가려고 하니까 오히려 성능이 떨어지는 현상이 발생했다.