본문 바로가기

분류 전체보기

 (540)
Rewriting a Deep Generative Model 논문 리뷰 사전 훈련된 심층 모델에서 특정 하위 집합만 변형되도록 네트워크 규칙 변경 Github Arxiv Abstract GAN과 같은 심층 생성 모델에서 네트워크가 인코딩 되는 규칙을 조작할 수 있는 방법을 소개한다. 해당 논문의 방법으로 GAN에서 특정 부분, 특정 하위 집합만을 조작할 수 있다. Introduction 심층 네트워크의 의미 및 물리적 규칙을 추가, 제거 및 변경하는 것을 목표로 하는 모델 재작성 작업을 제시한다. 모델 내에서 특정한 의미 관계를 찾고 변경하기 위해 선형 연관 메모리의 개념을 심층 생성기의 비선형 컨볼루션 레이어로 일반화하는 방법을 보여준다. 각 레이어는 숨겨진 feature에 대한 키-값 관계 세트로 잠재 규칙을 저장한다. 본 논문의 제한된 최적화는 모델의 기존 의미 관계를..
Rewriting Geometric Rules of a GAN (GANWarping) 논문 리뷰 잠재 공간 편집이 아닌 사람이 수동으로 편집한 변형을 GAN에 적용하는 방법. Github Project Page Abstract 사용자가 원하는 기하학적 변경으로 소수의 원본 모델 출력을 편집하여 주어진 모델을 "왜곡" 할 수 있도록 한다. 편집된 샘플 재구성하기 위해 단일 모델 레이어에 low-rank 업데이트를 적용하고 과적합을 방지하기 위해 스타일 믹싱을 기반으로 하는 잠재 공간 증강 방법을 제안한다. Introduction 기존의 GAN 반전과 적응 방법은 기하학적으로 왜곡된 적은 샘플만으로 GAN을 적응시키기가 어렵다. 이러한 문제를 해결하기 위해 원본 샘플과 뒤틀린 버전 간의 재구성 손실로 모델 가중치를 직접 최적화한다. 또한 스타일 믹싱 기반의 증강 체계와 low-rank 업데이트를 제안한..
Learning to Cartoonize Using White-box Cartoon Representations 논문 리뷰 이미지를 세 단계 표현으로 분해하여 만화화 Project Page Github Abstract 본 논문은 이미지 만화화에 대한 접근 방식을 제시한다. 만화 그림을 관찰함으로써 세 가지 white-box 표현(매끄러운 표면 표현, 구조 표현, 텍스처 표현)을 각각 별도로 식별할 것을 제안한다. Introduction 다양한 만화 스타일과 사용 사례에 사용 가능한 알고리즘을 개발하기 위해서는 작업별 가정 또는 사전 지식이 필요하다. 이러한 점은 사용 사례에서 다양한 요구에 직면할 때 블랙박스 모델의 문제가 생긴다. 먼저, 이미지를 여러 표현으로 분해한다. 이미지의 매끄러운 표면을 나타내기 위한 표면 표현 : 이미지 I가 주어지면 텍스처 및 세부사항이 무시된 채 보존되는 가중 저주파 성분 Isf를 추출한다. ..
More ConvNets in the 2020s : Scaling up Kernels Beyond 51 × 51 using Sparsity 논문 리뷰 커널 분해와 동적 희소 컨볼루션을 이용해 커널 크기를 51x51까지 확장 Github Abstract ViT의 발전에 맞서 최근의 몇 가지 컨볼루션 모델은 큰 커널로 반격하여 매력적인 성능과 효율성을 보여준다. 그들 중 하나인 RepLKNet은 커널 크기를 31x31까지 확장했지만, Swin Transformer와 같은 고급 ViT의 확장 추세에 비하면 성능이 포화된다. 본 논문에서는 그보다 더 큰 극한 컨볼루션 훈련을 테스트한다. 희소성을 이용해 커널을 51x51까지 확장한 순수 CNN 아키텍처인 Sparse Large Kernel Network(SLaK)를 제안한다. Introduction ViT에서 영감을 받아, 일부 최근 연구는 CNN에 큰 커널을 도입했지만 큰 커널은 학습하기가 매우 어렵다. 본..
DCT-Net : Domain-Calibrated Translation for Portrait Stylization 논문 리뷰 Cross domain translation을 full-image에서 one-path로 가능하게 한 모델 Project Page Abstract Few-shot 초상화 스타일링을 위한 새로운 이미지 변환 아키텍처인 DCT-Net(이하 DCT)을 소개한다. DCT는 제한된 스타일 예제(~100)로 높은 충실도의 콘텐츠 합성과 복잡한 장면을 처리할 수 있는 강력한 일반성을 제공한다. 또한 부분 관찰에 의해 훈련된 평가 네트워크를 통해 전신 이미지 변환을 가능하게 한다. Introduction 이미지 변환, 전송, 반전 모델의 발전에도 불구하고 제한된 일반화 능력, 도메인 간의 콘텐츠 누락 문제, 전신 이미지에 적용할 수 없는 문제 등으로 인해 어려움을 겪는다. 본 논문의 목표는 높은 컨텐츠 합성 능력, 강력..
깨달음. モ誰(모군)이라는 사람이 있다. 그림을 그리는 사람이다. Pixiv 옛날에 데이터 수집을 목적으로 픽시브에 가입했었다. 요즘도 심심할 때 아주 가끔 구경을 하는데, 이분이 내가 픽시브에서 본 사람 중 제일 잘 그리는 것 같다. 최근에는 100일 연속으로 하루에 그림을 한 장씩 그리는 100일 프로젝트를 하고 있는데 그림 퀄리티가 하나하나 미친 수준인데도 매일 작품이 나온다. 이분이 방송을 하시는 줄 몰랐는데 저번에 우연히 트위치에서 이분을 발견했었다. 오늘도 트위치에 들어갔다가 마침 볼 만한 방송이 없어서 이분의 방송에 들어가 봤고, 그림의 가장자리 부분을 그리고 있어서 전체 그림을 보려고 다시보기를 봤다. 다시보기를 보던 도중 시청자가 그림 그리는 것이 재밌냐는 질문을 했고, 모군님의 대답이 인상적이었..
MatteFormer : Transformer-Based Image Matting via Prior-Tokens 논문 리뷰 Trimap에서 추출한 Prior token을 이용해 ViT 기반 image matting 개선 Github Abstract 본 논문에서는 trimap 정보를 최대한 활용하는 MatteFormer라는 transformer 기반 이미지 매팅 모델을 제안한다. 먼저 각 trimap 영역의 전역적 표현인 prior 토큰을 도입하고 이 토큰을 global prior로 각 블록의 self attention에 참여한다. 인코더는 PAST(Prior-Attentive Swin Transformer) 블록을 도입한 Swin Transformer이다. Introduction 이미지는 foreground F, background B, alpha matte α로 다음과 같이 나타낼 수 있다. 이미지 매팅에서 추가 입력으로 ..
StyleSpace Analysis: Disentangled Controls for StyleGAN Image Generation 논문 리뷰 W+ 공간보다 S 공간이 훨씬 더 disentangle 한 제어를 제공한다는 것을 증명하고 S 공간에서 특정 속성을 제어하는 채널을 탐색하는 방법을 제안하였다. Github Abstract StyleSpace가 다른 중간 잠재 공간보다 훨씬 더 분리되어 있음(disentangle)을 보여준다. 뚜렷한 시각적 속성을 제어하는 스타일 채널의 대규모 컬렉션을 발견하는 방법을 설명한다. 사전 훈련된 분류기 또는 소수의 예제 이미지를 사용하여 특정 속성을 제어하는 스타일 채널을 식별하는 간단한 방법을 제안한다. StyleSpace 컨트롤을 실제 이미지 조작에 적용할 수 있음을 보여준다. Introduction 중간 잠재 공간 W, W+를 본 논문에서는 StyleSpace S 공간을 조사한다. 이후 섹션에서는 S ..
ReStyle: A Residual-Based StyleGAN Encoder via Iterative Refinement 논문 리뷰 인코더 기반 반전과 직접 최적화 반전을 결합한 반전 인코더 모델. Github Abstract 본 연구에서는 현재 반전 접근법의 한계를 인식하고 반복적인 개선 메커니즘을 도입하여 새로운 반전 체계를 제시한다. 주어진 실제 이미지의 잠재 코드를 직접 예측하는 대신 반전된 잠재 코드의 현재 추정치에 대한 잔차를 자체 수정 방식으로 예측하는 작업을 수행한다. ReStyle 인코더는 추론 시간이 거의 증가하지 않고 향상된 정확도를 달성한다. Introduction 단일 전진 pass로 잠재 코드를 추론하는 일반적인 인코더 기반 반전과 달리 반복적인 피드백 메커니즘을 도입, 인코더에 원래 입력 이미지와 함께 이전 반복의 출력을 공급하여 여러 개의 전진 pass를 사용하여 반전이 수행된다. 잠재 공간의 측면에서, ..
Cross-Domain Style Mixing for Face Cartoonization 논문 리뷰 Face style transfer에서 기존의 사전 훈련 인코더 방법의 문제점을 해결하고 더 견고하고 향상된 stylization 프레임워크 제안 Project Page Arxiv Abstract 본 논문에서는 서로 다른 두 도메인의 두 잠재 코드를 결합하는 Cross-domain Style mixing이라는 새로운 방법을 제안한다. 새로운 방법은 훈련 이미지조차 사용하지 않고 단일 생성기만을 사용하여 다양한 얼굴 추상화 수준에서 얼굴을 여러 만화 캐릭터로 효과적으로 스타일링한다. Introduction Toonify에서는 레이어 스와핑을 도입해 두 가지 스타일을 보간했다.(내가 만들었던 볼짤콘 모델과 퍼리 모델에서도 레이어 스와핑을 사용했었다.) 그러나 레이어 스와핑은 미세 표현이 힘들고 거리가 먼 도..
The ArtBench Dataset Artwork 생성 벤치마킹을 위한 새로운 데이터셋 ArtBench-10의 간략한 소개입니다. Github Abstract Artwork 생성을 벤치마킹하기 위한 균형적인 클래스, 고품질, 깔끔한 주석이 달린 표준화된 최초의 데이터셋인 ArtBench-10을 소개한다. 10개의 독특한 스타일의 예술 작품 60,000개의 이미지로 구성되어 있으며, 스타일당 5,000개의 훈련 이미지와 1,000개의 테스트 이미지를 가지고 있다. 또한 32x32, 256x256, 원본 크기로 총 3가지 버전이 있다. The ArtBench-10 Dataset Limitation of Existing Artwork Datasets 이전의 artwork 데이터셋들에는 여러가지 문제가 있었다. Long-tail 분포 이미지 품질..
Spatially-Adaptive Multilayer Selection for GAN Inversion and Editing 논문 리뷰 이미지의 가역성 맵을 예측하여 물체의 유형에 따라 각각 다른 계층에서 편집을 수행하는 SAM inversion을 제안. Project Page Spatially-Adaptive Multilayer Selection for GAN Inversion and Editing Spatially-Adaptive Multilayer Selection for GAN Inversion and Editing www.cs.cmu.edu Abstract 기존의 GAN 반전 및 편집 방법은 복잡한 장면과 개체 폐색으로 인해 종종 어려움을 겪는다. 본 논문에서는 GAN의 잠재 공간에서 이러한 복잡한 이미지를 반전하고 편집하는 새로운 방법을 제안한다. 핵심 아이디어는 이미지의 난이도에 따라 반전 프로세스를 공간적으로 적응시키면서 ..

티스토리툴바