본문 바로가기

전체 글

 (582)
기타 논문 분류 ConvolutionCan CNNs Be More Robust Than Transformers? : CNN과 transformer의 모델 견고성 비교SLaK : 커널 분해. 커널 크기를 51x51까지 확장ConvNeXt V2 : 순수 Conv로만 이루어낸 ConvNeXt + MAEFastSAM : SAM의 CNN version. 매우 빠름 SegmentationITIS : 사용자 클릭을 반복적으로 입력하여 학습하는 segmentation frameworkRITM : 클릭 기반 interative segmentation, ITIS의 개선 버전 DetectionTOOD : classification과 localization을 명시적으로 정렬하는 새로운 정렬 헤드 T-HeadYOLO-World : 빠르고 정확..
년도별 2017Mixture-of-Experts : Feedforward network를 하위 집합인 expert로 나누어 소수의 적합한 expert만이 계산에 참여함 Look, Listen and Learn : 원시 비디오를 통한 visual-audio 표현 학습 2018Measuring the Intrinsic Dimension of Objective Landscapes : 네트워크의 고유 차원 측정 ITIS : 사용자 클릭을 반복적으로 입력하여 학습하는 segmentation frameworkContextual Attention : Contextual attention으로 image inpainting 개선Online Softmax : 더 적은 메모리 액세스로 softmax 계산GPipe : 레이어 그룹을..
Separable Self-attention for Mobile Vision Transformers 논문 리뷰 6 Jun 2022. MobileViT에서 separable self-attention을 추가해 개선 버전인 MobileViTv2를 제안했다. Paper Github Abstract MobileViT는 분류 및 탐지를 포함한 여러 모바일 비전 작업에서 최첨단 성능을 달성할 수 있다. 이러한 모델은 매개 변수가 적지만 컨볼루션 신경망 기반 모델에 비해 지연 시간이 길다. MobileViT의 주요 효율성 병목 현상은 transformer의 multi head self attention(MHSA)으로 토큰(또는 패치) 수 k와 관련하여 O(k2) 시간 복잡성을 필요로 한다. 본 논문은 선형 복잡성, 즉 O(k)를 가진 separable self-attention을 소개한다. 제안된 방법의 간단하지만 효과적인 ..
EfficientFormer: Vision Transformers at MobileNet Speed 논문 리뷰 2 Jun 2022. 모바일 환경에서 높은 성능을 유지하며 transformer의 추론 속도를 획기적으로 줄인 논문이다. Github GitHub - snap-research/EfficientFormer Contribute to snap-research/EfficientFormer development by creating an account on GitHub. github.com Abstract ViT는 컴퓨터 비전 작업에서 빠른 진전을 보여 다양한 벤치마크에서 유망한 결과를 달성했다. 그러나 주의 메커니즘과 같은 엄청난 수의 매개 변수 및 모델 설계로 인해 ViT 기반 모델은 일반적으로 경량 컨볼루션 네트워크보다 속도가 두 배 느리다. 따라서 실시간 애플리케이션을 위한 ViT의 배포는 특히, 모바일 ..
Green Hierarchical Vision Transformer for Masked Image Modeling 논문 리뷰 계층적 ViT 모델에 Masked Image Modeling을 도입한 논문이다. 5월 26일 공개되었다. 요즘 이런 비슷한 주제의 논문이 많이 나오는 것 같다. Github GitHub - LayneH/GreenMIM: Official implementation of the paper 'Green Hierarchical Vision Transformer for Masked Image Modeling' Official implementation of the paper 'Green Hierarchical Vision Transformer for Masked Image Modeling'. - GitHub - LayneH/GreenMIM: Official implementation of the paper 'Gr..
Inception Transformer 논문 리뷰 5월 25일 공개된, 고주파수를 잘 포착하는 ViT와 저주파수를 잘 포착하는 CNN을 잘 혼합한 논문이다. 요즘 비슷한 주제의 논문을 너무 많이 봐서 솔직히 엄청 대충 읽고 있었는데 읽다 보니 나름 간단하고 괜찮은 아이디어라는 생각이 들었다. Github GitHub - sail-sg/iFormer: iFormer: Inception Transformer iFormer: Inception Transformer. Contribute to sail-sg/iFormer development by creating an account on GitHub. github.com Abstract (요약: 넓은 범위의 주파수 캡처를 위해 inception mixer 설계, 고주파수와 저주파수 간의 상충을 위해 램프 구조 ..
Vision Transformer Adapter for Dense Predictions 논문 리뷰 현재 semantic segmentation의 여러 벤치마크에서 SOTA를 차지하고 있는 ViT-Adapter Github GitHub - czczup/ViT-Adapter: Vision Transformer Adapter for Dense Predictions Vision Transformer Adapter for Dense Predictions. Contribute to czczup/ViT-Adapter development by creating an account on GitHub. github.com Abstract ViT를 위한 간단하지만 강력한 어댑터를 조사한다. 비전별 유도 편향을 아키텍처에 도입하는 최근의 시각적 transformer와 달리 ViT는 이미지의 사전 정보가 부족하여 dense..
Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning (CAST) 논문 리뷰 Gram matrix와 같은 2차 통계에 의존하는 대신 임의의 이미지의 스타일을 직접 비교하는 새로운 대조 손실을 이용해 스타일 전송 능력을 크게 향상한 논문이다. Github Abstract 본 연구에서는 새로운 스타일 feature 표현 학습 방법을 사용하여 임의의 이미지 스타일 전송이라는 어려운 문제를 해결한다. 기존의 심층 신경망 기반 접근 방식은 content feature의 gram matrix와 같은 2차 통계의 지침을 통해 합리적인 결과를 달성한다. 그러나 충분한 스타일 정보를 활용하지 않아 local 왜곡 및 스타일 불일치와 같은 아티팩트가 발생한다. 이러한 문제를 해결하기 위해, 본 논문에서는 여러 스타일 간의 유사점과 차이점을 분석하고 스타일 분포를 고려하여 2차 통계 대신 이미지 f..
ASSET : Autoregressive Semantic Scene Editing with Transformers at High Resolutions 논문 리뷰 ASSET은 Transformer를 이용한 고해상도 semantic 분할 편집 아키텍처이다. NLP의 기법들을 차용했다. Project Page Creative and Descriptive Paper Title. Paper description. people.cs.umass.edu Abstract Semantic 분할 맵에서 사용자의 편집에 따라 입력 고해상도 이미지를 자동으로 수정하기 위한 신경 아키텍처인 ASSET을 제시한다. ASSET은 새로운 attention 메커니즘을 가진 transformer를 기반으로 한다. 핵심 아이디어는 낮은 해상도에서 추출된 고밀도 attention에 의해 안내되어 높은 해상도에서의 attention matrix를 희소화 하는 것이다. 이전의 attention 메커니즘..
Uniform Masking: Enabling MAE Pre-training for Pyramid-based Vision Transformers with Locality (UM-MAE)논문 리뷰 5월 23일 공개된 본 논문은 local window를 사용하는 계층적 ViT에서도 MAE 사전 훈련 방법을 적용할 수 있게 한 논문이다. Github GitHub - implus/UM-MAE: Official Codes for "Uniform Masking: Enabling MAE Pre-training for Pyramid-based Vision Transformers wit Official Codes for "Uniform Masking: Enabling MAE Pre-training for Pyramid-based Vision Transformers with Locality" - GitHub - implus/UM-MAE: Official Codes for "Uniform Masking: Ena....
When does dough become a bagel? Analyzing the remaining mistakes on ImageNet 논문 리뷰 5월 9일 공개된 When does dough become a bagel? Analyzing the remaining mistakes on ImageNet 논문은 ImageNet의 오류를 분석한 논문이다. Paper(arxiv) (다 쓰고 보니까 mistake와 error가 거의 구분이 없는데, 논문에서도 딱히 기준은 없는지 너무 중구난방으로 써서 잘 모르겠고, 대부분은 논문의 표기를 따랐음.) Abstract 컴퓨터 비전에서 가장 많이 벤치마킹된 데이터 세트 중 하나인 ImageNet에서 오류의 long-tail에 대한 통찰력을 제공하기 위해 일부 상위 모델이 저지르는 실수를 수동으로 검토하고 분류한다. 본 연구에서는 ImageNet의 multi-label 하위 집합 평가에 중점을 두는데, 여기서 SO..
StyleGAN-XL: Scaling StyleGAN to Large Diverse Datasets 논문 리뷰 2월 공개된 StyleGAN-XL는 현재 이미지 생성 부분의 ImageNet의 모든 size를 포함해 많은 데이터셋에서 SOTA를 차지하고 있다. StyleGAN-XL은 Nvidia에서 공개한 정식 StyleGAN 시리즈는 아니고, Projected GAN 연구에 참여했던 Axel Sauer가 다른 사람들과 함께 Projected GAN의 아이디어를 StyleGAN3에 특화시킨 모델이다. Project Page stylegan-xl Scaling StyleGAN to Large Diverse Datasets sites.google.com Abstract StyleGAN은 제어 가능성을 위해 설계되었기 때문에 ImageNet과 같은 대규모 비정형 데이터 세트에서 성능이 심각하게 저하된다. 대조적으로, 연구..

티스토리툴바