논문 리뷰/논문 분류 (7) 썸네일형 리스트형 짧은 개념 모음 R1 Gradient Penalty Score Distillation Sampling Self-Conditioning Constitutional DPO Language 논문 분류 Large Language Model (LLM)SOLAR 10.7B : 매우 간단하고 효율적인 depth up-scaling 방법으로 모델 업스케일링DocLLM : LLM이 layout을 고려하여 시각적 문서를 추론할 수 있도록 함TinyLlama : LLaMA2 기반에 1T 개의 토큰으로 pretraining 된 1.1B 모델 Mistral 7B : LLaMA2 기반 모델 (Sliding window attention, Rolling buffer cache)Mixtral 8x7B : Mistral 7B + Mixture of expertsEurus : Multi-turn interaction 궤적을 수집하여 SFT, Preference Learning에 사용Phi-3 : 오직 훈련 데이터만 변경함으로써.. GAN 논문 분류 Architecture Improving FastGAN : 100개 미만의 샘플로 몇 시간만에 수렴하는 초경량 GAN Projected GAN : GAN의 성능을 향상시키는 무작위 투영 다중 판별기 제안 Alias-Free GAN(StyleGAN3) : StyleGAN2에서 신호처리의 개념을 도입해 엘리어싱을 완전히 제거 개념편, 아키텍처편 StyleGAN-XL : StyleGAN3 + Projected GAN EqGAN-SA : 히트맵과 D의 attention map을 이용해 GAN 훈련 평형 개선 Inversion StyleSpace : S 공간의 효율성 입증. S 공간에서의 속성 탐색 방법을 제안 ReStyle : 인코더 기반 반전과 직접 최적화 반전을 결합한 반전 인코더 모델 SAM Inversi.. Vision Transformer 논문 분류 Attention, ImprovingNAT : Attention을 마치 컨볼루션처럼 작동시키는 Neighborhood Attention 제안FAN : Self attention과 모델 견고성의 관계를 분석ViT-Adapter : Vanilla ViT에 쉽게 추가할 수 있고 성능이 크게 향상되는 간단하고 효율적인 어댑터 Inception Transformer : ViT와 CNN의 장점을 모두 활용하기 위한 모델. pooling, attention, convolution을 완전히 따로 분리해서 연산하는 것이 특징EfficientFormer : ViT의 mobile 환경에서의 지연 시간을 획기적으로 줄임MobileViTv2 : MobileViT에서 새로운 separable self-attention을 추가한 .. Diffusion 논문 분류 GuidanceDiffusion Models Beat GANs on Image Synthesis : 분류기 가이드를 통한 다양성-품질 trade-offClassifier-Free Diffusion Guidance : 분류기 없는 가이드로 다양성-품질 trade-offSelf-Attention Guidance : 샘플의 fine-grained feature를 자체적인 지침으로 사용 SamplingCold-Diffusion : 노이즈 이외의 다른 이미지 저하 방법을 위한 새로운 샘플링 알고리즘DPM-Solver : ODE solver를 이용한 빠르고 고품질의 샘플링DPM-Solver++ : 속도 개선, guided sampling에서도 작동되게 개선Rectified Flow : 직선 경로를 통해 분포를 전송.. 기타 논문 분류 ConvolutionCan CNNs Be More Robust Than Transformers? : CNN과 transformer의 모델 견고성 비교SLaK : 커널 분해. 커널 크기를 51x51까지 확장ConvNeXt V2 : 순수 Conv로만 이루어낸 ConvNeXt + MAEFastSAM : SAM의 CNN version. 매우 빠름 SegmentationITIS : 사용자 클릭을 반복적으로 입력하여 학습하는 segmentation frameworkRITM : 클릭 기반 interative segmentation, ITIS의 개선 버전 DetectionTOOD : classification과 localization을 명시적으로 정렬하는 새로운 정렬 헤드 T-HeadYOLO-World : 빠르고 정확.. 년도별 2017Mixture-of-Experts : Feedforward network를 하위 집합인 expert로 나누어 소수의 적합한 expert만이 계산에 참여함 Look, Listen and Learn : 원시 비디오를 통한 visual-audio 표현 학습 2018Measuring the Intrinsic Dimension of Objective Landscapes : 네트워크의 고유 차원 측정 ITIS : 사용자 클릭을 반복적으로 입력하여 학습하는 segmentation frameworkContextual Attention : Contextual attention으로 image inpainting 개선Online Softmax : 더 적은 메모리 액세스로 softmax 계산GPipe : 레이어 그룹을.. 이전 1 다음
