논문 리뷰/Language Model (148) 썸네일형 리스트형 Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing (AlphaLLM) Abstract Monte Carlo Tree Search (MCTS)를 통합하여 LLM self-improvement [arXiv](2024/04/18 version v1) AlphaLLM ηMCTS Option-level MCTS 'Option'을 정의하여 Monte Carlo Tree Search(MCTS)의 단위로 설정하였다. Option은 다음과 같이 정의된다. o = ⟨I, π, β⟩ Option-level MCTS의 작업 흐름: 선택: Upper Confidence Bound 알고리즘에 따라 노드를 선택 확장: 종료 조건이 만족될 때까지 정책 π를 사용하여 토큰을 샘플링 시뮬레이션 역전파 Importance Weighted Expansion 각 노드의 중요도를 측정하고 중요도에 비례하여 자식.. TransformerFAM: Feedback attention is working memory Abstract Global information을 제공하는 feedback attention memory를 통해 무한 시퀀스를 처리할 수 있다. 요즘 비슷한 논문 엄청 많이 나옴;; [arXiv](2024/04/14 version v1) TransformerFAM Block Sliding Window Attention (BSWA) BSWA는 sliding window attention에서 이전 memory segment의 토큰까지 추가한 것이다. Attention을 블록으로 나누고 각 블록을 독립적으로 계산하면 최대 메모리는 늘어나지 않는다. 무한히 긴 시퀀스를 생성할 수 있지만 수용 필드 외부의 토큰을 볼 수 없다는 단점이 있다. Feedback Attention Memory 전역 정보를 제공하는 F.. Megalodon: Efficient LLM Pretraining and Inference with Unlimited Context Length Abstract 기존의 Mega를 개선하여 무제한 context 길이로 효율적인 시퀀스 모델링을 가능하게 하는 Megalodon 제안 [Github] [arXiv](2024/04/16 version v2) Background: Moving Average Equipped Gated Attention (MEGA) 이전 연구인 Mega를 간략하게 검토한다. 입, 출력 시퀀스 표기: X = {x1, x2, . . . , xn} and Y = {y1, y2, . . . , yn} Mega와 Megalodon은 attention을 사용하고 있지만 timestep에 걸쳐 지속적으로 변경되는 어떤 state를 가지고 있다는 점에서 state space model과도 유사하다. Multi-dimensional Dampe.. Learn Your Reference Model for Real Good Alignment (TR-DPO) Abstract 학습 중에 참조 정책을 업데이트하는 TR-DPO (Trust Region DPO) 제안 [arXiv](2024/04/15 version v1) Method Vanilla DPO는 고정된 참조 정책을 사용하지만 본문에서는 참조 정책을 업데이트할 것을 제안한다. Soft update의 정도는 α의 값에 따라 결정되며 hard update는 𝜏 training step 후에 정책을 직접 대체한다. Experiments 실험에는 Pythia 모델을 사용한다. 제안하는 방법론은 엄청나게 간단하고, 이후 다방면의 분석을 내놓고 있지만 결론적으로 𝛼 = 0.5 ~ 0.7, 𝜏 = 256 ~ 512의 값이 제일 적절하다고 말하고 있다. Ferret-v2: An Improved Baseline for Referring and Grounding with Large Language Models Abstract 3가지 주요 디자인을 통해 Ferret을 대폭 업그레이드한 Ferret-v2 공개 Any resolution grounding and referring Multi-granularity visual encoding A three-stage training paradigm [arXiv](2024/04/11 version v1) Methods A Revisit of Ferret [Ferret 논문 리뷰] Ferret은 자유 형식 마스크가 있는 이미지를 '이름 + [좌표] + '의 형식으로 LLM에 입력하며, 토큰은 visual sampler를 통해 생성된 임베딩이다. 추가로 CLIP image encoder로 추출한 feature를 제공한다. 훈련에는 image-caption alignment.. JetMoE: Reaching Llama2 Performance with 0.1M Dollars Abstract SMoE를 채택하여 10만 달러 미만의 비용으로 효율적이고 뛰어난 성능을 보여주는 JetMoE-8B 모델 소개 [Website] [Github] [arXiv](2024/04/11 version v1) Introduction Mixture-of-Experts를 attention, MLP layer 모두에 적용한 ModuleFormer에서 영감을 받아 Sparsely-gated Mixture-of-Experts (SMoE)를 채택하였다. Model Architecture Mixture of Experts 라우터의 출력에서 top-K logits을 선택하고 최종 출력은 전문가 출력의 가중합으로 계산된다. Attention Expert Attention layer에는 4개의 projection .. Rho-1: Not All Tokens Are What You Need Abstract Hard token을 무시하고 useful token만을 선택적으로 훈련하는 Selective Language Modeling (SLM)을 사용하여 LLM pretraining의 훈련 효율성과 성능을 모두 향상시킨다. [Github] [arXiv](2024/04/11 version v1) Introduction 철저한 필터링에도 불구하고 훈련 데이터에는 노이즈 토큰이 많이 포함되어 있다. Rho-1은 이러한 'hard token'의 손실을 선택적으로 제거하는 Selective Language Modeling (SLM) 목표로 훈련되었다. Selective Language Modeling Not All Tokens Are Equal: Training Dynamics of Token Loss.. Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention Abstract 압축 메모리와 linear attention을 활용하여 제한된 메모리에서도 무한히 긴 context를 처리할 수 있는 Infini-attention 제안 [arXiv](2024/04/10 version v1) Introduction Infini-attention은 오래된 KV state를 버리지 않고 압축 메모리에 저장하며 후속 토큰을 처리할 때 메모리에서 값을 검색하여 집계한다. 후술 하겠지만 실제로 저장과 검색이 수행되는 것은 아니다. Method Infini-attention Scaled Dot-product Attention Compressive Memory 1. Memory retrieval 검색이라는 단어를 계속 사용하고 있지만 '압축'이라는 말이 들어가 있듯 실제로 KV의 리.. LLM2Vec: Large Language Models Are Secretly Powerful Text Encoders Abstract LLM을 text encoder로 변환하는 효율적이고 간단한 비지도 접근 방식인 LLM2Vec 제안 [Project Page] [Blog] [Github] [arXiv](2024/04/09 version v1) LLM2Vec Three simple ingredients 먼저 bidirectional attention을 활성화하고 masked next token prediction 목표에 대해 모델을 훈련한다. 이 단계에서 decoder-only LLM을 word-level encoder로 변환할 수 있다. 추가적으로 입력 시퀀스가 주어지면 독립적으로 샘플링된 dropout mask를 사용하여 동일한 시퀀스에 대한 2가지 다른 표현을 생성하고 두 표현 간의 유사도를 최대화, 배치 내의 다른.. Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs Abstract 긴 종횡비를 가진 UI 화면을 이해하고 상호작용할 수 있는 Ferret-UI 제안 [arXiv](2024/04/08 version v1) Method Ferret을 기반으로 구축되었다. UI 이미지의 특징은 확장된 종횡비이다. 이전 연구들에서 'anyres' 아이디어를 Ferret에 적용해 단일 이미지에 의존하지 않고 이미지의 종횡비를 기반으로 1×2 또는 2×1 그리드를 추가로 인코딩한다. Dataset and Task Formulation 공개적으로 사용 가능한 UI dataset을 수집한 후 UI 감지 모델을 사용하여 UI 유형 (버튼, 아이콘, 그림 등) 및 표시된 텍스트를 감지한다. GPT-3.5-Turbo를 사용해 기본적인 훈련 샘플 생성. (실제 이미지 대신 감지 결과를 사용.. ReFT: Representation Finetuning for Language Models Abstract 가중치 대신 표현을 수정하는 Representation Fine-Tuning (ReFT)의 개념과 low-rank를 활용하여 효율적으로 표현에 개입할 수 있는 LoReFT 제안 [Github] [arXiv](2024/04/08 version v2) ReFT 용어 정의: 입력 시퀀스 x = (x1, ..., xn)는 layer l에서 hidden state hn(l)로 임베딩된다. m layer transformer에서 다음 토큰 xn+1의 확률은 다음과 같이 표현될 수 있다. 여기서 W는 logits으로 매핑하는 행렬 Low-rank Linear Subspace ReFT (LoReFT) 공식은 다음과 같다. h를 low-rank로 투영하여 표현을 수정한다. 피라미터는 다음과 같고 R은 l.. Language Models as Compilers: Simulating Pseudocode Execution Improves Algorithmic Reasoning in Language Models (Think-and-Execute) Abstract Task-level logic에 대한 의사 코드를 생성하고 코드 실행을 시뮬레이션하여 논리적으로 추론 [arXiv](2024/04/03 version v1) Think-and-Execute THINK: Describing the Underlying Logic of a Task in a Pseudocode Format 다른 작업의 질문, 분석, 의사 코드 예제를 제공하면 instructor LM I가 목표 작업을 분석하고 의사 코드를 생성한다. 의사 코드를 사용하는 이유는 논리를 글보다 더 효율적이고 명확하게 전달할 수 있기 때문이다. EXECUTE: Simulating the Execution of Pseudocode Prompt for an Instance Reasoner LM R은 의.. 이전 1 2 3 4 5 6 7 8 ··· 13 다음
