본문 바로가기

논문 리뷰/Language Model

(148)

Step-DPO: Step-wise Preference Optimization for Long-chain Reasoning of LLMs Abstract최적화 단위를 개별 답변에서 개별 추론 단계로 분해하여 긴 수학적 추론 능력 향상 [Github][arXiv](2024/06/26 version v1) Step-DPOStep-Wise FormulationDPO 설명 Our Solution DPO는 수학 문제와 같은 긴 추론 작업에서는 미미한 개선만 제공하는데, 이는 첫 번째 오류가 긴 추론 과정의 중간에 나타나고 이를 거부하면 초반의 올바른 추론 단계도 무시되어 학습에 부정적인 영향을 끼치기 때문이다. Step-DPO는 답변 y를 일련의 추론 단계로 분해하여 s를 기준으로 손실을 계산한다.In-Distribution Data Construction 데이터셋 D0 = {(x, ŷ)}에 대해 CoT 추론( Let’s think ste..

OMG-LLaVA: Bridging Image-level, Object-level, Pixel-level Reasoning and Understanding Abstract범용 분할 모델을 visual encoder로 사용하여 pixel-level 능력을 향상하고 다양한 유형의 입력을 처리할 수 있는 단일 모델인 OMG-LLaVA 제안 [Project Page][Github][arXiv](2024/06/27 version v1) Methodology Task Unification 3가지 유형의 토큰이 있다.텍스트 토큰 Tt, 픽셀 중심 시각 토큰 Tpv, 객체 중심 시각 토큰 Tov. OMG-LLaVA에서 LLM이 입출력 가능한 토큰 유형은 다음과 같다. OMG-LLaVA Framework Image Encoder ConvNeXt-L 기반 CLIP 모델 사용. OMG Decoder학습 가능한 쿼리 세트가 입력에 포함되며 MCA, SA로 이루어져 있다..

Refusal in Language Models Is Mediated by a Single Direction (Daredevil-8B) Abstract유해한 명령을 거부하는 단일 방향을 찾아 제거 [논문 설명][Colab + 코드 분석][HuggingFace Model Weight][arXiv](2024/06/17 version v1) Methodology 연구진의 가설은 모델의 각각의 거부 반응에 공통적인 refusal feature가 있고, 이를 제거하면 거부 기능이 중단된다는 것이다. Extracting a refusal direction 유해 프롬프트에 대한 평균 활성화 μ, 무해 프롬프트에 대한 평균 활성화 ν를 구하고 차이를 구한다. 벡터 r은 토큰 위치 i와 레이어 l에 대해 I × L개 생성되며r을 제거했을 때 명령을 거부하지 않는지무해 프롬프트에 대해 r을 추가하면 명령을 거부하는지r이 모델 동작에 얼마나 영향을 미치..

Be like a Goldfish, Don't Memorize! Mitigating Memorization in Generative LLMs (Goldfish Loss) Abstract훈련 목표의 간단한 수정을 통해 기억 능력을 감소시켜 정보 누출 위험을 피하는 Goldfish Loss 제안 [Github][arXiv](2024/06/14 version v1) Goldfish Loss: Learning Without Memorizing 일반적인 causal language modeling: Goldfish loss는 goldfish mask G ∈ {0, 1}를 통해 G = 0일 때 토큰의 손실을 무시하는 것이다. 이는 모델이 테스트 시 훈련 샘플을 '재현'하려는 것을 막음으로써 정보 누출을 완화할 수 있다.마스킹 방법으로는 k번째 토큰을 무시하거나 1/k 확률로 무시하는 방법들이 있다. Robust Handling of Duplicate Passages with H..

Scalable MatMul-free Language Modeling AbstractLLM에서 값비싼 MatMul 작업을 완전히 제거메모리 사용량을 최대 60%까지 줄임 [Github][arXiv](2024/06/18 version v5) Method MatMul-free Dense Layers with Ternary Weights Dense layer를3항 가중치 {-1, 0, +1}를 가진 BitLinear 모듈로 변환하여 MatMul 연산을 누적 덧셈 연산으로 변환할 수 있다. Hardware-efficient Fused BitLinear Layer BitNet은 BitLinear 입력 전 RMSNorm을 요구하며 HBM과 SRAM으로 구성된 현대 GPU의 구조를 고려할 때 기존 구현은 많은 I/O 작업을 도입하여 하드웨어 효율적이지 못하다. 하드웨어를 고려한..

Accessing GPT-4 level Mathematical Olympiad Solutions via Monte Carlo Tree Self-refine with LLaMa-3 8B (MCTSr) AbstractLLM과 MCTS (Monte Carlo Tree Search)를 혁신적으로 통합한 MCTSr (MCT Self-Refine) 제안특히 수학적 추론 능력이 크게 향상됨 [arXiv](2024/06/13 version v2) Preliminary MCTSUCT (Upper Confidence Boundary of Tree) Self-refine(Project page 설명, 동영상) 용어 정리:P: 다루고 있는 문제 인스턴스A: P에 대한 잠재적 답변을 나타내는 노드들의 집합 M: 각 노드에서 사용 가능한 동작들의 집합R: 노드들의 자체 보상을 샘플링하는 함수 (자체 보상이란 LLM에게 스스로 자기 답변을 평가하도록 하는 것을 말함)Ra: R로 a의 모든 자체 보상 샘플링 결과를 저장하는..

Diffusion On Syntax Trees For Program Synthesis (Tree Diffusion) AbstractSyntax tree에 순차적으로 추가된 noise를 반전시켜 역 그래픽 작업을 수행할 수 있는 Tree Diffusion 제안 [Project Page][Github][arXiv](2024/05/30 version v1) 사실 역 그래픽 작업을 수행할 일이 도대체 어디에 있겠는가?이 논문에서 Tree Diffusion이 할 수 있는 일 보다 최단거리의 tree를 찾아서 훈련에 사용하는 아이디어가 더 마음에 들었다. Method그래픽 작업에서 복잡한 모양을 표현하기 위해 CFG(Context-Free Grammar)를 사용한다.CFG가 뭐임? 아래 그림과 그 아래 그림을 보면 무슨 느낌인지 알 수 있다. 우리의 목표는 x0을 보고 프로그램 zT에서 시작하여 z0를 도출하는 것이다. ..

ShareGPT4Video: Improving Video Understanding and Generation with Better Captions Abstract신중하게 설계된 filtering, captioning 전략을 통해 생성된 고품질 데이터셋으로 비디오 이해 능력 향상 [Project Page][Github][arXiv](2024/06/06 version v1) ShareGPT4Video Dataset 데이터 소스에서 2분을 초과하는 비디오를 필터링캡션 모델을 통해 비디오에 대한 짧은 캡션을 생성한 다음, 언어 모델을 통해 비디오의 캡션을 인코딩하고 CLS 토큰을 가져와 후보 비디오 풀에 넣음새로운 비디오에 대해 후보 풀의 CLS 토큰들과 비교하고 기존 비디오들과 의미적 유사도가 낮은 경우에만 후보 풀에 추가비디오에서 균일한 시간 간격으로 키프레임을 추출하고 CLIP image encoder의 CLS 토큰을 비교하여 중복성이 높은 인접..

GNN-RAG: Graph Neural Retrieval for Large Language Model Reasoning AbstractGNN의 그래프 검색 능력과 LLM의 언어 이해 능력을 결합하여 Knowledge Graph QA task에 이용 경고: 저도 GNN 잘 몰라요 [Github][arXiv](2024/05/30 version v1) Problem Statement & Background Question Answering over KGs KGQA 설명Knowledge Graph 설명 나는 안 봤지만 대충 슥 봤는데 설명도 잘하시고 정성 들여 쓰신 것 같다. Knowledge Graph는 entity v, v'와 관계 r에 대한 (v, r, v') triplet으로 저장되며 KGQA의 목표는 주어진 G와 q에 대해 정확하게 대답하는 G의 entity set {a}를 찾는 것이다. 이 논문과 이것저것 찾..

Transformers Can Do Arithmetic with the Right Embeddings (Abacus Embeddings) Abstract각 숫자의 자릿수를 인코딩하는 임베딩을 추가하여 산술 작업의 능력을 획기적으로 향상(Abacus는 주판을 의미한다.) [Github][arXiv](2024/05/27 version v1) Hacker news에서 엄청난 토론이 열렸다. Achieving Length Generalization for Addition 무작위 자릿수의 두 숫자를 더하는 작업에 대해 3가지 범주로 평가하며 In-Distribution: 훈련에 나타난 최대 자릿수 이내Out-of-Distribution: 훈련 최대 자릿수보다 크지만 100자리 이하Extreme OOD: 100자리 초과 Abacus Embeddings Help Align Digits Randomized Positional Encodings에서 ..

Randomized Positional Encodings Boost Length Generalization of Transformers Abstract훈련 시 훈련 데이터의 최대 길이보다 긴 위치 인코딩을 시뮬레이션하여 추론에 적용할 수 있는 Randomized Positional Encodings 제안 [Github][arXiv](2023/05/26 version v1) Randomized Positional Encodings 훈련 중 최대 시퀀스 길이를 N이라 하자. 또한 N 보다 큰 임의의 L을 지정한다.예를 들어, N = 5, L = 20. 그리고 훈련 시에 배치마다 L에서 N개의 인덱스를 샘플링하고 → [1, 4, 10, 11, 17]이 위치 정보를 원래 위치 [1, 2, 3, 4, 5] 대신 사용한다. 이 방법을 사용하면 추론 시 N 초과 L 이하의 위치에 대해 적응할 수 있다.

NV-Embed: Improved Techniques for Training LLMs as Generalist Embedding Models AbstractLatent attention layer, contrastive instruction-tuning을 통해 최첨단 성능의 텍스트 임베딩 모델인 NV-Embed 개발 [Hugging Face model][arXiv](2024/05/27 version v1) Method Bidirectional Attention 표현 학습을 향상시키기 위해 대조 학습 중에 causal attention mask를 제거한다. Latent Attention Layer일반적으로 토큰 시퀀스의 임베딩을 얻는 방법은 2가지가 있다. 시퀀스를 mean pooling 하거나 마지막 토큰의 임베딩을 얻는 것이다. 하지만 평균 풀링은 중요한 정보를 희석할 수 있고, 임베딩은 후반 토큰에 의존하는 recency bias..

이전 1 2 3 4 ··· 13 다음

티스토리툴바