Language Model 자료 모음

[리뷰] Meta AI의 Small Gaint Model: LLaMA(Large Language Model Meta AI)

ChatGPT의 열풍으로 인해 대중들은 OpenAI와 MS가 Generative AI의 핵심기업으로 인식하는 착시 현상을 겪고 있다. 하지만 최근까지 AI 발전에 가장 많이 공헌한 기업으로 Google과 Meta을 꼽을 수 있다.

moon-walker.medium.com

[리뷰] Meta AI의 논문 LIMA(Less Is More for Alignment):결국 LLM의 Pre-training이 가장 중요하다?

최근 Meta AI는 CMU, USC, Tel Aviv Univ.의 researcher들과 함께 “LIMA: Less Is More for Alignment”라는 제목의 논문을 공개하였다.

moon-walker.medium.com

딥 러닝을 이용한 자연어 처리 입문

많은 분들의 피드백으로 수년간 보완된 입문자를 위한 딥 러닝 자연어 처리 교재 E-book입니다. 오프라인 출판물 기준으로 코드 포함 **약 1,000 페이지 이상의 분량*…

wikidocs.net

[논문 리뷰] LLaVA: Large Language and Vision Assistant (Visual Instruction Tuning)

최근 ChatGPT, LLaMA와 같은 거대 언어 모델(LLM, Large Lanuage Models)이 많은 주목을 받고 있습니다. 하지만, 실제 세계는 언어뿐만 아니라 시각적인 요소를 포함한 복합적인 정보(멀티모달)들로 이루어

cocoa-t.tistory.com

[리뷰] LLaMA기반 Vicuna와 Vicuna기반 Multi-Modal 모델: MiniGPT-4

최근 구글의 최대의 경쟁자는 OpenAI가 아닌 오픈소스 AI라고 주장하는 구글 내부 문서가 공개 유출되었다. 이 문서는 회사 전체의 의견이라기 보다는 익명의 구글 researcher의 개인적인 의견에 가

moon-walker.medium.com

Python, Machine & Deep Learning

Python, Machine Learning & Deep Learning

greeksharifa.github.io

Sebastian Ruder의 ML and NLP Research Highlights of 2021을 번역했습니다. 2021년 영향력 있는, 기계 학습과 자연어 처리의 여러 영역에 대하여 현황을 정리해보았습니다.

velog.io

Chapter 8. LLaMA 2 Part1

기본적으로 META에서 2023년 2월에 개발한 LlaMA의 아키텍처는 GPT와 거의 같다그러나 LlaMA 아키텍처와 GPT 아키텍처 간에는 몇 가지 차이점이 있다.RMS(Root Mean Square) NormalizationLlaMA 2는 배치 정규화를

velog.io

hackerllama - The Random Transformer

Understand how transformers work by demystifying all the math behind them

osanseviero.github.io

Ostin X