서당개도 이해할 수 있는 transformer 설명을 발견했다. 영어로 된 글이지만 둘 다 크롬 사이트 번역으로 읽어도 하나도 안 어색하고 부드럽게 읽어지니까 부담 ㄴㄴ.
The Illustrated Transformer
Discussions: Hacker News (65 points, 4 comments), Reddit r/MachineLearning (29 points, 3 comments) Translations: Arabic, Chinese (Simplified) 1, Chinese (Simplified) 2, French 1, French 2, Italian, Japanese, Korean, Persian, Russian, Spanish 1, Spanish 2,
jalammar.github.io
그림을 이용해서 아주 직관적으로 transformer의 내부에서 일어나는 일들을 다루고 있다.
hackerllama - The Random Transformer
Understand how transformers work by demystifying all the math behind them
osanseviero.github.io
위의 the illustrated transformer를 기반으로 실제 4차원 임베딩 값을 통해 transformer의 처음부터 끝까지 과정을 따라가본다. 간단하게 구현된 코드를 통한 설명은 덤.
'Deep Learning > Memo or etc.' 카테고리의 다른 글
| 논문 수정에 기여해버렸다 ㅎ (3) | 2024.01.25 |
|---|---|
| 수학 (2) | 2023.10.06 |
| Language Model 자료 모음 (0) | 2023.10.06 |
| 메모 - score based model (0) | 2023.01.23 |
| Diffusion Model 공부 자료 (0) | 2022.08.14 |
