Medusa 논문을 보고 있었는데
이 Heads warmup 부분이 아무리 생각해도 이해가 안 되었다.
First stage에서 backbone을 훈련하라고 나와있는데, 내가 이해가 안 돼서 참조 논문까지 다 봤다.
근데 참조 논문을 보고 내가 내린 결론은 backbone이 아니라 medusa head를 먼저 훈련해야 된다는 것이었다.
그래서 github에 직접 물어봤는데
한글버전
다음 버전에서 수정한다고 한다 ㅎ
뭔가 기분이 좋네... ㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎ
'Output > Small Things' 카테고리의 다른 글
이제는 그냥 즐기는 사람 (1) | 2024.02.21 |
---|---|
선생님, 저 논문 수정 전문가가 될래요. (0) | 2024.02.08 |
상위 0.01% (1) | 2023.05.24 |