목표와 신념이 없다면, 단지 살아있을 뿐이다.
괴벨스 전기에 이어서, 오바마 자서전을 읽는 중이다.추후 독후감에도 적겠지만, 지금 기록해 놓아야 할 것 같다.일론 머스크와 괴벨스, 그리고 오바마의 공통점은 목표와 비전, 또는 신념과 같이 '행동에 대한 동기'가 있었다는 점이다.확률이 낮더라도, 그 "일말의 가능성"에 "전력"으로 부딪혔을 때, 비로소 기적은 일어난다.아직 초반밖에 읽지 않았지만, 인상 깊었던 구절이 있다.나 자신보다 큰 무언가를 좇기로 마음먹고서야 비로소 삶의 목적과 내게 맞는 공동체를 찾을 수 있었다.그들의 신념, 목표, 어쩌면 "광신적 믿음"이 그들로 하여금 일말에 가능성에 전력으로 부딪히도록 할 수 있었다.그들의 이야기는 어쨌거나 "승자의 이야기"이기 때문에 그 아래 파묻힌 수많은 패자들이 있을지도 모른다. 매번 무모한 도전만 ..
Randomized Positional Encodings Boost Length Generalization of Transformers
Abstract훈련 시 훈련 데이터의 최대 길이보다 긴 위치 인코딩을 시뮬레이션하여 추론에 적용할 수 있는 Randomized Positional Encodings 제안 [Github][arXiv](2023/05/26 version v1) Randomized Positional Encodings 훈련 중 최대 시퀀스 길이를 N이라 하자. 또한 N 보다 큰 임의의 L을 지정한다.예를 들어, N = 5, L = 20. 그리고 훈련 시에 배치마다 L에서 N개의 인덱스를 샘플링하고 → [1, 4, 10, 11, 17]이 위치 정보를 원래 위치 [1, 2, 3, 4, 5] 대신 사용한다. 이 방법을 사용하면 추론 시 N 초과 L 이하의 위치에 대해 적응할 수 있다.
