The Platonic Representation Hypothesis
Abstract
Deep networks는 modality 전반에 걸쳐 플라톤의 이상적인 현실 개념과 유사한 현실의 공유된 통계 모델을 향해 수렴되고 있다.
연구진은 그러한 표현을 platonic representation이라 명명하고 이에 대해 논의한다.
[Github]
[arXiv](2024/05/13 version v1)
Introduction
최신 AI system은 각 modality 처리를 위해 다른 아키텍처를 사용하는 대신 단일 모델로 통합되고 있으며 (e.g. GPT4-V) 점점 더 많은 분야에서 이러한 foundation model을 채택하고 있다.
The Platonic Representation Hypothesis:
이미지 표현 X, 텍스트 표현 Y는 공통된 현실 Z에 대한 투영이며, 따라서 이들은 하나의 표현으로 수렴될 것이다.
Representations are converging
표현 정렬에 대한 연구는 이전부터 많이 있었다.
Lenc & Vedaldi (2015)에서는 ImageNet과 Place-365에서 훈련된 각 모델의 레이어를 혼합했을 때 좋은 성능을 유지했으며,
Bansal et al. (2021)에서는 supervised, self-supervised 목표로 훈련된 각 모델이 서로 호환됨을 발견했고,
Moschellaet al. (2022)에서는 커널을 사용하여 서로 다른 언어에서 훈련된 모델의 인코더와 디코더를 호환시켰다.
더 고성능의/큰 모델일수록 더 큰 정렬을 보였다.
아래 그림을 보면 더 파란색(더 성능 좋음) 모델일수록 비슷한 표현을 가지고 있는 것을 볼 수 있다.
Mutual nearest-neighbor metric을 통해 독립적으로 훈련된 vision-language 모델 간의 정렬을 측정했는데, 이전 결과와 동일하게 좋은 성능의 모델일수록 더 잘 정렬되었다.
정렬이 좋은 모델일수록 downsteam task의 성능도 좋았다.
Why are representations converging?
모델 수렴의 이유를 설명하는 3가지 가설:
The Multitask Scaling Hypothesis
모델이 점점 더 많은 데이터를 학습하며 더 많은 문제를 해결해야 할수록 그것을 모두 충족하는 표현 공간은 점점 작아지고 좁은 표현 공간으로 수렴하는 압박을 받게 된다.
The Capacity Hypothesis
모든 학습 목표를 충족하는 global optima가 존재한다고 가정하면, 각 모델의 아키텍처와 상관없이 모델의 성능이 좋을수록 이 최적 지점으로 수렴될 것이다.
The Simplicity Bias Hypothesis
Deep networks는 복잡한 해결책보다 더 단순한 해결책을 찾으려는 편향이 있으며, 따라서 모델은 가능한 해결책 중 이 simple function에 가까운 해결책을 선택하게 된다.
