안드레 카파시의 글. 재미있게 읽었음. (원제 : Animals vs Ghosts)
• LLM은 유령이다. 인류가 인터넷에 쏟아낸 글의 통계적 증류. 우리의 그림자에 가까운, 전혀 다른 종류의 지능.
• 비행기가 새를 흉내 내려다 깃털 없는 다른 존재가 됐듯, LLM도 새로운 종(種)으로 인정하고 그 가능성을 상상해야 한다.
• 동물은 백지로 태어나지 않는다. 새끼 얼룩말이 태어난 지 30분 만에 사바나를 뛰는 건, 수백만 년 진화가 "달리는 법"을 미리 DNA에 새겨놓은 덕이다. 우리가 "학습"이라 부르는 건 사실 이미 깔려있는 능력 위에 살짝 덧칠하는 일에 가깝다.
• 동물의 똑똑함이 수백만 년 진화의 결과물이라면, AI의 똑똑함은 인류가 인터넷에 쌓아둔 글을 통째로 먹은 결과물이다. 진화의 시간을 가질 수 없는 AI에게, 사전학습이 그 자리를 대신해준다.
우리는 유령을 소환해내고 있다.
Animals vs Ghosts
Today’s frontier LLM research is not about building animals. It is about summoning ghosts. And a bit more on Sutton’s Dwarkesh pod.
