다음 단어를 예측한다는 것의 의미

최근 나온 한 논문은 재미있는 주장을 담고 있다.¹ LLM의 학습 목표는 다음 단어 하나의 확률 분포를 예측하는 것이다. 이 목표만 놓고 보면 모델은 마치 한 걸음 앞만 보는 장치처럼 느껴진다. 지금까지 주어진 문장을 보고, 그다음에 올 법한 단어를 고르는 기계가 바로 LLM이다. LLM을 둘러싼 많은 오해와 비판은 이 직관에서 출발한다. 다음 단어만 맞히는 모델이 어떻게 계획을 하고, 추론을 하고, 문맥 전체를 이해할 수 있느냐는 의문이 직관적으로 들 수 밖에 없다.

그러나 확률분포의 관점에서 보면 이 직관은 조금 달라진다. 문장 전체의 확률분포는 언제나 다음 토큰 조건부분포들의 곱으로 표현될 수 있다. 전체 문장에 대한 분포와 다음 토큰들에 대한 분포는 서로 완전히 분리된 것이 아니다. 문장 전체의 가능성을 유지하기 위해서는 각 시점의 다음 토큰 분포가 단순한 국소 판단 이상을 담고 있어야 한다. 저자들은 이 지점을 파고든다. 다음 토큰 logit은 단순히 다음 단어가 얼마나 그럴듯한가를 나타내는 값이 아니라, 전체 시퀀스 분포를 유지하기 위한 압축된 인터페이스일 수 있다는 것이다.

이 말은 조금 이상하게 들린다. 다음 단어를 예측하는 일이 어떻게 전체 문장을 바라보는 일과 연결될 수 있을까. 직관적으로는 문장을 끝까지 본 뒤에야 전체의 의미와 완성도를 평가할 수 있을 것 같다. 어떤 문장이 좋은지, 어떤 답변이 적절한지, 어떤 추론이 올바른지는 마지막까지 가 보아야 알 수 있다. 그러므로 전체 문장을 평가하는 모델과 다음 단어를 하나씩 예측하는 모델은 전혀 다른 종류의 기계처럼 보인다.

저자들은 이 두 모델을 각각 autoregressive model과 energy-based model로 놓고 비교한다. Autoregressive model은 우리가 흔히 아는 언어모델이다. 앞선 문맥을 보고 다음 토큰을 예측하고, 그 과정을 반복해 문장을 생성한다. 반면 energy-based model은 문장 전체에 하나의 점수를 부여한다. 어떤 답변 전체가 좋은지, 나쁜지, 그럴듯한지, 덜 그럴듯한지를 sequence-level에서 평가한다. 전자는 시간의 흐름을 따라 한 토큰씩 나아가고, 후자는 완성된 전체를 한 번에 바라보는 모델처럼 보인다.

그런데 확률적으로는 어떤 전체 분포도 조건부분포들의 곱으로 분해할 수 있다. 이것은 단순하지만 강력한 사실이다. 전체 문장의 확률을 직접 다루는 방식과, 다음 토큰 확률들을 곱해 전체 문장의 확률을 구성하는 방식은 원리적으로 같은 대상을 다른 방식으로 표현하는 것이다. 논문은 여기서 더 나아가, 함수 공간에서는 autoregressive model과 energy-based model 사이에 명시적인 일대일 대응이 존재한다고 주장한다. 즉 이상적인 조건에서는, 전체 문장에 에너지를 부여하는 모델을 다음 토큰 예측 모델로 바꿀 수 있고, 다음 토큰 예측 모델도 전체 문장 분포를 정의하는 energy-based model로 해석할 수 있다.

중요한 것은 다음 토큰 logit 안에 무엇이 들어 있느냐이다. 우리는 보통 logit을 다음 단어의 점수 정도로 이해한다. 하지만 이 논문의 관점에서 logit은 단지 지금 당장 자연스러운 단어의 점수가 아니다. 그것은 이 단어를 선택했을 때 이어질 수 있는 모든 미래 continuation의 가능성을 어느 정도 반영해야 한다. 다시 말해, 한 토큰의 점수 안에는 그 토큰 이후에 펼쳐질 미래 문장들의 soft value가 접혀 들어가 있다.

이 지점에서 다음 토큰 예측의 의미는 직관을 넘어선다. 모델은 실제로 한 번에 하나의 토큰만 출력한다. 하지만 그 하나의 토큰을 고르기 위해 필요한 값은, 이상적으로는 그 뒤에 올 수 있는 전체 경로들의 압축된 평가다. 바둑에서 한 수를 둔다고 할 때, 그 수는 단지 현재 판에서 좋아보이는 위치가 아니다. 좋은 수는 이후에 펼쳐질 수많은 변화를 함축한다. 마찬가지로 LLM의 다음 토큰도 단순히 다음 단어 하나가 아니라, 그 단어를 선택함으로써 열리는 미래 문장들의 분기 전체를 함축할 수 있다.

이것은 언어를 보는 관점 자체를 바꾼다. 우리는 언어를 왼쪽에서 오른쪽으로 읽는다. 단어가 나오고, 그 다음 단어가 나오고, 또 그 다음 단어가 나온다. 언어는 선형적으로 흐르는 것처럼 보인다. 하지만 의미는 반드시 왼쪽에서 오른쪽으로만 생겨나지 않는다. 하나의 단어는 과거 문맥의 결과이면서 동시에 아직 쓰이지 않은 미래 문장들의 압축이다.

예를 들어 ‘그러므로’라는 단어를 쓰는 순간, 그 뒤에는 앞선 논의를 정리하거나 결론짓는 방향의 미래가 열린다. ‘하지만’을 쓰는 순간에는 반전, 대립, 수정의 미래가 열린다. ‘어쩌면’을 쓰면 불확실성의 공간이 열리고, ‘반드시’를 쓰면 강한 확정의 공간이 열린다. 단어 하나는 단어 하나가 아니라, 미래 문장들의 위상 자체를 바꾸는 연산자처럼 작동한다.

문장도 마찬가지다. 문장은 이미 나온 단어들의 합이 아니다. 문장은 등장한 단어들과 아직 등장하지 않은 단어들 사이의 긴장이다. 좋은 문장은 단지 지금까지의 단어들이 아름답게 배열된 문장이 아니라, 앞으로 이어질 수 있는 가능성의 공간을 잘 조직하는 문장이다. 문체란 어쩌면 단어 선택의 습관이 아니라, 미래 가능성을 압축하고 분기시키는 방식일 수 있다.

소설의 첫 문장이 강한 이유도 이 때문일 수 있다. 첫 문장은 정보량이 많아서 강한 것이 아니다. 그것은 이후에 펼쳐질 세계 전체의 분포를 만든다. 철학적 문장의 힘도 비슷하다. 어떤 개념 하나를 도입하면, 그 이후 가능한 사고의 경로가 바뀐다.

이 관점은 언어에만 머무르지 않는다. 조금만 일반화하면, 모든 연속적인 데이터에 대한 예측을 다르게 보게 만든다. 언어는 sequential data의 한 종류일 뿐이다. 영화, 음악, 제스처, 주가, 기후, 생체 신호, 센서 데이터, 게임 플레이, 인간 행동 로그 모두 시간에 따라 펼쳐지는 데이터다. 우리는 이런 데이터를 시간의 순서로 읽는다. 문장은 단어에서 단어로, 영화는 프레임에서 프레임으로, 음악은 음에서 음으로, 시계열은 시점에서 시점으로 흐른다.

예측의 관점에서 다음 순간은 단순히 다음 순간이 아니다. 다음 순간은 전체 미래 궤적이 현재 조건 아래에서 나타나는 단면이다. 좋은 예측 모델은 한 칸 앞을 보는 모델이 아니라, 한 칸 앞의 분포 안에 가능한 전체 경로들의 구조를 압축하는 모델이다.

영화 프레임 예측을 생각해 보자. 다음 프레임을 예측한다는 말은 좀 우습게 들린다. 바로 다음 1/24초 뒤의 픽셀을 맞히는 일처럼 보이기 때문이다. 하지만 좋은 다음 프레임 예측은 단지 물체의 작은 이동만 맞히는 것이 아니다. 현재 프레임에서 사람이 문을 열고 있다면, 다음 프레임은 그 사람의 의도, 물리 법칙, 카메라의 움직임, 조명, 맥락, 앞으로 이어질 동작의 가능성 전체와 연결되어 있다. 다음 프레임 하나는 아주 짧은 미래지만, 장면 전체와 연결될 수 있는 고리를 드러낸다.

음악도 마찬가지다. 다음 음을 예측한다는 것은 단지 직전 음 다음에 올 법한 소리를 고르는 일이 아니다. 좋은 다음 음은 앞선 선율의 긴장, 화성 진행, 리듬 구조, 장르적 관습, 청자의 기대, 아직 도착하지 않은 종착지의 방향을 함께 품고 있다. 다음 음은 곧 전체 곡의 가능성을 드러내는 디딤돌이다.

시계열 데이터 역시 다르지 않다. 다음 시점의 온도, 주가, 심박수, 트래픽을 예측한다는 것은 표면적으로는 $x_{t+1}$ 하나를 맞히는 일이다. 하지만 그 값을 잘 맞히려면 데이터 생성 과정의 장기 구조를 배워야 한다. 계절성, 주기, 추세, 충격, 회복, 지연 효과, 피드백 루프 같은 것들이 다음 값 하나의 확률분포 안에 반영된다. 그러니까 one-step prediction은 사실 다음 순간을 맞히는 문제가 아니라, 전체 dynamical system의 상태를 압축적으로 추정하는 문제가 된다.

이렇게 보면 예측은 단순한 맞히기가 아니다. 예측은 세계 모델의 압축이다. 모델은 모든 가능한 미래를 명시적으로 펼쳐 놓고 계산하지 않는다. 그것은 대부분의 경우 불가능하다. 대신 과거 데이터 속에서 반복되는 구조를 학습하고, 현재 조건 아래에서 가능한 미래들의 분포를 작은 출력 안에 압축한다. 다음 단어, 다음 프레임, 다음 음, 다음 값은 모두 그 압축의 표면이다.

물론 이론적 가능성과 실제 능력은 다르다. 함수 공간에서 완벽한 대응이 존재한다고 해서, 실제 Transformer나 시계열 모델이 그 대응을 완벽하게 학습한다는 뜻은 아니다. 현실의 모델은 유한한 파라미터를 가지고 있고, 제한된 데이터로 학습되며, 최적화 과정도 불완전하다. 따라서 문제는 다음 스텝 예측은 근본적으로 근시안적인가가 아니라, 실제 모델이 미래의 가치를 얼마나 잘 압축해 다음 스텝의 분포 안에 담을 수 있는가에 가깝다.

이 차이는 중요하다. 전자는 구조적 불가능성에 대한 주장이고, 후자는 학습과 표현 능력의 문제다. 만약 다음 토큰 예측이나 다음 프레임 예측 자체가 원리적으로 근시안적이라면, 이런 모델들의 추론과 계획 능력은 애초에 환상에 가까울 것이다. 하지만 다음 스텝 예측이 전체 시퀀스 분포를 표현하는 하나의 방식이라면, 한계는 다른 곳에 있다. 충분히 복잡한 미래 가치를 현재의 작은 출력 안으로 어떻게 접어 넣을 것인가. 어떤 데이터와 어떤 학습 과정이 그런 압축을 가능하게 하는가. 그리고 그 압축은 언제 실패하는가.

이 관점은 우리가 데이터를 보는 방식도 바꾼다. 연속 데이터는 단순히 시간에 따라 늘어선 값들의 배열이 아니다. 그것은 가능한 경로들의 공간 위에 놓인 확률분포다. 우리가 관찰하는 실제 시퀀스는 그 분포에서 하나의 경로가 실현된 것이다. 문장 하나, 영화 한 장면, 음악 한 소절, 심박수의 변화, 시장의 움직임은 모두 수많은 가능성 중 하나의 궤적이다. 그리고 다음 순간을 예측한다는 것은 그 궤적의 바로 앞부분만 보는 것이 아니라, 아직 실현되지 않은 전체 가능성의 장을 추정하는 일이다.

따라서 다음 순간은 작지만, 결코 단순하지 않다. 다음 단어에는 아직 드러나지 않은 문장 전체가 접혀 있고, 다음 프레임에는 아직 촬영되지 않은 장면 전체가 접혀 있으며, 다음 음에는 아직 곡 전체가 접혀 있다. 다음 값에는 아직 드러나지 않은 시스템의 상태가 접혀 있다.

우리는 시퀀스를 시간의 흐름으로 경험한다. 그러나 그 흐름을 가능하게 하는 것은 매 순간의 뒤에 놓인 거대한 분포다. 한 칸 앞의 예측은 한 칸 앞만을 향하지 않는다. 그것은 전체 미래의 그림자를 현재의 표면 위에 잠시 드러낸다.

LLM이 다음 단어를 예측한다는 말은 그래서 예전보다 조금 다르게 들린다. 그것은 단지 단어 맞히기 게임이 아니다. 그것은 가능한 문장들의 공간을 압축해, 매 순간 하나의 분포로 꺼내는 일이다. 그리고 이 생각을 언어 밖으로 확장하면, 예측이란 결국 모든 연속적 세계를 다루는 하나의 방식이 된다.

우리는 다음 순간을 예측한다고 말하지만, 사실 모델이 배우는 것은 다음 순간 그 자체가 아니다. 모델이 배우는 것은 다음 순간에 접혀 있는 세계의 구조다. 다음 순간의 표면 아래에는, 아직 펼쳐지지 않은 전체 맥락이 숨어 있다.