공간에 대한 생각
우리는 공간을 당연하게 받아들인다. 인간은 공간 안에 있고, 물체도 공간 안에 있으며, 기억조차 머릿속 어딘가에 저장되어 있다고 말한다. 공간은 모든 것이 놓이는 배경처럼 보인다.
그런데 만약 공간이 먼저 있고 그 안에 사물이 담기는 것이 아니라, 관계를 효율적으로 표현하는 과정에서 공간이라는 형식이 뒤따라 나타난 것이라면 어떨까?
LLM은 텍스트를 그대로 저장하지 않고 단어와 문장을 수백에서 수천 차원의 벡터로 바꾼다. 의미가 비슷한 단어는 가까이, 다른 단어는 멀리 놓이고, 왕과 여왕, 서울과 부산은 일정한 거리와 방향으로 묶인다. 다음 단어의 확률 분포를 예측하라는 목표 하나만으로, 언어를 의미적으로 조직하는 공간이 모델 내부에 창발한다.
대상이 N개 있고 그 사이의 모든 관계를 낱낱이 저장하려면 그 관계의 양은 N²에 비례한다. 그러나 각 대상에게 좌표 하나씩만 주고 관계를 거리로 표현하면 저장량은 N에 비례하는 수준으로 줄어든다. 좌표만 있으면 거리, 방향, 군집, 이웃 관계가 기하학으로 한꺼번에 따라 나오기 때문이다. 이것이 공간이 하는 일의 본질이다. 공간은 배경이 아니라, 수많은 관계를 작게 표현되는 위치로 접어넣는 압축 장치다.
이 압축은 공짜가 아니다. 수학적으로는 관계가 애초에 낮은 차원의 기하 구조에서 생성된 것일 때에만 좌표로 접었을 때 효율적이다. 관계가 무작위라면 좌표를 아무리 붙여도 아무것도 줄지 않는다. 그러므로 임베딩이 작동한다는 사실은 그 자체로 하나의 발견이다. 언어라는 데이터가 실제로 낮은 차원의 규칙성을 품고 있다는 뜻이기 때문이다. 이 성질을 기계학습에서는 다양체 가설(manifold hypothesis)이라고 부른다. 복잡해 보이는 데이터가 실은 훨씬 낮은 차원의 곡면 위에 얹혀 있다는 관찰이다.
유사한 형식이 뇌에서도 나타난다. 인지신경과학은 사회적 관계나 추상적 개념처럼 물리적 위치가 없는 대상조차 해마와 내후각피질에서 공간적 구조로 다뤄진다는 것을 보여준다. 물리적 길을 찾을 때 발화하던 세포들이 개념들 사이의 거리를 다룰 때에도 비슷하게 활동한다. 이 공간 기전은 먹이를 찾고 둥지로 돌아오는 항행을 위해 먼저 생겼고, 나중에 추상적 관계를 다루는 것으로 전용(exaptation)된 것으로 보인다. 공간을 해석하기 위해 진화한 뇌 속의 공간 도구를 그 도구의 형태에 들어맞는 관계에까지 확장한 것이다.
그 도구의 형태에 들어맞는단 표현은 공간의 쓸모와 한계를 동시에 보여준다. 거리라는 것은 대칭적이고, 삼각부등식을 지키며(해당 공간 안에서 삼각형을 그렸을 때 어느 변도 나머지 두 변의 길이보다는 작음), 연속적이다. 이런 성질을 가진 관계는 공간에 자연스럽게 속하지만, 그 성질을 벗어나는 관계는 공간에 잘 들어맞지 않는다. 대표적으로 트리 구조가 있다. 트리를 평평한 유클리드 공간에 넣으면 거리가 왜곡되어서, 최근에는 트리 구조를 곡률이 음수인 쌍곡공간(hyperbolic space)에 넣는다. 유클리드 공간이 실패하는 곳에서 다른 기하가 성공한다는 사실은, 공간이 만능이 아니라 관계의 성질에 맞춰 고르는 도구임을 보여준다. 또한, 짝사랑처럼 반대로 뒤집으면 성립하지 않는 비대칭 관계나 논리적 함의는 대칭적인 거리로 표현할 수 없다. 그러므로 거리와 근방과 연속성을 지닌 부류의 관계에 한해, 공간이 나타난다고 할 수 있다.
이러한 한계점에도 불구하고, 공간의 관점에서 보았을 때 서로 다른 세 분야가 하나의 휴리스틱으로 겹쳐진다. 인공지능은 의미를 공간으로 압축하고, 뇌는 개념을 공간으로 조직하며, 일부 현대 물리학은 시공간 자체가 더 근본적인 정보 구조에서 창발한다고 본다. 모두 공간이라는 공통된 표현 방식에서 출발한다. 이 세 가지 개념이 완전히 같은 것이라 볼 수는 없으나, 무언가 그 사이를 관통하는 원리가 있는 것 같은 묘한 느낌이 든다.
찾아보니 이런 생각이 철학계에서는 완전히 새로운 것은 아니었다. 라이프니츠는 공간을 사물을 담는 그릇이 아니라 사물들 사이의 관계 그 자체로 보았고, 칸트는 공간을 세계의 성질이 아니라 우리가 세계를 받아들이는 직관의 형식이라 불렀다. 그럼에도 철학이 아닌 다양한 분야에서 공간의 공통된 특성이 나타나는 것은 매우 흥미롭게 느껴진다.
우리는 공간 속에서 진화한 동물이고, 우리의 수학과 직관은 뿌리부터 공간적이다. 공간이 세상을 구성하는 것 같은 관찰은 세계의 성질일 수도, 관찰자인 우리의 성질일 수도 있다. 우리는 공간으로 표현하기 좋은 세계에 사는 걸까? 혹은 우리가 세계를 그렇게밖에 해석하지 못하는 걸까? 궁금해진다.
Okdalto
Comments