word2vec이 실제로 무엇을 배우는가?

word2vec은 단어를 밀집 벡터(dense vector)로 표현하는 대표적인 임베딩 알고리즘으로, 현대 대규모 언어모델(LLM)의 직접적인 전신입니다. 이번 연구는 word2vec의 학습 과정을 수학적으로 완전히 풀어냈다는 점에서 의미가 큽니다. 핵심 발견은 word2vec이 학습 시 임베딩 벡터를 원점 근처의 작은 초기값에서 시작하여 한 번에 하나의 '개념'(직교 선형 부분공간)을 순차적으로 학습한다는 것입니다. 각 학습 단계에서 임베딩 행렬의 랭크가 1씩 증가하며, 이는 단어 동시출현 확률과 유니그램 확률로 정의되는 특정 타겟 행렬 M*의 고유벡터(eigenvector)를 순서대로 찾아가는 과정, 즉 PCA(주성분 분석)와 본질적으로 동일합니다. 위키피디아 코퍼스로 이 행렬을 구성하면 첫 번째 고유벡터는 유명인 전기, 두 번째는 정부·행정, 세 번째는 지리 관련 단어군을 포착하는 식으로 해석 가능한 토픽 수준의 개념이 나타납니다.

이 연구가 특히 주목할 만한 이유는 데이터 분포에 대한 가정 없이(distribution-agnostic) 학습 동역학을 닫힌 형태(closed-form)로 풀어냈다는 점입니다. 기존에는 특정 분포를 가정해야만 이론적 분석이 가능했지만, 이 이론은 실제 코퍼스 통계와 알고리즘 하이퍼파라미터만으로 어떤 피처가 학습될지 사전에 예측할 수 있습니다. 적용된 근사 조건들—목적 함수의 4차 근사, 하이퍼파라미터 제약, 작은 초기 가중치, 미소 학습률—은 원래 word2vec 논문의 설정과 유사하며, 실험적으로도 원본 word2vec 대비 유사도 벤치마크에서 68% 대 66%의 근접한 성능을 보여 이론의 실용적 유효성을 입증했습니다. 또한 남성/여성, 과거/미래 같은 이진 개념의 선형 표현이 학습 중 어떻게 출현하는지를 스파이크 랜덤 행렬 모델로 설명하며, 학습 후반부에 노이즈가 지배적이 되면 선형 표현의 해상도가 저하될 수 있다는 실질적 통찰도 제공합니다.

개발자와 엔지니어에게 이 연구의 실질적 함의는 크게 세 가지입니다. 첫째, LLM 내부의 '선형 표현 가설(linear representation hypothesis)'—모델 내부 잠재 공간에서 선형 방향이 해석 가능한 개념을 인코딩한다는 가설—에 대한 이론적 기반을 제공합니다. 이는 모델 해석성(interpretability)과 스티어링(steering) 기법의 원리를 이해하는 데 직접적으로 도움이 됩니다. 둘째, 임베딩 품질이 학습 과정 중 특정 시점 이후 오히려 저하될 수 있다는 발견은 실무에서 임베딩 모델의 학습 시점 선택(early stopping)과 하이퍼파라미터 튜닝에 구체적 지침을 줍니다. 셋째, word2vec의 학습이 본질적으로 PCA라는 결론은 대규모 어휘에 대해 SVD 기반 방법으로 동등한 임베딩을 더 효율적으로 얻을 수 있는 가능성을 시사합니다.

NLP 파이프라인에서 임베딩을 활용하는 개발자라면 이 연구를 계기로 몇 가지를 점검해볼 필요가 있습니다. 자체 코퍼스로 word2vec을 학습할 때 타겟 행렬 M*를 직접 구성·분석하여 어떤 개념이 포착될지 사전에 파악하고, 불필요한 학습 반복을 줄일 수 있습니다. 또한 학습 후반부의 노이즈 축적 문제를 인지하고, 임베딩 차원 수와 학습 에폭을 과도하게 늘리기보다 적절한 랭크에서 중단하는 전략을 고려해야 합니다. 더 넓게 보면, 이 연구는 LLM의 내부 표현을 분석하고 디버깅하는 기계적 해석성(mechanistic interpretability) 분야의 기초 이론으로서, AI 시스템의 신뢰성과 안전성을 설계하는 데 관심 있는 엔지니어라면 반드시 이해해둘 가치가 있는 결과입니다.