데이터의 매듭을 푸는 기하학: 신경망과 매니폴드 가설의 수학적 구조

4월 20, 2026

Mathematical Structure Vol. 44

데이터의 매듭을 푸는 기하학:
신경망과 매니폴드 가설의 수학적 구조

"선생님, 인공지능이 사진을 보고 개인지 고양인지 맞추는 게 신기해요. 도대체 픽셀 숫자를 가지고 어떻게 그런 판단을 하나요?"

복잡한 데이터를 보며 머리 아파하는 학생에게 저는 구겨진 종이 뭉치를 보여주었습니다.

"얘들아, 사진 한 장은 수백만 개의 점으로 이루어진 고차원의 위치 정보란다. 하지만 그 점들이 아무렇게나 찍혀 있는 게 아니야. '개' 사진들은 그 넓은 공간 속에서도 아주 얇고 구불구불한 특정한 '곡면' 위에 모여 있지. 10년 동안 수학을 가르치며 깨달은 건, 인공지능이란 결국 이 구겨진 종이(데이터 곡면)를 부드럽게 펴서 칼로 깔끔하게 자를 수 있게 만드는 기하학적 예술이라는 사실이야. 오늘은 딥러닝이 어떻게 공간을 주무르는지 그 신비로운 구조를 알아보자."

01 매니폴드 가설: 무질서한 데이터 속 숨겨진 저차원의 곡면

현대 기계 학습의 가장 중요한 전제는 매니폴드 가설(Manifold Hypothesis)입니다. 고차원 공간에 존재하는 실제 데이터는 사실 매우 낮은 차원의 부분 공간인 '매니폴드' 근처에 집중되어 있다는 이론입니다.

예를 들어, $28 \times 28$ 픽셀의 숫자 이미지는 784차원 공간의 점이지만, 우리가 '숫자'라고 인식할 수 있는 점들은 그 공간의 대부분을 비워두고 아주 좁은 곡면 위에만 존재합니다. 신경망은 바로 이 매니폴드의 '좌표'를 찾아내는 지도 제작자와 같습니다.

[매니폴드 가설의 기하학적 구조]

High-Dimensional Data → Embedded Low-Dimensional Manifold

(복잡한 원본 데이터에서 핵심적인 '형태'를 추출합니다)

10년 차 교사로서 저는 아이들에게 이를 '구겨진 종이'에 비유합니다. 3차원 공간에 구겨져 있는 종이는 사실 펼치면 평평한 2차원이듯이, 데이터 역시 고차원에 복잡하게 얽혀있지만 그 본질은 더 단순한 구조를 가지고 있다는 것이죠.

02 레이어의 마법: 공간을 비틀고 늘리는 선형 및 비선형 변환

딥러닝의 각 층(Layer)은 데이터를 다음 공간으로 보낼 때 두 가지 수학적 변환을 가합니다. 선형 변환(가중치 곱)과 비선형 변환(활성화 함수)입니다.

선형 변환은 공간을 회전시키고, 늘리고, 찌그러뜨립니다. 하지만 평평한 것을 구부리지는 못합니다. 여기서 활성화 함수(ReLU, Sigmoid 등)가 등장합니다. 활성화 함수는 공간을 '접고 구부리는' 역할을 합니다. 이 단계가 있어야만 복잡하게 얽힌 데이터 곡면을 분리할 수 있습니다.

아이들에게 이를 가르칠 때 저는 '반죽' 비유를 즐겨 씁니다. 선형 변환이 반죽을 밀대로 미는 것이라면, 비선형 변환은 반죽을 접어서 새로운 층을 만드는 것과 같습니다. 이 과정을 수십 번 반복하면, 아무리 복잡하게 섞인 재료라도 결국 원하는 모양으로 분리해낼 수 있게 됩니다.

03 위상적 분류: 얽힌 실타래를 푸는 딥러닝의 기하학

신경망의 학습 과정은 기하학적으로 보면 위상적 변환(Homeomorphism)의 연속입니다. 딥러닝은 겹겹이 쌓인 레이어를 통해 원본 공간에서는 도저히 직선으로 나눌 수 없던 데이터들을, 마지막 출력층에 도달했을 때는 평면 하나로 슥 자를 수 있을 만큼 '매끈하게 펴진 공간'으로 변형합니다.

구조적 통찰: 우리가 딥러닝 모델을 '깊게(Deep)' 쌓는 이유는, 레이어가 많아질수록 공간을 더 정교하게 접고 펼 수 있는 기하학적 자유도가 높아지기 때문입니다. 이것이 바로 얕은 신경망이 해결하지 못하는 복잡한 문제를 딥러닝이 해결하는 구조적 비결입니다.

이것은 마치 엉망으로 꼬인 매듭을 아주 천천히 조심스럽게 풀어서 일직선으로 만드는 과정과 같습니다. 수학은 우리에게 이 매듭을 푸는 가장 효율적인 '손놀림'을 가르쳐줍니다.

[심화] 잠재 공간(Latent Space)과 생성형 AI의 기하학

최근 유행하는 ChatGPT나 Stable Diffusion 같은 생성형 AI의 핵심도 결국 이 기하학적 구조에 있습니다. 이들은 데이터를 단순히 분류하는 것을 넘어, 매니폴드 위의 한 점을 찾아내어 새로운 데이터를 '생성'합니다.

데이터가 모여 있는 매니폴드 위의 빈 공간을 수학적으로 채워 넣음으로써, 세상에 없던 고양이 사진이나 문장을 만들어내는 것이죠. 이를 가능하게 하는 것이 바로 잠재 공간(Latent Space)의 기하학입니다. 인공지능이 창의성을 발휘하는 지점조차 사실은 정교하게 설계된 수학적 곡면 위에서의 여행인 셈입니다.

4. 궁금증 해결! 신경망 수학 자주 묻는 질문(FAQ)

Q1. 수학을 잘 못 해도 딥러닝의 원리를 이해할 수 있나요?

A. 네! 복잡한 미분 수식보다 '공간을 변형한다'는 기하학적 직관이 훨씬 중요합니다. 공간을 접고 펴는 상상력만 있다면 누구나 인공지능의 핵심 원리에 다가갈 수 있습니다.

Q2. 활성화 함수는 왜 꼭 비선형이어야 하나요?

A. 선형 변환만으로는 아무리 층을 쌓아도 결국 하나의 커다란 선형 변환과 같아지기 때문입니다. 공간을 '구부려야' 비로소 복잡한 매듭(데이터)을 풀 수 있습니다.

Q3. 몬이 샘이 추천하는 AI 수학 공부법은?

A. 'TensorFlow Playground' 같은 시각화 도구를 사용해 보세요. 신경망이 어떻게 공간을 자르고 분류하는지 실시간으로 눈으로 확인하는 것이 백 번의 수식보다 강력합니다.