무질서 속에 숨겨진 메시지: 엔트로피와 정보 이론의 수학적 구조

4월 21, 2026

Mathematical Structure Vol. 45

무질서 속에 숨겨진 메시지:
엔트로피와 정보 이론의 수학적 구조

"선생님, 우리가 보내는 카톡 메시지나 사진들이 어떻게 숫자로 바뀌어서 전송되는 건가요? 정보에도 무게나 양이 있나요?"

아이들의 이 기발한 질문은 현대 디지털 문명의 설계도인 정보 이론(Information Theory)으로 이어집니다. 10년 차 몬이 샘은 아이들에게 늘 말합니다. 수학은 단순히 숫자를 세는 도구가 아니라, 보이지 않는 지식의 가치를 '측정 가능한 양'으로 바꾸는 마법이라고요. 오늘은 무질서(엔트로피)를 통해 정보의 본질을 꿰뚫어 보는 경이로운 수학적 구조를 파헤쳐 보겠습니다.

01 정보의 정의: 놀라움이 클수록 가치도 커지는 구조

정보 이론의 창시자 클로드 섀넌(Claude Shannon)은 정보의 가치를 '놀라움의 정도(Surprisal)'로 정의했습니다. 뻔한 소식은 정보량이 적고, 예상치 못한 소식은 정보량이 많다는 뜻입니다.

예를 들어, "내일 태양이 동쪽에서 뜬다"는 말은 누구나 아는 사실이기에 정보량이 거의 0에 가깝습니다. 하지만 "내일 태양이 서쪽에서 뜬다"는 말은 엄청난 충격을 주며 높은 정보량을 가집니다. 수학적으로 정보량은 확률의 역수에 로그를 취한 값으로 정의됩니다.

[자기 정보량(Self-information) 공식]

$I(x) = \log_2 (1/P(x)) = -\log_2 P(x)$

(확률 $P(x)$가 낮을수록 정보량 $I(x)$는 커집니다)

10년 차 교사로서 저는 아이들에게 이를 '성적표'에 비유합니다. 늘 100점을 맞던 친구가 100점을 맞았다는 소식보다, 공부를 안 하던 친구가 100점을 맞았다는 소식이 더 큰 정보량(놀라움)을 주는 것과 같은 이치죠.

02 섀넌 엔트로피: 불확실성을 수치화하는 마법의 공식

개별 정보량을 넘어, 어떤 시스템이 전체적으로 얼마나 무질서한지(불확실한지)를 나타내는 척도가 바로 섀넌 엔트로피(Shannon Entropy)입니다. 엔트로피가 높다는 것은 그만큼 예측하기 어렵고 무작위성이 크다는 것을 의미합니다.

동전 던지기를 할 때 앞뒤 확률이 50:50인 상태가 엔트로피가 가장 높습니다. 어느 쪽이 나올지 가장 예측하기 힘들기 때문입니다. 반대로 한쪽 면만 나오는 가짜 동전은 엔트로피가 0입니다. 이 구조는 인공지능이 데이터를 분류할 때(의사결정 나무 등) 핵심 지표로 사용됩니다.

아이들에게 가르칠 때는 '방 정리' 비유를 씁니다. 물건이 아무데나 흩어져 있을수록(엔트로피 높음) 원하는 물건을 찾기 위해 더 많은 질문(정보량)이 필요한 것과 같습니다. 수학은 이 혼란스러운 상태를 정확히 '비트(Bit)'라는 단위로 측정해냅니다.

03 데이터 압축의 원리: 중복을 제거하는 수학적 다이어트

정보 이론의 가장 실용적인 결과물은 데이터 압축입니다. 우리가 쓰는 ZIP 파일이나 이미지 JPEG 포맷은 모두 엔트로피를 이용한 수학적 다이어트의 결과입니다.

중복 제거: 자주 나타나는 데이터에는 짧은 코드를 부여하고, 드물게 나타나는 데이터에는 긴 코드를 부여합니다. (허프만 코딩)
엔트로피 한계: 섀넌은 데이터를 손실 없이 압축할 수 있는 물리적 한계가 바로 엔트로피값임을 증명했습니다.
효율적 전송: 불필요한 정보를 걷어냄으로써 제한된 통신망에서도 고화질 영상을 끊김 없이 볼 수 있게 됩니다.

우리가 "안녕하세요"를 "안녕"이라고 줄여 말해도 의미가 통하는 것은 언어에 중복된 정보(Redundancy)가 많기 때문입니다. 수학적 구조를 알면 이 중복을 정확히 계산하여 0과 1의 세계를 최적화할 수 있습니다.

[심화] 블랙홀 엔트로피와 우주의 정보 보존 법칙

엔트로피는 통신을 넘어 현대 물리학의 끝판왕인 블랙홀 연구에서도 핵심입니다. 스티븐 호킹은 블랙홀이 빨아들인 물질의 정보가 사라지는 것처럼 보이지만, 사실 블랙홀의 표면적(엔트로피)에 정보가 기록된다는 사실을 발견했습니다.

이를 '홀로그래피 원리'라고 부르는데, 우리 우주 전체가 사실은 2차원 평면에 기록된 정보의 투영일 수도 있다는 놀라운 가설로 이어집니다. 디지털 세상의 비트(Bit) 개념이 우주 전체를 설명하는 근본 원리가 된 셈입니다. 수학적 구조는 이처럼 가장 작은 데이터에서 가장 거대한 우주까지 관통하고 있습니다.

4. 궁금증 해결! 정보 이론 자주 묻는 질문(FAQ)

Q1. 엔트로피는 과학 시간에 배운 '무질서도'와 같은 건가요?

A. 네, 본질적으로 같습니다! 열역학의 엔트로피가 에너지의 무질서를 다룬다면, 정보 엔트로피는 데이터의 무질서(불확실성)를 다룹니다. 통계 역학이라는 같은 뿌리에서 나온 형제 같은 개념입니다.

Q2. 비트(Bit)가 정확히 무슨 뜻인가요?

A. Binary Digit의 약자로, 정보 이론에서 정의하는 가장 작은 정보 단위입니다. 예/아니오 중 하나를 결정할 때 얻는 정보의 양이 1비트입니다.

Q3. 몬이 샘이 추천하는 정보 이론 공부법은?

A. '스무고개' 게임을 떠올려 보세요. 내가 질문 하나를 던질 때마다(1비트 소비) 정답의 범위가 얼마나 좁혀지는지(엔트로피 감소) 상상해보는 것이 최고의 공부법입니다.