상대의 수를 읽는 수학적 직관: 게임 이론의 구조와 전략적 선택의 본질

4월 18, 2026

Mathematical Structure Vol. 40

상대의 수를 읽는 수학적 직관:
게임 이론의 구조와 전략적 선택의 본질

"선생님, 친구랑 가위바위보를 할 때나 보드게임을 할 때, 무조건 이기는 공식 같은 게 있을까요?"

아이들의 이 귀여운 승부욕은 현대 경제학과 사회과학의 근간인 게임 이론(Game Theory)으로 이어집니다. 10년 차 몬이 샘은 아이들에게 늘 말합니다. 수학은 단순히 숫자를 계산하는 게 아니라, 상대방의 마음과 나의 선택이 만나는 지점에서 최선의 길을 찾는 '지혜의 지도'라고요. 오늘은 나만의 이익이 아닌, 타인과의 상호작용 속에서 탄생하는 전략적 질서의 구조를 파헤쳐 보겠습니다.

01 죄수의 딜레마: 개인의 합리성이 집단의 비극이 되는 구조

게임 이론을 설명할 때 가장 먼저 등장하는 고전이 바로 '죄수의 딜레마(Prisoner's Dilemma)'입니다. 두 명의 공범이 서로 의사소통할 수 없는 상태에서 자백하느냐, 침묵하느냐를 결정해야 하는 상황이죠.

수학적 구조에서 놀라운 점은, 각자가 자신의 이익만을 따지는 '지극히 합리적인 선택'을 했을 때, 결과적으로는 둘 다 최악의 상황에 빠지게 된다는 것입니다. 서로를 믿고 협력했다면 얻었을 최선의 결과(파레토 최적)를 놓치게 되는 이 구조는 사회 곳곳의 갈등을 설명하는 강력한 도구가 됩니다.

[보상 행렬(Payoff Matrix)의 구조 예시]

나 \ 상대	협력 (침묵)	배반 (자백)
협력 (침묵)	(3, 3)	(0, 5)
배반 (자백)	(5, 0)	(1, 1)

(결국 양쪽 다 배반을 선택하는 '우월 전략'의 평형에 도달합니다)

10년 차 교사로서 저는 아이들에게 이를 '신뢰의 경제학'이라고 가르칩니다. 수학은 우리가 왜 때때로 어리석은 선택을 하는지, 그리고 협력을 이끌어내기 위해 어떤 '제도적 구조'가 필요한지를 보여주기 때문입니다.

02 내슈 평형(Nash Equilibrium): 누구도 선택을 바꿀 이유가 없는 평형점

영화 '뷰티풀 마인드'의 주인공 존 내슈가 정립한 내슈 평형(Nash Equilibrium)은 게임 이론의 정점입니다. 이는 상대방의 전략이 주어졌을 때, 어느 누구도 자신의 전략을 수정함으로써 이득을 볼 수 없는 상태를 말합니다.

내슈 평형의 구조적 위대함은 아무리 복잡한 다수 간의 게임이라도, 특정 조건 하에서는 반드시 하나 이상의 평형점이 존재한다는 것을 증명했다는 데 있습니다. 이는 사회적 합의나 시장의 가격 형성, 심지어 국제 정세의 냉전 상태까지 설명하는 강력한 수학적 근거가 됩니다.

아이들에게 학교 급식 시간에 줄을 서는 규칙이나 교실 내의 보이지 않는 질서가 어떻게 유지되는지 설명할 때 이 내슈 평형을 예로 듭니다. 각자가 최선을 다해 자신의 위치를 지키는 것이 결국 전체의 안정적인(비록 그것이 최선은 아닐지라도) 상태를 만든다는 것이죠.

03 게임 이론의 확장: 비즈니스 전쟁터와 진화의 설계도

게임 이론은 단순한 놀이를 넘어 현대 비즈니스 전략의 핵심입니다. 기업들이 가격 인하 경쟁을 벌이거나 광고비를 쏟아붓는 행위 뒤에는 정교한 게임 이론적 계산이 깔려 있습니다.

진화 생물학: 동물들이 왜 싸우지 않고 위협만 하는지, 왜 이타적인 행동이 유전되는지를 '진화적으로 안정한 전략(ESS)'으로 설명합니다.
경매 이론: 구글의 키워드 광고 낙찰 방식이나 국가의 주파수 경매 방식이 모두 게임 이론의 구조를 따릅니다.
정치학: 선거 전략이나 외교 정책에서의 핵 억지력 이론 등이 게임 이론적 모델링을 기반으로 합니다.

이 모든 분야의 공통점은 '나의 선택이 상대에게 영향을 주고, 상대의 선택이 나에게 영향을 준다'는 상호의존성입니다. 이 복잡한 그물망을 수학이라는 칼로 분석해내는 것이 게임 이론의 매력입니다.

[심화] 인공지능과 알고리즘 트레이딩에 녹아든 게임 이론

오늘날의 금융 시장에서는 인간보다 더 빠르게 게임 이론을 적용하는 알고리즘들이 싸우고 있습니다. 고빈도 매매(HFT) 시스템은 수밀리초 단위로 다른 알고리즘들의 패턴을 분석하고 내슈 평형을 찾아 자신의 주문을 조절합니다.

또한 구글의 알파고(AlphaGo)나 포커 AI인 리브라투스(Libratus) 역시 게임 이론적 최적화를 통해 승리 확률을 극대화합니다. 수학적 구조를 이해하는 기계가 인간의 직관을 넘어서는 지점, 그 최전선에는 항상 게임 이론이 자리 잡고 있습니다. 이는 우리가 왜 이 학문을 깊이 있게 배워야 하는지에 대한 가장 강력한 답변이 될 것입니다.

4. 궁금증 해결! 게임 이론 자주 묻는 질문(FAQ)

Q1. 게임 이론은 무조건 이기는 법을 가르쳐주나요?

A. 아니요! 게임 이론은 '무조건 승리'가 아니라 '주어진 상황에서의 최선(평형)'을 찾는 법을 가르쳐줍니다. 때로는 승리보다 손해를 최소화하는 것이 더 중요한 전략일 수 있습니다.

Q2. 수학을 잘 못 해도 게임 이론적 사고를 할 수 있나요?

A. 물론입니다. 복잡한 수식보다는 '만약 내가 저 사람이라면?'이라는 입장을 바꾸어 생각하는 능력이 게임 이론의 80%를 차지합니다. 논리적 상상력이 가장 큰 무기입니다.

Q3. 몬이 샘이 추천하는 실생활 게임 이론 활용법은?

A. 누군가와 협상을 하거나 갈등이 생겼을 때, 서로의 보상 행렬을 머릿속으로 그려보세요. "우리가 협력했을 때의 보상이 배신했을 때보다 크게 만드는 방법은 없을까?"를 고민하는 순간, 당신은 이미 뛰어난 게임 이론가입니다.