[번외] 강화학습을 위한 기초 수학 - Expectation

이전 글에서 Value Function을 다루며 이런 말을 했습니다.

 

"가치 함수는 현재 상태로부터 미래에 받을 수 있는 보상의 총합, 정확히는 총합의 기댓값입니다."

 

사실 저도 처음 공부할 때 '그냥 보상을 다 더하면 되지, 왜 굳이 기댓값이라는 표현을 쓸까?' 하는 의문이 들었습니다. 우리가 흔히 아는 '평균'과 뭐가 다른지 모호하게 느껴지기도 했고요. 근데 기댓값이라는 개념은 강화학습의 수식을 이해하는 데 있어 생각보다 중요한 역할을 하더라구요. 그래서 기댓값의 개념부터 조금 심화?까진 아닌거 같긴한데 무튼 응용된 개념까지 설명해보려 합니다.

1. 기댓값(Expectation)

기댓값은 어떤 확률적인 일을 무한히 반복했을 때 결과의 평균이 수렴하는 값이며 \(\mathbb{E}[X]\)로 표기합니다.

예시: 주사위 확률

주사위 눈	경우의 수	확률 (분수)
1	1	1/6
2	1	1/6
3	1	1/6
4	1	1/6
5	1	1/6
6	1	1/6

주사위를 한 번 던지면 1~6중 하나의 값이 나오며 그 확률은 위 표와 같습니다. 이 주사위를 6번 던졌을 때의 산술 평균이 몇이 나올지는 아무도 예측할 수 없습니다. 그러나 이 주사위를 무한번 던질 경우 값의 평균은 3.5에 근접해지는것은 알 수 있으며 이때 3.5가 바로 주사위의 기댓값 입니다.

 

일반적인 정의는 이산 확률 변수 \(X\)가 값 \(x_1, x_2 \dots\)를 각각 확률 \(P(X = x_i)\)로 가질 때 아래의 식과 같이 정의됩니다.

 

\(\mathbb{E}[X] = \sum_{i} x_i \cdot P(X = x_i)\)

 

각 결과값에 그 결과가 발생할 확률을 곱해서 모두 더하는 것입니다. 주사위의 경우 각 눈이 나올 확률이 모두 1/6으로 동일하여 아래와 같은 식이 나옵니다.

 

\(\mathbb{E}[X] = \sum_{x} x \cdot P(X = x) = 1 \cdot \frac{1}{6} + 2 \cdot \frac{1}{6} + 3 \cdot \frac{1}{6} + 4 \cdot \frac{1}{6} + 5 \cdot \frac{1}{6} + 6 \cdot \frac{1}{6} = 3.5\)

 

확률이 균등하지 않아도 같은 방식으로 계산합니다.

기댓값과 평균은 같은가?

위의 글만 봤을때 그냥 산술 평균과 다른점이 있는가? 라는 의문이 생깁니다. 결론은 둘은 다릅니다.

평균(mean)은 이미 관측된 데이터로 계산되기 때문에 주사위를 던질때 마다 동적으로 평균의 값은 변합니다.
그러나 기댓값(Expectation)은 확률 분포로부터 계산되기에 주사위를 몇번을 던져도 각 주사위의 값이 1/6 확률로 나오는것을 알기에 기댓값 3.5라는 값은 변하지 않습니다.

 

결국 둘의 관계는 아래와 같이 정의할 수 있습니다.

시행 횟수를 무한히 늘리면, 평균은 기댓값에 수렴한다. (큰 수의 법칙)

 

주사위를 10번 던진 평균은 3.5와 꽤 차이가 날 수 있지만, 10만 번 던지면 3.5에 매우 가까워집니다. 기댓값은 이 수렴의 목적지이고, 평균은 유한한 시행에서 얻는 근사치입니다.

강화학습에서 이 구분이 중요한 이유는, 가치 함수가 기댓값(이론적 참값)으로 정의되지만, 실제로는 에피소드를 여러 번 경험하며 얻은 평균(샘플 기반 추정)으로 근사하기 때문입니다. Monte Carlo 방법이 대표적인 예입니다.

예시 문제

아래 그림과 나의 현재 상태인 14번 칸에서 오른쪽으로 이동을 하려고할 때 나의 다음 상태는 아래와 같습니다.

상황 설명	다음 상태	확률 (분수)	보상
오른쪽으로 이동 성공	15	1/3	1
미끄러져서 위로 이동	10	1/3	0
제자리 이동	14	1/3	0

이 때 14번 칸에서 오른쪽으로 이동하려 할 때 내가 받을 수 있는 보상의 기대값은?

 

\(\mathbb{E}[R] = 1 \cdot \frac{1}{3} + 0 \cdot \frac{1}{3} + 0 \cdot \frac{1}{3} = \frac{1}{3} \approx 0.333\)

 

14번 칸에서 Right를 선택하면 평균적으로 약 0.333의 즉각 보상을 기대할 수 있습니다.

2. 조건부 기댓값

조건부 기댓값은 이름 그대로 기댓값인데 특정 조건에서 기댓값을 의미합니다.

 

\(\mathbb{E}[X] = \sum_{i} x_i \cdot P(X = x_i)\)

 

다음과 같은 기댓값이 있을때 조건부 기댓값은 아래와 같이 표기됩니다.

 

\(E[X \mid Y = y] = \sum_{x} x \; P(X = x \mid Y = y)\)

 

위의 주사위의 기댓값이 3.5라는것을 구하였었는데 만약 조건이 \(y\) = "짝수일 때"의 조건이 붙는다면 짝수일 때 주사위의 기댓값은 4라는것을 다음과 같이 계산할 수 있습니다.

 

\(E[X \mid Y = \text{짝수}] = \frac{2 + 4 + 6}{3} = 4\)

3. 전체 기댓값의 법칙

사실 위의 두 기댓값은 전체 기댓값의 법칙을 설명하기 위한 빅피처 였습니다. 개념은 간단하지만 수식이 좀 이해하기 힘든데 최대한 이해하기 쉽게 증명과 더불어 예시로 설명하겠습니다. 우선 전체 기댓값의 법칙 개념은 모든 조건부 기댓값들에 대한 기댓값입니다. 위에서 짝수일 때 주사위의 기댓값은 4인걸 구했습니다. 마찬가지로 홀수일 때를 구하면 3이 나옵니다 그럼 홀수일 때와 짝수일 때의 기댓값은 3.5가 나오는데 이 3.5는 결국 주사위의 기댓값입니다. 이게 전체 기댓값의 법칙에 전부입니다.

 

\(E[X \mid Y = \text{짝수}] = \frac{2 + 4 + 6}{3} = 4\)

\(E[X \mid Y = \text{홀수}] = \frac{1 + 3 + 5}{3} = 3\)

 

\(\mathbb{E}[X] = \frac{E[X \mid Y = \text{짝수}] + E[X \mid Y = \text{홀수}]}{2} = \frac{4 + 3}{2} = 3.5\)

 

위의 예시를 수식으로 정리하면 아래와 같습니다.

 

\(E\big[E[X \mid Y]\big] = E[X]\)

수학적 증명

기댓값: \(E[Z] = \sum_{z} z \cdot P(Z = z)\)

 

여기서 \(Z = E[X \mid Y]\)로 놓으면, \(Z\)의 값은 \(Y\)의 각 값에 의해 결정되므로

 

\(E\big[E[X \mid Y]\big] = \sum_{y} E[X \mid Y = y] \cdot P(Y = y)\)

 

여기서 \(E[X \mid Y = y]\) 조건부 기댓값이므로 아래와 같이 전개 가능

 

\(= \sum_{y} \left( \sum_{x} x \; P(X = x \mid Y = y) \right) P(Y = y)\)

 

\(= \sum_{y} \sum_{x} x \; P(X = x \mid Y = y) \; P(Y = y)\)

 

여기서 \(P(X = x \mid Y = y)\)는 조건부 확률에 의해 다음과 같이 정의할 수 있습니다. \(P(X = x \mid Y = y) = \frac{P(X = x, Y = y)}{P(Y = y)}\) 그러므로

 

\(= \sum_{y} \sum_{x} x \; P(X = x, Y = y)\)

 

\(= \sum_{x} x \sum_{y} P(X = x, Y = y)\)

 

여기서 주변확률에 의해 \(\sum_{y} P(X = x, Y = y)\)에서 \(y\)에 대해 모두 더하면 \(Y = 1\)이기 되기에 결국 \(\sum_{y} P(X = x, Y = y) = P(X=x)\)가 성립됩니다.

 

\(= \sum_{x} x \; P(X = x) = E[X]\)가 되면서 \(E\big[E[X \mid Y]\big] = E[X]\)가 성립함이 증명가능합니다.