확률론

확률론

- 딥러닝은 확률론 기반의 기계학습 이론에 바탕을 두고 있다.

- 기계학습에서 사용되는 손실함수(loss function)들의 작동원리는 데이터 공간을 통계적으로 해석해서 유도하게 된다.

(예측이 틀릴 위험(risk)을 최소화하도록 데이터를 학습하는 원리 = 통계적 기계학습의 기본 원리)

- 회귀(regression) 분석에서 손실 함수로 사용되는 $L_{2}$-$norm$은 예측 오차(loss)의 분산을 가장 최소화하는 방향으로 학습하도록 유도한다.

- 분류(classification) 문제에서 사용되는 교차 엔트로피(cross-entropy)는 모델 예측의 불확실성을 최소화하는 방향으로 학습하도록 유도한다.

 

확률분포

- 데이터를 해석하는데 있어서 중요한 도구

- 데이터공간을 $x\times y$라 표기하고 $D$는 데이터 공간에서 데이터를 추출하는 분포이다.

- 데이터는 확률변수로 $(x, y)$~$D$라표기

 

이산확률변수(discrete)

- 이산형 확률변수는 확률변수가 가질 수 있는 경우의 수를 모두 고려하여 확률을 더해서 모델링한다.

P(X = x)는 확률변수가 x 값을 가질 확률을 의미

 

연속확률변수(continuous)

- 연속형 확률변수는 데이터 공간에 정의된 확률 변수의 밀도(density) 위에서의 적분을 통해 모델링한다.

 

확률분포의 모델링

- 결합분포 $P(x,y)$는 $D$를 모델링한다.

- $P(x)$는 입력 $x$에 대한 주변확률분포이고, $y$에 대한 정보는 주지 않는다.

- 조건부확률분포 $P(x|y)$는 데이터 공간에서 입력 $x$와 출력 $y$ 사이의 관계를 모델링(or 예측)한다.

(조건부확률분포 $P(x|y)$는 특정 클래스가 주어진 조건에서 데이터의 확률 분포를 보여줌)

 

조건부확률과 기계학습

위와 달리 조건부확률 $P(y|x)$는 입력변수 $x$에 대해 정답이 $y$일 확률을 의미한다.

(연속확률분포의 경우 $P(y|x)$는 확률이 아니고 밀도로 해석함)

- 로지스틱 회귀(logistic regression)에서 사용하는 선형모델(linear model)과 소프트맥스(softmax) 함수의 결합은 데이터에서 추출된 패턴을 기반으로 확률을 해석하는데 사용된다.

- 분류(classification) 문제에서 $softmax(W\Phi + b)$는 데이터 $x$로부터 추출된 특징 패턴 $\Phi(x)$과 가중치 행렬 $W$을 통해 조건부확률$P(y|x)$을 계산한다.

- 회귀(regression) 문제의 경우 조건부 기대값 $\mathbb{E}[y|x]$을 추정한다.

 

기대값(평균, expectation, mean)

- 확률분포가 주어지면 데이터를 분석하는데 사용 가능한 여러 종류의 통계적 범함수(statisticalfunctional)를 계산할 수 있다.

- 기대값(expectation)은 데이터를 대표하는 통계량이면서 동시에 확률분포를 통해 다른 통계적 범함수를 계산하는데 사용된다.

연속확률분포일 경우에는 적분, 이산확률분포일 경우에는 급수를 사용함

- 기대값을 이용해 분산(variance), 첨도(kurtosis), 공분산(covariance) 등 여러 통계량을 계산할 수 있다.

 

몬테카를로(MonteCarlo) 샘플링 

- 기계학습의 많은 문제들은 확률분포를 명시적으로 모를 때가 대부분이다.

- 확률분포를 모를 때 데이터를 이용하여 기대값을 계산하려면 몬테카를로(MonteCarlo) 샘플링 방법을 사용해야 한다.

몬테카를로는 이산형이든 연속형이든 상관없이 성립한다.

- 몬테카를로 샘플링은 독립추출만 보장된다면 대수의 법칙(lawoflarge number)에 의해 수렴성을 보장한다.