대학원 일기

통계학 통계적모델링 통계적 모델링은 적절한 가정 위에서 확률분포를 추정(inference)하는 것이 목표이며, 기계학습(ML)과 통계학이 공통적으로 추구하는 목표이다. 그러나, 유한한 개수의 데이터만 관찰해서 모집단의 분포를 정확하게 알아낸다는 것은 불가능 하므로, 근사적으로 확률분포를 추정할 수 밖에 없다. - 데이터가 특정 확률분포를 따른다고 선험적으로(a priori) 가정한 후 그 분포를 결정하는 모수(parameter)를 추정하는 방법을 모수적(parametric) 방법론이라고 한다 - 특정 확률분포를 가정하지 않고 데이터에 따라 모델의 구조 및 모수의 개수가 유연하게 바뀌면 비모수(nonparametric) 방법론이라고 한다. 기계학습의 방법론은 대부분 비모수 방법론에 속한다. 비모수 방법론은..

확률론 - 딥러닝은 확률론 기반의 기계학습 이론에 바탕을 두고 있다. - 기계학습에서 사용되는 손실함수(loss function)들의 작동원리는 데이터 공간을 통계적으로 해석해서 유도하게 된다. (예측이 틀릴 위험(risk)을 최소화하도록 데이터를 학습하는 원리 = 통계적 기계학습의 기본 원리) - 회귀(regression) 분석에서 손실 함수로 사용되는 $L_{2}$-$norm$은 예측 오차(loss)의 분산을 가장 최소화하는 방향으로 학습하도록 유도한다. - 분류(classification) 문제에서 사용되는 교차 엔트로피(cross-entropy)는 모델 예측의 불확실성을 최소화하는 방향으로 학습하도록 유도한다. 확률분포 - 데이터를 해석하는데 있어서 중요한 도구 - 데이터공간을 $x\times y..