대학원 일기

경사하강법(Gradient descent)경사하강법 기반의 선형회귀 알고리즘선형회귀 계수 구하기  선형회귀의 목적식은 $\left\| y-X\beta\right\|_{2}$이다. 이는 주어진 데이터에 대한 정답에 해당하는 $y$, 학습 데이터 $X$행렬에 가중치 $\beta$를 곱하여 두 벡터 값의 차이의 $L_{2} norm$을 최소화하는 가중치를 찾는 것이다.$\beta$ 값을 최소화하기 위해서는 경사하강법 알고리즘을 적용하여 주어진 목적식을 $\beta$로 미분하고, 주어진 $\beta$에서 미분값을 빼주게 되면 최소값을 구할 수 있다.목적식을 최소화하는 $\beta$를 구하는 경사하강법 알고리즘은 다음과 같다.- 경사하강법 알고리즘은 loop를 통해 최적화하는 것이므로 적절한 학습률(learnin..