대학원 일기

옵티마이저 손실함수를 기반으로 모델이 어떻게 업데이트되어야 하는지 결정 케라스에서 여러 옵티마이저를 제공하고, 사용자가 특정 종류의 확률적 경사 하강법 지정 가능 keras.optimizer.SGD() : 기본적인 확률적 경사 하강법 keras.optimizer.Adam() : 자주 사용되는 옵티마이저 보통 옵티마이저의 튜닝을 위해 따로 객체를 생성하여 컴파일시에 포함 경사하강법 미분과 기울기로 동작하며, 스칼라를 벡터로 미분 변화가 있는 지점에서는 미분값이 존재하고, 변화가 없는 지점은 미분값이 0이 되며, 미분값이 클수록 변화량이 큼 경사하강법의 과정은 한 스텝마다의 미분값에 따라 이동하는 방향을 결정, f(x)의 값이 변하지 않을때까지 반복 기울기가 0이지만 극값이 되지 않는 안장점(saddle p..

경사하강법(Gradient descent)경사하강법 기반의 선형회귀 알고리즘선형회귀 계수 구하기  선형회귀의 목적식은 $\left\| y-X\beta\right\|_{2}$이다. 이는 주어진 데이터에 대한 정답에 해당하는 $y$, 학습 데이터 $X$행렬에 가중치 $\beta$를 곱하여 두 벡터 값의 차이의 $L_{2} norm$을 최소화하는 가중치를 찾는 것이다.$\beta$ 값을 최소화하기 위해서는 경사하강법 알고리즘을 적용하여 주어진 목적식을 $\beta$로 미분하고, 주어진 $\beta$에서 미분값을 빼주게 되면 최소값을 구할 수 있다.목적식을 최소화하는 $\beta$를 구하는 경사하강법 알고리즘은 다음과 같다.- 경사하강법 알고리즘은 loop를 통해 최적화하는 것이므로 적절한 학습률(learnin..

경사하강법(Gradient descent)미분의 개념과 그래디언트 벡터에 대해 설명합니다.경사하강법의 알고리즘과 실제 코드에서의 구현을 보여줍니다. 접선의 기울기를 이용해서 함수의 최솟값으로 점을 이동시키는 원리를 알면 이를 바탕으로 경사하강법의 알고리즘과 수식을 이해할 수 있습니다.특히 변수가 벡터인 경우, 편미분을 통해서 구한 그래디언트 벡터를 통해 d-차원으로 경사하강법을 확장할 수 있다는 개념을 확실하게 잡고 가시기 바랍니다. 미분(differentiation)이란?미분(differentiation)- 미분(differentiation)은 변수의 움직임에 따른 함수값의 변화를 측정하기 위한 도구로 최적화에서 가장 많이 사용되는 기법이다.- 파이썬 sympy.diff로 미분 계산이 가능하다. 접선의..