대학원 일기

옵티마이저 손실함수를 기반으로 모델이 어떻게 업데이트되어야 하는지 결정 케라스에서 여러 옵티마이저를 제공하고, 사용자가 특정 종류의 확률적 경사 하강법 지정 가능 keras.optimizer.SGD() : 기본적인 확률적 경사 하강법 keras.optimizer.Adam() : 자주 사용되는 옵티마이저 보통 옵티마이저의 튜닝을 위해 따로 객체를 생성하여 컴파일시에 포함 경사하강법 미분과 기울기로 동작하며, 스칼라를 벡터로 미분 변화가 있는 지점에서는 미분값이 존재하고, 변화가 없는 지점은 미분값이 0이 되며, 미분값이 클수록 변화량이 큼 경사하강법의 과정은 한 스텝마다의 미분값에 따라 이동하는 방향을 결정, f(x)의 값이 변하지 않을때까지 반복 기울기가 0이지만 극값이 되지 않는 안장점(saddle p..