대학원 일기

손실 함수(Loss function) 손실 함수는 정답 레이블과 예측값과의 차이인 로스(loss)를 구하는 함수이다. 손실 함수를 부르는 명칭은 목적 함수(objective function), 에러 함수(error function) 등이 있다. 인공신경망의 목표는 정답 레이블과 예측값을 최소화하는 것이다. 손실 함수는 로스(loss)를 최소화하는 방향으로 가중치를 업데이트하며 진행된다. 이밖에도, 모델의 성능 평가나 과적합(over fitting)을 감지하는데 사용한다. 일반적으로 분류 문제에서 손실 함수는 크로스 엔트로피(cross-entropy, CE)를 사용하고, 회귀 문제에서는 평균 제곱 오차(mean sqeared error, MSE) 또는 평균 절대 오차(mean absolute error, ..

옵티마이저 손실함수를 기반으로 모델이 어떻게 업데이트되어야 하는지 결정 케라스에서 여러 옵티마이저를 제공하고, 사용자가 특정 종류의 확률적 경사 하강법 지정 가능 keras.optimizer.SGD() : 기본적인 확률적 경사 하강법 keras.optimizer.Adam() : 자주 사용되는 옵티마이저 보통 옵티마이저의 튜닝을 위해 따로 객체를 생성하여 컴파일시에 포함 경사하강법 미분과 기울기로 동작하며, 스칼라를 벡터로 미분 변화가 있는 지점에서는 미분값이 존재하고, 변화가 없는 지점은 미분값이 0이 되며, 미분값이 클수록 변화량이 큼 경사하강법의 과정은 한 스텝마다의 미분값에 따라 이동하는 방향을 결정, f(x)의 값이 변하지 않을때까지 반복 기울기가 0이지만 극값이 되지 않는 안장점(saddle p..

활성화 함수(Activation function) 활성화 함수는 인공 신경망의 노드에서 가중 합을 계산한 후, 그 결과를 출력으로 변환하는 함수이다. 활성화 함수는 인공신경망의 비선형성을 부여하며 이를 통해 다양한 패턴을 학습할 수 있다. 활성화 함수의 주요 역할 비선형성 부여: 입력과 출력 간의 비선형 관계를 도입한다. 비선형성을 통해 신경망은 다양한 복잡한 문제를 해결할 수 있다. 출력 범위 제한: 활성화 함수는 뉴런의 출력 범위를 제한한다. 기울기 전파: 비선형 활성화 함수가 사용되면 역전파(backpropagation) 알고리즘을 통해 신경망을 학습할 때 미분 가능한 함수를 사용하고, 오차를 통해 효과적으로 전파하고 가중치를 조정한다. 좋은 활성화 함수의 조건 희소성(sparsity)을 증가시켜 ..

학습 알고리즘 학습은 모델이 주어진 데이터로부터 학습하고 지식을 습득하여 데이터의 패턴이나 구조를 인식하는 역할을 수행한다. 보통의 딥러닝에서 학습은 각각의 노드에 연결된 가중치를 최적의 값으로 셋팅(업데이트)한다. 학습 알고리즘의 유형은 크게 지도학습(supervised learning), 비지도 학습(unsupervised learning), 강화 학습(reinforcement learning) 등이 있다. 지도 학습에서는 입력 데이터와 해당하는 레이블이 제공되며, 모델은 이 정보를 기반으로 예측 및 분류를 수행한다. 비지도 학습에서는 레이블이 없는 데이터로부터 데이터의 구조와 패턴을 발견하려고 시도한다. 강화 학습에서는 에이전트가 환경과 상호 작용하며 보상을 최대화하는 정책을 학습하려고 시도한다. ..

퍼셉트론(Perceptron)이란? 인공 신경망의 간단한 모형 중 하나인 퍼셉트론은 1957년 로센블렛(Rosenblatt)이 고안한 이진 분륜 문제를 위한 알고리즘이다. 인공신경망은 사람의 신경망을 따온 것으로 인공적인 뉴런의 집합이라고 봐도 된다. 초기 퍼셉트론은 입력된 정보에 가중치를 추가하고, 훈련하여 결과값을 얻는다. 위 사진처럼 수많은 입력 데이터에 가중치를 정해 최적의 가중치를 찾아내는 방법이다. 퍼셉트론은 다수의 이진 입력 신호(0 또는 1)를 받아 하나의 이진 출력 신호를 생성하는 방식으로 동작한다. 각 입력은 가중치(weight)와 연결되어 있고, 이 가중치는 입력 신호에 곱해져 출력을 결정하는 데 중요한 역할을 한다. 퍼셉트론은 가중치와 입력 신호의 곱을 합산한 값이 특정 임계값(th..