대학원 일기

활성화 함수(Activation function) 활성화 함수는 인공 신경망의 노드에서 가중 합을 계산한 후, 그 결과를 출력으로 변환하는 함수이다. 활성화 함수는 인공신경망의 비선형성을 부여하며 이를 통해 다양한 패턴을 학습할 수 있다. 활성화 함수의 주요 역할 비선형성 부여: 입력과 출력 간의 비선형 관계를 도입한다. 비선형성을 통해 신경망은 다양한 복잡한 문제를 해결할 수 있다. 출력 범위 제한: 활성화 함수는 뉴런의 출력 범위를 제한한다. 기울기 전파: 비선형 활성화 함수가 사용되면 역전파(backpropagation) 알고리즘을 통해 신경망을 학습할 때 미분 가능한 함수를 사용하고, 오차를 통해 효과적으로 전파하고 가중치를 조정한다. 좋은 활성화 함수의 조건 희소성(sparsity)을 증가시켜 ..

비선형 모델 학습 비선형모델: 신경망(neural network) 각각의 행벡터 $o_{i}$는 행렬로 이루어져있는 $x_{i}$와 $W$라는 가중치의 행렬곱과 $b$라는 편향값을 더하여 $O$라는 출력값이 나온다. - $d$개의 변수로 $p$개의 선형모델을 만들어서 $p$개의 잠재변수를 설명하는 모델을 볼 수 있다. - 아래 그림에서는 x라는 변수가 o라는 결과값으로 갈 때, w(가중치)를 곱하고 b(편향값)를 더한다. softmax 함수 - 선형 모델로 나온 출력값에 softmax를 통해 분류 문제를 해결한다. - 소프트맥스(softmax) 함수는 모델의 출력을 확률로 해석할 수 있게 변환해주는 연산이다. - 소프트맥스(softmax) 함수는 N개의 요소값을 가지는 벡터에서 각 요소 간 상대적인 확률..