대학원 일기

활성화 함수(Activation function) 활성화 함수는 인공 신경망의 노드에서 가중 합을 계산한 후, 그 결과를 출력으로 변환하는 함수이다. 활성화 함수는 인공신경망의 비선형성을 부여하며 이를 통해 다양한 패턴을 학습할 수 있다. 활성화 함수의 주요 역할 비선형성 부여: 입력과 출력 간의 비선형 관계를 도입한다. 비선형성을 통해 신경망은 다양한 복잡한 문제를 해결할 수 있다. 출력 범위 제한: 활성화 함수는 뉴런의 출력 범위를 제한한다. 기울기 전파: 비선형 활성화 함수가 사용되면 역전파(backpropagation) 알고리즘을 통해 신경망을 학습할 때 미분 가능한 함수를 사용하고, 오차를 통해 효과적으로 전파하고 가중치를 조정한다. 좋은 활성화 함수의 조건 희소성(sparsity)을 증가시켜 ..