대학원 일기

5-1 최적화(Optimization)는 가능한 훈련 데이터에서 최고의 성능을 얻으려고 모델을 조정하는 과정이다. 일반화(Generalization)는 훈련된 모델이 이전에 본 적 없는 데이터에서 얼마나 잘 수행되는지 의미한다. 훈련 데이터의 손실이 낮아질수록 테스트 데이터의 손실도 낮아지며 이럴 때 모델이 과소적합(underfitting) 되었다고 한다. 모델의 성능이 계속 발전될 여지가 있으며 데이터에 있는 모든 관련 패턴을 아직 학습하지 못한 것이다. 훈련 데이터에서 훈련을 특정 횟수만큼 반복하고 난 후 일반화 성능이 더이상 높아지지 않으며 검증 세트의 성능이 멈추고 감소되기 시작하는데 이것을 모델이 과대적합(Overfitting) 되었다고 한다. 과대적합은 데이터에 잡음이 있거나 불확실성이 존재하..

Chapter 3. 케라스 텐서플로 소개 컴파일 단계 : 학습과정 설명(p136 내용) 모델 구조 정의 손실함수 (keras.optimizers.손실함수) 옵티마이저 (keras.losses.옵티마이저함수) 측정 지표 (keras.metrics.측정 지표) keras .compile() 아래쪽에 예시코드 적은것 잇어요 층(Layer) page 130 - 층의 구조 Page 132 안나올 것 같기는 한데... 혹시나 정방향 패스를 정의해라고 하면 여기 페이지 보시면 됩니다 def call(self,inputs) 부분 input 이랑 W 내적하고 bias를 더해주고, 선언한 acitivation있으면 activation 함수까지 거친 값을 return page 133 Sequantial로 Dense laye..

2. 신경망의 수학적 구성요소 2.1 신경망과의 첫 만남 본 장에서는 MNIST 데이터셋으로 사용하여 손글씨를 분류하는 문제를 다룹니다. 케라스에서 MNIST 데이터셋 적재하기 데이터셋 로드 from tensorflow.keras.datasets import mnist (train_images, train_labels), (test_images, test_labels) = mnist.load_data() train_images, train_labels에 훈련셋을 담고, test_images, test_labels에 테스트셋을 담습니다. mnist를 로드하면 (train 이미지, train 레이블), (test 이미지, test 레이블)로 불러옵니다. 이미지는 넘파이(numpy) 배열로 인코딩되어 있고 레..

5. 모델 저장과 콜백 학습시킨 모델을 저장하고 관리하는 것은 모델 관리, 더 나아가 MLOps(데이터 수집부터 모델 학습, 서비스 배포까지를 포함하는 시스템)의 시작점 5-2 MNIST 딥러닝 모델 예제 딥러닝을 처음 배우는 사람들이 만나게 되는 데이터셋 중 하나인 손으로 쓴 숫자들로 이루어진 이미지 데이터셋 아주 오래된 고전 데이터셋으로서 기계 학습 분야의 학습 및 테스트에 널리 사용 keras.datasets에 기본으로 포함 데이터 로드 및 전처리 MNIST 데이터셋을 로드하기 위해서 케라스의 데이터셋에 내장되어 있는 tensorflow.keras.datasets.mnist를 임포트합니다. train_test_split() 함수를 이용해 학습용 데이터인 x_train_full와 y_train_ful..

4. 딥러닝 모델 학습 4-2 손실함수(Loss function) 학습이 진행되면서 해당 과정이 얼마나 잘 되고 있는지 나타내는 지표 모델이 훈련되는 동안 최소화될 값으로 주어진 문제에 대한 성공 지표 손실 함수에 따른 결과를 통해 파라미터를 조정하며 학습이 진행 손실함수는 최적화 이론에서 최소화하고자 하는 함수로 미분 가능 함수를 사용 케라스에서 제공되는 주요 손실함수 sparse_categorical_crossentropy 클래스가 배타적인 방식으로 구분 (0,1,2,3, ... ,9) categorical_cross_entropy 클래스가 원핫 인코딩 방식으로 되어 있을 때 사용 binary_crossentropy 이진 분류를 수행할 때 사용 MAE 오차가 커져도 소실함수가 일정하게 증가 이상치에 ..

3. 딥러닝 구조와 모델 3-2. 딥러닝 구조와 레이어 (Layer) 1. 딥러닝 구조 모델 구조 케라스에서 제공하는 API에는 크게 Model, Layer, Modules가 있습니다. 2. 레이어(Layer) 텐서플러우와 케라스 불러오기 import tensorflow as tf from tensorflow import keras from tensorflow.keras import layers 딥러닝 레이어의 구조 딥러닝은 여러 개의 레이어(Layer)로 구성되어 있으며, 기본적으로 입력층(Input Layer), 은닉층(Hidden Layer), 출력층(Output Layer) 으로 구분됩니다. 레이어는 딥러닝 모델을 구성하는 핵심 데이터 구조로서 하나 이상의 텐서를 입력받아 하나 이상의 텐서를 출력..

2-2 텐서(Tensor) - 데이터를 담기 위한 컨테이너(container) - 다차원 배열 또는 리스트 형태와 유사 - 일반적으로 수치형 데이터를 저장하고, 동적 크기를 가짐 Rank : 축의 개수 shape : 형상(각 축에 따른 차원 개수) type : 데이터 타입 0차원 텐서는 Scalar라고 불리며 축과 차원 개수가 존재하지 않는다. 1차원 텐서는 Vector라고 불리며 축이 1 차원의 개수가 3이다. 2차원 텐서는 Matrix라고 불리며 축이 행과 열에 2개 있고 9개의 데이터(shape(3,3)를 가지고 있다. 나머지는 똑같이 이런식으로 보면 된다. 1D Tensor(Vector) 1차원 텐서는 값들을 저장한 리스트와 유사한 텐서 벡터(vector)라고도 부르며, 하나의 축이 존재 2D T..

1. 인공신경망과 딥러닝 일반적으로 인공신경망은 은닉층이 소수인 반면, 딥러닝은 은닉층이 다수 포함된 심층신경망(deep neural network)형태 - 일반 신경망 : 데이터에서 직접 특징(handcrafted feature)을 추출해서 만든 특징 벡터(feature vector)를 입력으로 사용하고, 특징 벡터들의 품질에 영향 - 딥러닝 신경망 : 특징 추출과 학습을 함께 수행하고, 데이터로부터 효과적인 특징을 학습을 통해 추출하여 우수한 성능 달성 일반 신경망은 사람의 개입이 있는 반면 딥러닝 신경망은 사람의 개입없이 생기는 편향과 오류가 적고 성능과 추론이 좋다는 차이가 있다. 딥러닝은 높은 성능과 뛰어난 확장성으로 이미지 처리, 자연어 처리, 음성 인식과 같은 분야에서 급격한 발전이 이루어지..