대학원 일기

3. 딥러닝 구조와 모델 3-2. 딥러닝 구조와 레이어 (Layer) 1. 딥러닝 구조 모델 구조 케라스에서 제공하는 API에는 크게 Model, Layer, Modules가 있습니다. 2. 레이어(Layer) 텐서플러우와 케라스 불러오기 import tensorflow as tf from tensorflow import keras from tensorflow.keras import layers 딥러닝 레이어의 구조 딥러닝은 여러 개의 레이어(Layer)로 구성되어 있으며, 기본적으로 입력층(Input Layer), 은닉층(Hidden Layer), 출력층(Output Layer) 으로 구분됩니다. 레이어는 딥러닝 모델을 구성하는 핵심 데이터 구조로서 하나 이상의 텐서를 입력받아 하나 이상의 텐서를 출력..

2-2 텐서(Tensor) - 데이터를 담기 위한 컨테이너(container) - 다차원 배열 또는 리스트 형태와 유사 - 일반적으로 수치형 데이터를 저장하고, 동적 크기를 가짐 Rank : 축의 개수 shape : 형상(각 축에 따른 차원 개수) type : 데이터 타입 0차원 텐서는 Scalar라고 불리며 축과 차원 개수가 존재하지 않는다. 1차원 텐서는 Vector라고 불리며 축이 1 차원의 개수가 3이다. 2차원 텐서는 Matrix라고 불리며 축이 행과 열에 2개 있고 9개의 데이터(shape(3,3)를 가지고 있다. 나머지는 똑같이 이런식으로 보면 된다. 1D Tensor(Vector) 1차원 텐서는 값들을 저장한 리스트와 유사한 텐서 벡터(vector)라고도 부르며, 하나의 축이 존재 2D T..

1. 인공신경망과 딥러닝 일반적으로 인공신경망은 은닉층이 소수인 반면, 딥러닝은 은닉층이 다수 포함된 심층신경망(deep neural network)형태 - 일반 신경망 : 데이터에서 직접 특징(handcrafted feature)을 추출해서 만든 특징 벡터(feature vector)를 입력으로 사용하고, 특징 벡터들의 품질에 영향 - 딥러닝 신경망 : 특징 추출과 학습을 함께 수행하고, 데이터로부터 효과적인 특징을 학습을 통해 추출하여 우수한 성능 달성 일반 신경망은 사람의 개입이 있는 반면 딥러닝 신경망은 사람의 개입없이 생기는 편향과 오류가 적고 성능과 추론이 좋다는 차이가 있다. 딥러닝은 높은 성능과 뛰어난 확장성으로 이미지 처리, 자연어 처리, 음성 인식과 같은 분야에서 급격한 발전이 이루어지..

Regularization(규제화) 정규화, 규제화 또는 정직화라고 불리며, 오버피팅(overfitting)을 해결하기 위한 방법 중의 하나로 L1, L2 Regularization, Dropout, Batch normalization 등이 있다. 오버피팅은 한국어로 과적합이라고 하며, train set은 매우 잘 맞히지만, validation/test set은 맞히지 못하는 현상을 말한다. 더 좋은 결과를 얻기 위해서는 새로운 시험, 즉 test set에서도 잘 맞혀야하므로 regularization 기법으로 모델에 제약 조건을 걸어 모델의 train loss를 증가시키는 역할을 한다. 그래서 train loss는 약간 증가하지만 결과적으로, validation loss나 최종 test loss를 감소..

레이어(Layer) 여러 개의 논리적인 개체가 층을 이루어 하나의 물체를 구성하는 경우, 이러한 각각의 객체를 하나의 레이어라고 한다. 딥러닝 모델에서 레이어(layer)는 입력 데이터로부터 출력 데이터를 생성하는 연산 단위를 말한다. 각 레이어는 모델의 가중치를 포함하며, 학습 과정에서 이 가중치가 조정되면서 모델이 주어진 작업을 수행한다. 레이어에는 다양한 유형이 있으며, 주로 신경망 모델의 구조를 형성합니다. Linear Layer Linear 레이어는 인공신경망의 한 종류인 피드포워드(Feed forward) 신경망에서 사용된는 기본적인 계층이다. 종류로는 Fully Connected Layer, Feedforward Neural Network, Multilayer Perceptrons, Dens..

희소 표현(Sparse Representation) 대부분의 값이 0으로 이루어진 벡터 또는 행렬을 의미 벡터의 특정 차원에 단어 혹은 의미를 직접 매핑하는 방식 ex) 사과: [ 0, 0 ] , 바나나: [ 1, 1 ] , 배: [ 0, 1 ] 첫 번째 요소는 모양(0:둥글다, 1:길쭉하다), 두 번째 요소는 색상(0:빨강, 1:노랑) 분포 가설(distribution hypothesis) 유사한 맥락에서 나타나는 단어는 그 의미도 비슷하다 분산 표현(Distributed Representation) 유사한 맥락에 나타난 단어들끼리는 두 단어 벡터 사이의 거리를 가깝게 하고, 그렇지 않은 단어들끼리는 멀어지도록 조금씩 조정해 주는 방식으로 얻어지는 단어 벡터, 벡터의 특정 차원이 특정 의미를 담고 있는..

신경망 머신러닝/딥러닝 과학자들도 자연에서 답을 찾으려 노력했고, 우리 뇌 속의 신경망 구조에 착안해서 퍼셉트론(Perceptron)이라는 형태를 제안하며 이를 연결한 형태를 인공신경망(Artificial Neural Network)이라고 부르기 시작했습니다. 입력층(input layer), 최종 출력값이 있는 출력층(output layer), 그리고 그 사이에 있는 층인 은닉층(hidden layer)이 있습니다. 보통 입력층과 출력층 사이에 몇 개의 층이 존재하든 모두 은닉층이라고 부릅니다. 레이어 개수를 셀 때는 노드와 노드 사이의 연결하는 부분이 몇 개 존재하는지 세면 보다 쉽게 알 수 있습니다. 인공신경망 중에서도 위의 이미지처럼 2개 이상의 레이어를 쌓아서 만든 것을 보통 다층 퍼셉트론(Mul..