이미지 딥러닝

인공지능이란 무엇인가?

• 인공지능은 문제를 인식하고 해결하는 능력인 지능을 구현하는 기술

 

 기계학습이란 무엇인가?

• 기계 스스로 학습하여 지능을 습득하는 기술
• 학습 알고리즘을 통해 데이터에 숨겨진 정보와 규칙을 기계 스스로 학습하고, 새로운 것을 예측하고 추론하는 기술

 

딥러닝이란 무엇인가?

• 생체 신경망을 모방해서 만든 인공 신경망을 이용하여 복잡한 데이터 관계를 찾아내는 기계학습 방법

 

전통적인 기계학습과 딥러닝의 차이

• 전통적인 기계학습은 특정한 문제에 맞게 알고리즘이 특화되어 있음
• 딥러닝은 데이터의 복잡한 관계를 잘 표현하기 때문에 다양한 문제에 보편적으로 사용할 수 있음

 

딥러닝의 장점 3가지

• 함수를 근사하는 능력이 뛰어남
• 특징을 자동으로 추출함
• 모델의 확장성이 뛰어남

 

딥러닝의 한계 5가지

• 많은 학습 데이터가 필요함
• 훈련을 위한 시간과 비용이 많이 들어감
• 최적의 모델과 훈련 방법을 찾으려면 많은 튜닝 시간이 필요함
• 인공 신경망 모델은 오류를 파악하거나 디버깅하기 어려움
• 타깃 데이터를 만들 때 드는 비용이 많이 들어감

 

액티브 학습은 무엇인가?

• 성능에 큰 영향을 미치는 데이터를 선별하여 적은 데이터로 빠르게 학습

 

전이 학습이란 무엇인가?

• 매번 처음부터 학습하지 않고, 사전에 학습된 모델을 이용해서 빠르게 학습
• 적은 양의 데이터로 모델을 빠르게 튜닝해서 새로운 목적에 맞게 사용할 수 있으며 모델의 성능까지 보장할 수 있음

 

헵의 규칙이란?

• 뉴런과 뉴런을 연결하는 시냅스에 가중치로 저장되는 것

 

인공신경망 모델이란?

• 시냅스에 해당하는 가중치(학습 변수)와 뉴런에 해당하는 신호 취합 및 활성화 함수 기능을 구현한 것

 

퍼셉트론은 무엇인가?

• 새로운 입력에 대한 오차가 발생하면 뉴런의 연결 강도를 조절하는 방식

 

회귀 문제는 무엇인가?

• 여러 독립 변수와 종속 변수의 관계를 연속 함수 형태로 분석하는 문제
• 입력 데이터에 대한 함숫값을 예측
• 확률 모델로 정의하면 관측된 집값의 확률 분포를 예측

 

회귀 모델은 무엇인가?

• 가우시안 분포를 예측하는 모델로 정의할 수 있음
• 가우시안 분포는 평균을 중심으로 대칭적인 종 모양의 사건이 발생할 확률을 나타냄

 

활성화 함수란 무엇인가

• 입력 신호의 총합을 출력 신호로 변환하는 함수로, 입력받은 신호를 얼마나 출력할지 결정한다.

 

활성 함수의 조건 3가지

• 순전파 시 희소성 강화
  • 의미있는 정보는 증폭하고
  • 의미없는 정보는 소멸한다.
• 역전파 시 경사 소멸의 최소화
• 모든 영역에서 미분 가능하고 연속인 함수

 

시그모이드 활성화 함수의 장점 3가지, 단점 3가지

• 장점
  • 비선형함수
  • 함숫값을 [0, 1] 범위로 압축
  • 모든 구간에서 미분할 수 있음
• 단점
  • 지수 함수가 포함되어 있어 연산 비용이 큼
  • x값이 0에서 멀어지면서 경사 소멸로 학습이 중단될 수 있음
  • 양수만 출력하므로 학습 경로가 진동하면서 수렴 속도가 느려짐

 

하이퍼볼릭 탄젠트 활성화 함수의 장점 4가지, 단점 2가지

• 장점
  • 비선형 함수
  • 함숫값을 [-1, 1] 범위로 압축
  • 모든 구간에서 미분할 수 있음
  • 중간값이 0이므로 수렴 속도에 유리
• 단점
  • 지수 함수가 포함되어 있어 연산 비용이 큼
  • x값이 0에서 멀어지면서 경사 소멸로 학습이 중단될 수 있음

 

렐루 활성화 함수의 장점 2가지, 단점 3가지

• 장점
  • 연산이 거의 없어 학습 속도가 매우 빠름
  • 경사 소멸 문제 개선
• 단점
  • 은닉층에서만 사용 가능
  • 양수만 출력하므로 학습 경로가 진동하면서 수렴 속도가 느려짐
  • 음수 구간에서 Dead ReLU 문제

 

리키 렐루 활성화 함수의 장점 1가지(+알파), 단점 2가지

• 장점
  • 음수 구간에서의 Dead ReLU 문제를 해결 → 음수 구간이 0이 되지 않도록 약간의 기울기 α를 주었으며, 작은 기울기로 인하여 학습 속도도 빨라짐
• 단점
  • 기울기 α 값이 고정되어 있어 최적의 성능을 내지 못할 수 있음
  • 기울기 α 값은 하이퍼 파라미터로 주관적 판단 필요

 

소프트맥스란?

• 다중 분류 모델에서 출력층의 활성 함수로 사용되며 분류기로 불려짐
• 실수 벡터로부터 카테고리 확률 분포의 확률 벡터로 변환

 

신경망 모델의 크기

• 특징이 많고 데이터 간의 관계가 복잡할수록 특징을 학습하는 너비를 늘려야 함
• 특징의 추상화 수준이 높을수록 추상화를 수행하는 깊이(계층 수)를 늘려야 함

 

하이퍼 파라미터 최적화 방법

• 그리드 서치(Grid Search)
• 하이퍼 파라미터를 일정한 간격으로 변경하며 최적의 해를 찾는다.
• 랜덤 서치(Random Search)
• 하이퍼 파라미터를 임의의 값으로 선정하여 최적의 해를 찾는다.
•