선형(Linear) 데이터와 비선형(Non-linear) 데이터의 차이
선형(Linear) 데이터와 비선형(Non-linear) 데이터의 차이
인공지능에서 다루는 데이터는 대게 선형(linear) 데이터와 비선형(Non-linear) 데이터로 나눈다. 인공지능의 한 분야인 머신러닝은 선형 데이터를 다룰 수 있고, 비선형 데이터는 다루지 못하지만 딥러닝은 비선형 데이터를 다룰 수 있다.
선형(Linear) 데이터
선형 데이터는 위에서 말한대로 머신러닝에서 사용하는 데이터이다. 선형 데이터를 수학 식으로 볼 때 간단한 경우는 다음과 같다.
- $y = x$
- $y = 5x$
- $y = x + 1$
위 식들은 모두 그래프에서 선형을 나타낸다. 하지만, 아래와 같은 복잡한 식들은 그래프에서 곡선을 나타내지만 선형 모델이라고 할 수 있다.
| $y = 4x^{3} + 3x^{2} + 2x + 1$ |  |
| $sigmoid$: $y = \frac{1}{1+e^{-x}}$ |  |
| $tanh$: $y = \frac{e^{x}-e^{-x}}{e^{x}+e^{-x}}$ |  |
위 식들처럼 곡선의 모형을 그리는 함수들도 선형모델이다. 즉, 선형(linear)은 $x$에 대한 1차 다항식을 의미하는 것이 아니다. 선형 회귀 모델(linear-regression)은 '회귀 계수(regression coefficient)를 선형 결합으로 표현할 수 있는 모델'이다. 즉, 독립 변수가 일차식인지, 이차식인지 혹은 로그 함수식인지 이런 것이 아니라 우리가 추정하는 대상인 파라미터가 어떻게 생겼느냐가 문제이다.
Linear model example
- 가중치(weight, 선형계수)가 선형결합을 할 수 있을 때
비선형(Non-linear) 데이터
비선형 모델은 데이터를 변형하더라도 파라미터를 선형 결합식으로 표현할 수 없는 선형 모델이 아닌 모델이다. 선형 모델의 목적은 대개 추정하거나 해석을 할 때 사용하고, 비선형 모델은 복잡한 패턴을 갖는 데이터에서 예측할 때 사용한다.
비선형 모델의 대표적인 예로 로직스틱 회귀(Logistic regression)이 있다.
로지스틱 회귀(Logistic regression)은 선형 회귀 모델과 달리 활성화 함수가 끝에 추가되면서 z 값이 나온다.
이는 딥러닝과 유사하는 것을 볼 수 있는데 다음 사진에서 확인할 수 있다.
Reference
https://www.youtube.com/watch?v=umiqnfQxlac