선형(Linear) 데이터와 비선형(Non-linear) 데이터의 차이

선형(Linear) 데이터와 비선형(Non-linear) 데이터의 차이

인공지능에서 다루는 데이터는 대게 선형(linear) 데이터와 비선형(Non-linear) 데이터로 나눈다. 인공지능의 한 분야인 머신러닝은 선형 데이터를 다룰 수 있고, 비선형 데이터는 다루지 못하지만 딥러닝은 비선형 데이터를 다룰 수 있다.

 

선형(Linear) 데이터

선형 데이터는 위에서 말한대로 머신러닝에서 사용하는 데이터이다. 선형 데이터를 수학 식으로 볼 때 간단한 경우는 다음과 같다.

• $y=x$
• $y=5x$
• $y=x+1$

위 식들은 모두 그래프에서 선형을 나타낸다. 하지만, 아래와 같은 복잡한 식들은 그래프에서 곡선을 나타내지만 선형 모델이라고 할 수 있다.

$y=4x^3+3x^2+2x+1$
$sigmoid$: $y=\frac{1}{1+e^{-x}}$
$tanh$: $y=\frac{e^x-e^{-x}}{e^x+e^{-x}}$

위 식들처럼 곡선의 모형을 그리는 함수들도 선형모델이다. 즉, 선형(linear)은 $x$에 대한 1차 다항식을 의미하는 것이 아니다. 선형 회귀 모델(linear-regression)은 '회귀 계수(regression coefficient)를 선형 결합으로 표현할 수 있는 모델'이다. 즉, 독립 변수가 일차식인지, 이차식인지 혹은 로그 함수식인지 이런 것이 아니라 우리가 추정하는 대상인 파라미터가 어떻게 생겼느냐가 문제이다.

Linear model example

- 가중치(weight, 선형계수)가 선형결합을 할 수 있을 때

 

비선형(Non-linear) 데이터

비선형 모델은 데이터를 변형하더라도 파라미터를 선형 결합식으로 표현할 수 없는 선형 모델이 아닌 모델이다. 선형 모델의 목적은 대개 추정하거나 해석을 할 때 사용하고, 비선형 모델은 복잡한 패턴을 갖는 데이터에서 예측할 때 사용한다.

비선형 모델의 대표적인 예로 로직스틱 회귀(Logistic regression)이 있다.

로지스틱 회귀(Logistic regression)은 선형 회귀 모델과 달리 활성화 함수가 끝에 추가되면서 z 값이 나온다.
이는 딥러닝과 유사하는 것을 볼 수 있는데 다음 사진에서 확인할 수 있다.

 

Reference

https://www.youtube.com/watch?v=umiqnfQxlac