대학원 일기

Regularization(규제화) 정규화, 규제화 또는 정직화라고 불리며, 오버피팅(overfitting)을 해결하기 위한 방법 중의 하나로 L1, L2 Regularization, Dropout, Batch normalization 등이 있다. 오버피팅은 한국어로 과적합이라고 하며, train set은 매우 잘 맞히지만, validation/test set은 맞히지 못하는 현상을 말한다. 더 좋은 결과를 얻기 위해서는 새로운 시험, 즉 test set에서도 잘 맞혀야하므로 regularization 기법으로 모델에 제약 조건을 걸어 모델의 train loss를 증가시키는 역할을 한다. 그래서 train loss는 약간 증가하지만 결과적으로, validation loss나 최종 test loss를 감소..