대학원 일기

1. 데이터 준비 - 데이터셋 불러오기 - 훈련 데이터, 테스트 데이터 나누기 - 입력 이미지 정규화하기 - 이미지 배열 크기 변환하기 2. 가중치 및 편향값 초기화 - MLP의 가중치와 편향을 초기화 함 3. 순전파 함수 정의 - affine layer forward - relu - softmax 4. 원 핫 인코딩 및 손실 함수 정의 - change one hot label - cross entropy error 5. 역전파 함수 정의 - affine layer backword - relu gradient 6. 파라미터 업데이트 함수 정의 - 가중치와 편향값을 업데이트 7. 훈련 단계 정의 - step에 따라 훈련 8. 예측 및 정확도 함수 정의 - 하이퍼 파라미터를 설정 - 훈련 루프 실행 impo..

Loss와 Metric Loss : 모델 학습 시 학습 데이터(train data)를 바탕으로 계산되어, 모델의 업데이트에 활용되는 함수 Metric : 모델 학습 종료 후 테스트 데이터(test data)를 바탕으로 계산되어, 학습된 모델의 성능을 평가하는데 활용되는 함수 Discrete한 Accuracy는 Continuous한 Cross Entropy에 비해, 파라미터가 학습되어야 할 방향을 정확하게 제시하지 못한다. 비록 위 예시에서 1번 케이스는 Accuracy는 2번 케이스보다 낮았지만, Loss를 낮추는 쪽으로 더 학습이 진행되면 Accuracy도 높이면서 A, B, C간 확률분포의 차이(0.7-0.15)를 더욱 뚜렷하게 해서 결과적으로는 더 명확한 분류 기준을 학습한 모델이 될 여지가 있다...

이전 포스팅인 '결측치: 정규화(Normalization)'를 이어서 작성합니다.https://kys0411.tistory.com/177 전처리 기법: 정규화(Normalization)이전 포스팅인 '전처리 기법: 이상치(Outlier)'를 이어서 작성합니다. https://kys0411.tistory.com/176 전처리 기법: 이상치(Outlier) 이전 포스팅인 '결측치: 중복 데이터'를 이어서 작성합니다. https://kys0411.tikys0411.tistory.com 원-핫 인코딩(One-Hot Encoding)원 핫 인코딩은 머신러닝이나 딥러닝 프레임워크에서 범주형 데이터를 지원하지 않는 경우 사용한다. 이는 카테고리별 이진 특성을 만들어 해당하는 특성만 1, 나머지는 0으로 만드는 방법입..

이전 포스팅인 '전처리 기법: 이상치(Outlier)'를 이어서 작성합니다.https://kys0411.tistory.com/176 전처리 기법: 이상치(Outlier)이전 포스팅인 '결측치: 중복 데이터'를 이어서 작성합니다. https://kys0411.tistory.com/175 전처리 기법: 중복 데이터 데이터는 앞선 포스팅에서 사용한 데이터를 이용한다. https://kys0411.tistory.com/174 전kys0411.tistory.com 정규화(Normalization)정규화는 데이터베이스에서 사용되는 개념으로 테이블 간에 중복된 data를 허용하지 않는 것이다. 중복된 데이터를 허용하지 않음으로 무결성(Intergrity)을 유지할 수 있다.  머신러닝 모델은 데이터가 가진 특성(fe..

이전 포스팅인 '결측치: 중복 데이터'를 이어서 작성합니다.https://kys0411.tistory.com/175 전처리 기법: 중복 데이터데이터는 앞선 포스팅에서 사용한 데이터를 이용한다. https://kys0411.tistory.com/174 전처리 기법: 결측치(Missing Data) [관세청 수출입 무역 통계]를 가공한 데이터로 실습해보겠다. https://tradedata.go.kr/ctskys0411.tistory.com 이상치이상치란 대부분 값의 범위에서 벗어나 극단적으로 크거나 작은 값을 의미한다. Min-Max Scailing 해보면 대부분의 값은 0에 가깝고 이상치만 1에 가까운 값을 가진다. 극단적인 값이 생기면 데이터 간의 차이는 의미 없어지기 때문에 제거해야한다.  이상치를 ..

데이터는 앞선 포스팅에서 사용한 데이터를 이용한다. https://kys0411.tistory.com/174 전처리 기법: 결측치(Missing Data)[관세청 수출입 무역 통계]를 가공한 데이터로 실습해보겠다. https://tradedata.go.kr/cts/index.do 관세청 수출입무역통계 수출입 현황, 물류통계 등 관세청 무역통계정보를 종합적으로 제공 tradedata.go.krkys0411.tistory.com  중복 데이터 데이터를 수집하고 처리하는 과정에서 중복된 데이터가 생길 수 있다. 같은 값을 가진 데이터가 있다면 제거해야한다.  중복된 데이터는 DataFrame.duplicated() 함수를 통해 확인한다. 이는 데이터 중복 여부를 boolean 값으로 반환해준다. trade[t..

[관세청 수출입 무역 통계]를 가공한 데이터로 실습해보겠다.https://tradedata.go.kr/cts/index.do 관세청 수출입무역통계수출입 현황, 물류통계 등 관세청 무역통계정보를 종합적으로 제공tradedata.go.kr 데이터 테이블의 헤드를 확인하면 다음과 같다.trade.head() 결측치결측치는 데이터에서 Null, None, Na, NaN 등으로 표기되며, 데이터 수집 과정에서의 오류, 기록의 누락, 미 응답 등이다.데이터 분석할 때, 결측치가 존재하면 문제가 발생하므로 데이터를 가공하여 결측치를 수정 및 제거하여 처리해야한다. 결측치를 처리하는 방법은 크게 두 가지 방법이 있다.- 결측치가 있는 데이터를 제거한다.- 결측치를 어떠한 값으로 대체한다. 데이터에서 결측치의 개수를 확..

개발자라면 필수로 알아야할 Git과 GitHub. 의미를 파악해보자면 다음과 같다. Git 개발을 진행하며 작성하는 소스코드가 업데이트 되는 버전을 기록해두고 관리할 수 있는 소스코드 버전 관리 시스템 GitHub Git으로 관리하는 프로젝트를 호스팅하고, 시간과 공간의 제약 없이 협업할 수 있는 온라인 서비스 Git이 버전 기록을 저장한다면, GitHub에서는 그 기록을 다른 사람과 함께 공유하며 협업할 수 있습니다. 로컬(Local)에서 작업한 내용을 Git이 저장해 두었다면, 그 기록을 온라인 작업공간인 GitHub에 올려 원격(Remote)으로도 작업할 수 있도록 합니다. https://github.com/ GitHub: Let’s build from here GitHub is where over..