대학원 일기

오늘은 딥러닝 프로젝트에서 무엇이 가장 중요한지 써보려고 해요 마찬가지로 주관적 이야기입니다. 인공지능 개발에서 가장 중요한 것이 뭐라고 생각하시나요? 연구 능력? 개발 능력? 컴퓨팅 자원? 음음.. 아니죠인공지능에서 가장 중요한 것은 바로 데이터입니다. 보통 딥러닝 실습할 때 Open data를 가지고 와서 실험을 하잖아요? 실제의 데이터를 직접 마주보게 되면, open data와는 전혀 다른 데이터를 보게 됩니다. open data는 정말 깔끔하게 잘 정리되어있는 것이고, 실제 데이터는 날 것이거든요. 그렇기에, 데이터를 수집하고 올바른 데이터로 가공하는 것이 가장 중요합니다. 특히나, 요즘같이 모두가 멀티모달 딥러닝을 하려면 양측의 모달리티가 있어야 하거든요? 그럼 더 더욱 걸리지는 데이터들이 많..

오랜만입니다. 다시 테크 블로그를 열심히 시작하려고 해요. 처음으로 돌아간다는 느낌으로 시작하고,앞으로 2년 간 갈고 닦은 AI 개발에 대해 열심히 포스팅해볼게요 처음부터 시작한다는 느낌으로 매우 기초부터 들어가면서 제 주관으로 작성할게요. 제 경험을 바탕으로 주관으로 작성하는거니깐, 잘못된 부분이 있다면 알려주세요! 부탁드립니다 ㅎㅎ 보통 인공지능 코드는 파이썬으로 작성합니다. 그래서 보통 .py 혹은 ipynb(ipython)을 사용하죠. 제 나름대로의 인공지능 개발 루트가 있는데, 저의 경우에는python(.py): 딥러닝 개발(데이터셋, 모델, 학습 및 평가), 서버 개발, 대형 프로젝트 ipython(.pynb): 머신러닝, Data EDA 및 시각화, 작은 작업, 사이드 프로젝트이런 식..

음.. 깃 사용법보다 깃 버전관리를 먼저 올리는게 맞나 싶지만, 제 정리를 목적으로 하는거기 때문에, 먼저 정리하고 싶은 것부터 하겠습니다..! 하하 사실, 깃 사용법이나 그런 자잘한 애들은 다른 블로그나 유튭에 잘 설명되어 있어, 생략해도 되지 않을까 생각합니다 ㅎ(나중에 시간되면 깃 클론부터 풀리퀘, Merge까지 정리해보겠습니다) 제가 Git 버전 관리를 사용하기 전까지, 그냥 깃허브에 올리고 저장소 느낌으로 사용했었는데, AI에서 깃으로 버전관리를 하니 편한 것을 알아 정리해보고자 합니다! 본 포스팅에선, 깃 기본 사용법을 아는 것을 기준으로 작성하겠습니다 깃 버전관리에 대해 알려면 우선 Git의 단계를 알아야하고, 어디에서 어떻게 관리되는지를 알아야 합니다. Git의 단계는 크게 4가지 로 ..

대학 전공: 컴공대학원 전공: 의료 AI 입학한지 대충 7개월...우당탕탕 석사 과정 대학원 일기 시작합니다! (오늘 기준으로 열심히 쓸게요 ㅎ)대학원 인식보다 나름 괜찮아요.생각보다 나쁘지 않답니다? 아마?

5-1 최적화(Optimization)는 가능한 훈련 데이터에서 최고의 성능을 얻으려고 모델을 조정하는 과정이다. 일반화(Generalization)는 훈련된 모델이 이전에 본 적 없는 데이터에서 얼마나 잘 수행되는지 의미한다. 훈련 데이터의 손실이 낮아질수록 테스트 데이터의 손실도 낮아지며 이럴 때 모델이 과소적합(underfitting) 되었다고 한다. 모델의 성능이 계속 발전될 여지가 있으며 데이터에 있는 모든 관련 패턴을 아직 학습하지 못한 것이다. 훈련 데이터에서 훈련을 특정 횟수만큼 반복하고 난 후 일반화 성능이 더이상 높아지지 않으며 검증 세트의 성능이 멈추고 감소되기 시작하는데 이것을 모델이 과대적합(Overfitting) 되었다고 한다. 과대적합은 데이터에 잡음이 있거나 불확실성이 존재하..

Chapter 3. 케라스 텐서플로 소개 컴파일 단계 : 학습과정 설명(p136 내용) 모델 구조 정의 손실함수 (keras.optimizers.손실함수) 옵티마이저 (keras.losses.옵티마이저함수) 측정 지표 (keras.metrics.측정 지표) keras .compile() 아래쪽에 예시코드 적은것 잇어요 층(Layer) page 130 - 층의 구조 Page 132 안나올 것 같기는 한데... 혹시나 정방향 패스를 정의해라고 하면 여기 페이지 보시면 됩니다 def call(self,inputs) 부분 input 이랑 W 내적하고 bias를 더해주고, 선언한 acitivation있으면 activation 함수까지 거친 값을 return page 133 Sequantial로 Dense laye..

2. 신경망의 수학적 구성요소 2.1 신경망과의 첫 만남 본 장에서는 MNIST 데이터셋으로 사용하여 손글씨를 분류하는 문제를 다룹니다. 케라스에서 MNIST 데이터셋 적재하기 데이터셋 로드 from tensorflow.keras.datasets import mnist (train_images, train_labels), (test_images, test_labels) = mnist.load_data() train_images, train_labels에 훈련셋을 담고, test_images, test_labels에 테스트셋을 담습니다. mnist를 로드하면 (train 이미지, train 레이블), (test 이미지, test 레이블)로 불러옵니다. 이미지는 넘파이(numpy) 배열로 인코딩되어 있고 레..

5. 모델 저장과 콜백 학습시킨 모델을 저장하고 관리하는 것은 모델 관리, 더 나아가 MLOps(데이터 수집부터 모델 학습, 서비스 배포까지를 포함하는 시스템)의 시작점 5-2 MNIST 딥러닝 모델 예제 딥러닝을 처음 배우는 사람들이 만나게 되는 데이터셋 중 하나인 손으로 쓴 숫자들로 이루어진 이미지 데이터셋 아주 오래된 고전 데이터셋으로서 기계 학습 분야의 학습 및 테스트에 널리 사용 keras.datasets에 기본으로 포함 데이터 로드 및 전처리 MNIST 데이터셋을 로드하기 위해서 케라스의 데이터셋에 내장되어 있는 tensorflow.keras.datasets.mnist를 임포트합니다. train_test_split() 함수를 이용해 학습용 데이터인 x_train_full와 y_train_ful..