기술/딥러닝14 [Boostcamp AI Tech] Optimization Optimization의 중요 개념 1) Generalization (일반화) 입력 데이터가 학습 데이터와 달라도 출력에 대한 성능 차이가 나지 않도록 하는 것을 Generalization라 함 일반적으로 학습을 진행하면서 특정 시점이 지나면 Training error는 감소하고, Test error는 오히려 증가하면서 모델의 성능이 떨어짐 Generalization Performance는 Training error와 Test error의 차이( Generalization gap)를 의미하며, 이 차이가 적을수록 네트워크의 성능이 학습데이터와 비슷할 거라고 보장해 줌 2) Overfitting (과대적합), Underfitting (과소적합) - Overfitting 학습데이터에 대해 과하게 학습하여 학.. 2021. 8. 11. [Boostcamp AI Tech] Historical Review of Deep Learning 오늘의 부캠 지난 1주차에 Python과 기본적인 수학적 개념을 익힌 후 본격적으로 DL에 들어가는 2주차가 되었다. 오늘은 딥러닝 기본적인 용어들과 주요 중요 논문/모델 등을 연도에 따라 간단하게 접하는 시간을 가졌고, MLP를 다시 한번 리마인드하는 시간과 추가적으로 데이터 시각화의 기초라 할 수 있는 matploblib을 다뤘다. 이번 주 선택과제 역시 만만찮은 것들이 나왔지만... 시작해봐야지! 딥러닝의 주요 구성요소 1) 데이터 : 데이터는 해결할 문제 형태에 따라 결정됨 2) 모델 : 모델은 데이터가 주어졌을 때 직접적으로 알고싶은 값으로 바꿔주는 것 3) 손실 함수 : 손실 함수는 데이터와 모델이 주어졌을 때 모델을 어떻게 학습할지 정의하는 것 4) 최적화 알고리즘 : 데이터, 모델, 손실 .. 2021. 8. 9. [Boostcamp AI Tech] 1주차 학습정리 1주차 학습 회고 Boostcamp AI Tech의 1주차를 마무리했다.(이겨냈다?) 전반적으로 Pre-Course의 강의 영상을 복습하는 한 주였기 때문에 무난무난할 것이라 생각했지만.... 주어지는 과제들과 퀴즈들을 풀면서 내가 이해한다고 생각했던 것들은 사실 이해한 게 아니었다는 것을 깨닫게 되었다. 특히, 수식적인 부분과 그동안 잘 짜여진 모듈을 이용해서 다뤘던 것들을 원리를 따라 line by line으로 구현하는 것이 참 어렵게 느껴졌었다. 앞으로는 들은 것을 그저 안다고 치부하지 않고 정리하면서 내걸로 만드는 연습을 해야겠다. + 일주일치를 몰아서 정리한다는 생각은 버릴 예정이다 ㅠ.ㅠ This week I Learned (TIL) 1. 미분의 사용처 & 경사하강법 미분은 함수 f의 주어진 .. 2021. 8. 6. [Deep Learning] CS231n - 2. Image Classification 들어가며 이번 여름에 기초 개념을 탄탄히 다져볼 겸 Stanford University의 유명 AI 강의인 CS231n 강의를 듣고 정리해 보기로 했다. video로 공개된 강의가 2017년이 마지막이라는 점은 아쉽지만 아쉬운 대로 배워야지.. Lecture 1은 Introduction이라 바로 Lecture 2 - Image Classification부터 들어가겠다. 출처 Syllabus http://cs231n.stanford.edu/2017/syllabus.html Lecture https://www.youtube.com/watch?v=OoUX-nOEjG0&list=PL3FW7Lu3i5JvHM8ljYj-zLfQRF3EO8sYv Lecture Notes https://cs231n.github.io/c.. 2021. 7. 1. 이전 1 2 3 4 다음
