[Boostcamp AI Tech] Historical Review of Deep Learning

오늘의 부캠

---

지난 1주차에 Python과 기본적인 수학적 개념을 익힌 후 본격적으로 DL에 들어가는 2주차가 되었다.

오늘은 딥러닝 기본적인 용어들과 주요 중요 논문/모델 등을 연도에 따라 간단하게 접하는 시간을 가졌고,

MLP를 다시 한번 리마인드하는 시간과 추가적으로 데이터 시각화의 기초라 할 수 있는 matploblib을 다뤘다.

이번 주 선택과제 역시 만만찮은 것들이 나왔지만... 시작해봐야지!

 

 

딥러닝의 주요 구성요소

---

1) 데이터 : 데이터는 해결할 문제 형태에 따라 결정됨

2) 모델 : 모델은 데이터가 주어졌을 때 직접적으로 알고싶은 값으로 바꿔주는 것 

3) 손실 함수 : 손실 함수는 데이터와 모델이 주어졌을 때 모델을 어떻게 학습할지 정의하는 것

4) 최적화 알고리즘 : 데이터, 모델, 손실 함수가 주어졌을 때 네트워크를 어떻게 줄일지에 대한 것

 

 

딥러닝의 역사적 리뷰

---

https://dennybritz.com/blog/deep-learning-most-important-ideas/

Deep Learning's Most Important Ideas - A Brief Historical Review

 

2012 - AlexNet

ILSVRC 대회에서 딥러닝을 활용해서 첫번째로 1등을 차지한 모델

이 후 대회부터는 딥러닝을 활용한 모델들이 1등을 계속 차지했음

 

2013 - DQN

오늘날의 딥마인드가 있게 한 알고리즘으로 강화학습의 방법론을 딥러닝에 적용

'아타리'라는 게임을 인간 수준으로 플레이할 수 있게 끌어올린 인공지능

 

2014 - Encoder/Decoder, Adam

Encoder/Decoder : 기계번역의 트렌드를 바꾼 개념, seq2seq에 활용

Adam Optimizer : 여러 Optimizer 중에서도 결과가 잘 나오는 최적화 알고리즘

 

2015 - GAN, ResNet

GAN : Generator, Dicriminator를 만들어 학습을 시키는 모델

ResNet : 네트워크를 깊게 쌓으면 학습이 잘 안된다는 생각을 바꾼 모델

 

2017 - Transformer

RNN을 대체하고 이제는 CV영역을 넘보고 있는 Transformer

 

2018 - Bert

다양한 단어를 사용해 pre-trained한 후 fine-tunnig을 통해 예측을 하는 fine-tuned NLP model이 발전

 

2019 - Big Language Models(GPT-X)

175 billion개의 굉장히 많은 파라미터를 가진 Language Model

 

2020 - Self Supervised Learning

SimCLR 모델로 대표되는 학습방법, 학습 데이터 외에 unsupervised data를 학습에 활용