[Boostcamp AI Tech] Computer Vision(1)

이번 주의 부캠

---

약 2주간의 첫 P-Stage를 마치고, 새로운 U-Stage 피어들과 CV 강의를 듣기 시작했다.

아무래도 본격적으로 CV를 배우는 첫 주이기도 하고, 도입부이다보니

이번 주의 대부분의 내용들은 이전에 들었던 강의에서 이미 한 번 커버를 한 부분이었다.

또한, 무엇보다 P-Stage를 하면서 시도해봤던 시도들

그리고 직접 찾아본 내용들도 있어 큰 무리없이 들을 수 있었다.

 

이번 주부터 앞으로의 긴 P-Stage 기간동안 함께할 팀을 구해야했고,

취업을 위해 여러 원서를 함께 썼어야 했기 때문에 사실 강의보다는 다른 부분에 열심이었던 한 주였던 것 같다.

 

 

Self-training

---

Augmentation + Teache-Student networks + Semi-supervised Learning을 합친 방법으로

2019년 ImageNet Classification에서 SOTA 달성

기존의 SOTA였던 EfficientNet보다 더 압도적인 Score 기록

 

Noisy Student Training은 EfficientNet의 성능을 넘어서는 performance를 보였다.

 

Noisy Student Training의 학습 과정은 다음과 같다.

1. Labeled Data로 Teacher 역할의 모델 학습

2. Teacher Model로 Unlabeled Data의 Lable들을 예측

3. 기존의 Labeled Data와 Teacher Model로 Psedo-Labeling한 데이터로 Studet Model을 학습

 - 이때, RandAugment를 통해 데이터를 증강시켜서 학습

 - Student Model은 일반적인 Knowledge Distillation 방법과 달리 Teacher Model보다 큰 모델을 사용

   -> 결과적으로 Student Model은 매 round마다 더 커짐

4. 학습시킨 Student Model을 Teacher Model로 삼고 2~3의 과정을 반복 수행

 

Noisy Student Training의 학습 과정

 

 

Assignments

---

https://github.com/Gwang-chae/AI_Tech

GitHub - Gwang-chae/AI_Tech

 

 

References

---

https://www.boostcourse.org/

다 함께 배우고 성장하는 부스트코스