9주차 교육일지: 딥러닝

0. Objective &Working Process

-목적: 주어진 데이터에 대해 결과를 내는 가상의 함수를 모사

-작업 과정: 문제 정의 -> 데이터수집  ->  데이터 전처리&분석  ->  알고리즘 적용  ->  평가  ->  배포

문제 정의: 단계를 나누고 간소화, x와 y를 정의 데이터 수집: 문제 정의에 따른 수집, 필요에 따른 레이블링 데이터 전처리 및 분석: EDA, 형태 가공 알고리즘 적용: 가설 설계/구현 평가: 실험 설계, 테스트셋 구성 배포: RESTful API를 통한 배포, 유지 보수

---

1. Loss function

-분류 예측값의 틀린 정도를 계산하는 Cross-Entropy

-딥러닝의 모든 문제는 선형 회귀로 표현이 가능함(결과론적으로) y = wx + b

Cross-Entropy Loss

---

2. Weight Update(Gradient Descent)와 Batch Training:

-현재 발전 방향: GD -> SGD -> Momentum -> Adam -> AdamW

-GD: 모든 데이터에 대해 feed-forward(입력부터 출력까지 순전파)하고 평균 Loss를 계산하여 Update

-Stochastic GD: 데이터 하나마다 feed-forward하고 loss를 Update

-mini-batch GD: m개의 데이터를 feed-forward 후 평균 loss를 계산, Update ＊m은 주로 2의 N승(연산효율적)

★ Batch Size에 따른 조절

 -클수록 수렴이 빠르나 업데이트를 위해 많은 계산 필요

 -작으면 편향된 gradient로 local minima를 탈출할 수 있지만 너무 noisy해져 수렴이 어려워질 수 있음

---

3. Learning Rate Scheduling:

 ★ iteration에 따른 조절

Learning Rate Decay: Step or Cosine / 단계적 또는 코사인 유사도(코사인 각도를 이용한 두 벡터의 유사도)를 활용한 조절

 -너무 크면 loss가 발산, 너무 작으면 loss 수렴이 늦음/local minima에 빠질 위험

---

4. Transfer Learning:

-Pretrained model의 정보 load &학습 / 가운데 레이어는 두고 앞 뒤를 조절(숫자가 모두 change & 형변환)