머신러닝(2): Feature Selection

전통적인 feature selection: [전진 선택법, 후진 소거법, 단계적 선택법] --> 효율 ↓

개선된 feature selection: Penalty Term

---

Penalty Term: 불필요한 Feature에게 벌을 부여해서 학습하지 못하게 함

 -Error를 최소화 하는 제약 조건에서 필요 없는 Feature의 베타(계수)에 페널티를 부여

 

---

---

미분하여 0에 가깝게, Loss Func 발견 목적 -> 페널티 부여로 가능

---

1) Ridge Regression(L2-norm): 제곱 오차를 최소화하며 회귀 계수를 제한

2) Rasso Regression(L1-norm): 절대값을 씌운 오차를 최소화하며 회귀 계수 제한, 미분 불가로 경사하강법 사용

 

Ridge(제곱)	Rasso(절대값)
L2 norm 규제	L1 norm 규제
변수 선택 불가능	변수 선택 가능
Closed form solution 존재(미분으로 구함)	Closed form solution 존재하지 않음, 경사하강법 이용
변수 간 상관관계가 높은 상황에서 좋은 예측 성능	변수 간 상관관계가 높은 상황에서 ridge 보다  예측 성능 부족
크기가 큰 변수를 우선적으로 줄이는 경향

 

3)ElasticNet: Ridge + Rasso, 최적해 선택 기법