[Statistics/Math] Bias를 통제하는 방법은 무엇입니까?

Bias를 통제하는 방법은 무엇입니까?

1. 편향이 높다는 것은 모델이 유연하지 않고 오차가 큼을 의미 → 언더피팅
2. 하지만 편향을 낮추는 데에만 치중하면 분산이 커진다. → 편향-분산의 tradeoff 관계 때문
3. 모든 데이터를 못맞추거나(언더피팅), 특정 데이터만 맞추기보다는(오버피팅) 모든 데이터에 있어서 정답인 값과 그리 큰 차이가 나지 않는 범위의 값을 예측하는 방향으로 학습하도록 해야 ⇒ 편향과 분산을 함께 고려할 필요 있음
4. bias 통제 방법 : 모델의 크기를 키우거나, 개인적인 인사이트와 분석을 바탕으로 직접 모델 구조 및 파라미터를 수정

 

편향 줄이기 : 모델의 크기 키우기

분산 줄이기 : 정규화 줄이거나 제거, 데이터 늘리기

(구글링한 바로는 개인적인 인사이트나 분석을 활용하여 직접 모델 구조 및 파라미터를 개선하는 것이 가장 효과가 좋은 것 같음..)