more than big

[Statistics/Math] Bias를 통제하는 방법은 무엇입니까?

Bias를 통제하는 방법은 무엇입니까? 편향이 높다는 것은 모델이 유연하지 않고 오차가 큼을 의미 → 언더피팅 하지만 편향을 낮추는 데에만 치중하면 분산이 커진다. → 편향-분산의 tradeoff 관계 때문 모든 데이터를 못맞추거나(언더피팅), 특정 데이터만 맞추기보다는(오버피팅) 모든 데이터에 있어서 정답인 값과 그리 큰 차이가 나지 않는 범위의 값을 예측하는 방향으로 학습하도록 해야 ⇒ 편향과 분산을 함께 고려할 필요 있음 bias 통제 방법 : 모델의 크기를 키우거나, 개인적인 인사이트와 분석을 바탕으로 직접 모델 구조 및 파라미터를 수정 편향 줄이기 : 모델의 크기 키우기 분산 줄이기 : 정규화 줄이거나 제거, 데이터 늘리기 (구글링한 바로는 개인적인 인사이트나 분석을 활용하여 직접 모델 구조 및..

[Python] *args, **kwargs 는 무엇이며, 왜 사용하는가?

- *args, **kargs : 동시에 여러 변수를 함수에 전달하고 싶을 때 사용하며 특히 몇 개나 전달할 지 알 수 없을 때 사용하면 편리하다. - **kargs는 key-value형태로 전달할 때 사용한다. def args(*arguments): print(arguments) def kargs(**keyword_arguments): print(keyword_arguments) 1. *args : 쉼표로 구분해 여러 변수를 전달하면 그 변수들을 담은 튜플이 전달됨 전달 형식 : 'one', 'two', 'three' args('one', 'two', 'three') """ 위 코드 실행 결과: ('one', 'two', 'three') """ 2. **kargs : 쉼표로 구분 + key=value의..

[Statistics/Math] “likelihood”와 “probability”의 차이는 무엇일까요?

확률은 데이터를 직접 보지 않아도 이미 알고 있는 모수를 통해 판단 가능한 논리적 가능성를 말한다. 확률의 총합은 언제나 1이다. 반면 가능도는 논리를 따지기 보다는 직접 데이터를 봄으로써, 어떤 데이터값이 가장 많이 등장했는지, 즉 경험적으로 어떤 데이터값이 나올 가능성이 높은지 판단하는 것입니다. 즉, 확률이 아니라 가능성의 정도이므로 세밀한 수치로 받아들이기 보단 크고 작음으로 판단하는 것이 좋습니다. 또한 확률 밀도 함수에서는 확률변수를 변수로 보기 때문에 총합이 1이지만, 가능도 함수에서는 모수를 변수로 보기 때문에 총합이 1이 되지 않을수도 있습니다.

[Python] 파이썬에서 namespace란 무엇인가요?

namespace란 특정한 객체(Object)를 이름(Name)에 따라 구분할 수 있는 범위를 뜻한다. namespace가 다르면 같은 변수명을 각기 다르게 독립적으로 사용할 수 있으나, 그렇지 않은 경우는 같은 변수로 인식되므로 유의해야 힌다. 외부에 있는 변수를 변경하고 싶다면 global 또는 nonlocal 키워드를 사용해야 한다. 파이썬의 네임스페이스는 3가지로 분류할 수 있다: 전역 네임스페이스: 모듈별로 존재하며, 모듈 전체에서 통용될 수 있는 이름들이 소속된다. 지역 네임스페이스: 함수 및 메서드 별로 존재하며, 함수 내의 지역 변수들의 이름들이 소속된다. 빌트인 네임스페이스: 기본 내장 함수 및 기본 예외들의 이름들이 소속된다. 파이썬으로 작성된 모든 코드 범위가 포함된다. 파이썬의 네임..

[Deep Learning] 오버피팅일 경우 어떻게 대처해야 할까요?

오버피팅은 실험하고 있는 특정 데이터를 필요 이상으로 학습한 상태로, 일반화 성능이 낮아지는 문제를 초래합니다. 데이터의 수 증가(ex. augmentation을 통해 늘림) 데이터에 노이즈 추가 : outlier에 robust하도록 합니다. (1,2번이 거의 같은 맥락이다. 데이터 어그멘테이션을 통해 데이터의 수가 증가하지만 증가한 데이터들은 원본의 변형이고 이 변형을 노이즈라고 치환해도 무방하므로.) feature를 줄이거나, layer를 줄여 모델의 복잡도를 낮춥니다. 배치 정규화(batch normalization) : mini batch 별로 분산과 표준편차를 구해 분포를 조정합니다. 이를 통해 가중치의 초깃값에 의존하지 않고 강제로 활성화 값을 적절히 분포되도록 합니다. 혹은 dropout을 ..

[Machine Learning] Markov Chain을 고등학생에게 설명하려면 어떤 방식이 제일 좋을까요?

마르코프 과정은 마르코프 특성(Markov Property)을 지닌 이산시간(Discrete time) 확률과정(stochastic process)입니다. $$x_{1} = Ax_{0}, x_{2} = Ax_{1}, ..., x_{n+1} = Ax_{n}$$ 1. x : 상태 벡터 2. 마르코프 체인 : 상태 벡터들의 수열 3. A : 상태변이행렬(=상태전이행렬) 4. A의 각 열/행(합이 1이 되는 열/행) : 확률 벡터 초기 상태를 나타내는 벡터가 주어지고, 현재 상태에 따라 다음 상태를 확률적으로 예측하는 행렬(상태변이행렬, 또는 상태전이행렬이라 합니다)이 있을 때, 그 행렬과 벡터의 곱의 결과가 다음 상태 예측의 입력 벡터로 쓰이고 그런 식으로 생성된 일련의 벡터들을 마르코프 체인이라고 합니다. ..

[Machine Learning] 앙상블 보팅/배깅/부스팅/스태킹 정리

1. 앙상블 학습이란? 앙상블 학습(Ensemble Learning)은 여러 개의 분류기를 생성하고, 그 예측을 결합함으로써 보다 정확한 예측을 도출하는 기법을 말합니다. 강력한 하나의 모델을 사용하는대신 보다 약한 모델 여러개를 조합하여 더 정확한 예측에 도움을 주는 방식입니다. 현실세계로 예를 들면, 어려운 문제를 해결하는데 한 명의 전문가보다 여러명의 집단지성을 이용하여 문제를 해결하는 방식을 앙상블 기법이라 할 수 있습니다. 전 세계의 머신러닝 개발자들의 기량을 겨루는 오픈 플랫폼 캐글(Kaggle)에서 XGBoost, LightGBM과 같은 앙상블 알고리즘이 머신러닝의 선도 알고리즘으로 인기를 모으고 있다는 점에서 앙상블 학습의 강력함을 확인할 수 있습니다. 2. 앙상블 학습 유형 앙상블 학습은..

[Docker] Docker compose 커맨드 사용법

https://www.daleseo.com/docker-compose/ Docker Compose 커맨드 사용법 Engineering Blog by Dale Seo www.daleseo.com 친절하게 잘 정리되어 있다.