AI/AITech 3기
[DL Basic] 2강 MLP (Multi-Layer Perceptron)
1. Neural Network 인간의 뇌를 모방했다는 아이디어에서 뉴럴 네트워크라고 부른다. 다만, 현재의 발전된 NN은 인간의 뇌를 모방했다는 이유로 잘 됐다고 하기에는 크게 달라졌다. 2. Linear Nearal Network η 에타(ETA) : learning rate 이 learning rate를 잘 설정하는 것이 중요 너무 작으면 학습이 느리고, 너무 크면 발산할 수 있음 3. MLP 비선형 NN을 만들기 위해서는 단순히 가중치 행렬을 곱하는 선형 변환뿐 아니라, 비선형적인 변환이 추가되어야 한다. 이때 사용될 수 있는 것이 활성화 함수이다. 대표적으로 ReLU, Sigmoid, Hyperbolic Tanget가 있다. 보통 이렇게 2개 이상의 가중치 행렬을 곱하고, 활성화 함수가 포함된 ..
2022. 2. 10. 12:38