[밑바닥부터 시작하는 딥러닝1] 2장 퍼셉트론 - NAND에서 컴퓨터까지

다층 퍼셉트론은 컴퓨터도 만들 정도로 복잡한 표현을 해냅니다. 이론상 2층 퍼셉트론이면 컴퓨터를 만들 수 있다고 합니다! 말도 안되는 소리 같지만, 2층 퍼셉트론, 정확히는 비선형인 시그모이드 함수를 활성화 함수로 이용하면 임의의 함수를 표현할 수 있다는 사실이 증명되었습니다.(3장 참고)

 

그러나 2층 퍼셉트론 구조에서 가중치를 적절히 설정하여 컴퓨터를 만들기란 너무 어렵습니다.

실제로도 NAND 등의 저수준 소자에서 시작하여 컴퓨터를 만드는 데 필요한 부품(모듈)을 단계적으로 만드는 쪽이 자연스러운 방법입니다.

 

즉, 처음에는 AND와 OR 게이트, 그다음에는 반가산기와 전가산기, 그 다음에는 산술 논리 연산 장치(ALU), 그 다음에는 CPU라는 식입니다.

 

그래서 퍼셉트론으로 표현하는 컴퓨터도 여러 층을 다시 층층이 겹친 구조로 만드는 방향이 자연스러운 흐름입니다.

 

퍼셉트론은 층을 거듭 쌓으면 비선형적인 표현도 가능하고, 이론상 컴퓨터가 수행하는 처리도 모두 표현할 수 있답니다.

 

 

정리

퍼셉트론은 다음 자에서 배울 신경망의 기초가 됩니다. 그러니 이 번 장에서 배운 내용을 숙지하고 넘어갑시다.

 

1. 퍼셉트론은 입출력을 갖춘 알고리즘이다. 입력을 주면 정해진 규칙에 따른 값을 출력한다.

2. 퍼셉트론에서는 가중치와 편향을 매개변수로 설정한다.

3. 퍼셉트론으로 AND, OR 게이트 등의 논리 회로를 표현할 수 있다.

4. XOR 게이트는 단층 퍼셉트론으로는 표현할 수 없다.

5. 2층 퍼셉트론을 이용하면 XOR 게이트를 표현할 수 있다.

6. 단층 퍼셉트론은 직선형 영역만 표현할 수 있고, 다층 퍼셉트론은 비선형 영역도 표현할 수 있다.

7. 다층 퍼셉트론은 (이론상) 컴퓨터를 표현할 수 있다.