[밑바닥부터 시작하는 딥러닝1] 2장 퍼셉트론 - 퍼셉트론이란?

퍼셉트론이란?

: 프랑크 로젠블라트가 1957년에 고안한 알고리즘으로, 신경망(딥러닝)의 기원이 되는 알고리즘입니다.

 

퍼셉트론은 다수의 신호를 입력으로 받아 하나의 신호를 출력합니다.

 

전류가 전선을 타고 흐르는 전자를 내보내듯, 퍼셉트론 신호도 흐름을 만들고 정보를 앞으로 전달합니다.

다만, 실제 전류와 달리 퍼셉트론 신호는 '흐른다/안 흐른다(1이나 0)'의 두 가지 값을 가질 수 있습니다.

 

입력이 2개인 퍼셉트론

 

위 그림은 입력으로 2개의 신호를 받은 퍼셉트론의 예 입니다.

• $x1$과 $x2$ : 입력 신호
• $y$ : 출력 신호
• $w1$과 $w2$ : 가중치 (여기서 w는 가중치를 의미하는 weight의 머리글자입니다.)
• (위 그림 속) 원 : 뉴런( 혹는 노드)

 

입력 신호가 뉴런에 보내질 때는 각각 고유한 가중치가 곱해집니다 → ($w1x1$, $w2x2$)

뉴런이 보내온 신호의 총합이 정해진 한계를 넘어설 때만 1을 출력합니다 → 이를 '뉴런이 활성화한다'라고 표현하기도 합니다.

 

이 책에서는 그 한계를 임계값 이라 하며, $\theta$로 나타냅니다.

 

• 정해진 한계 = 임계값 = $\theta$

 

위와 같은 퍼셉트론의 동작 원리를 수식으로 나타내면 아래와 같은 식이 됩니다.

 

0일 땐 비활성화, 1일 땐 활성화되었다는 의미

1. 퍼셉트론은 복수의 입력 신호 각각에

2. 고유한 가중치를 부여합니다.

3. 가중치는 각 신호가 클수록 해당 신호가 그만큼 더 중요함을 뜻합니다.

 

 

가중치 = (전류에서 말하는) 저항

저항 : 전류의 흐름을 억제하는 매개변수로, 저항이 낮을수록 큰 전류가 흐릅니다.
(퍼셉트론의)가중치 : 저항과 반대로, 값이 클수록 강한 신호를 흘려보냅니다.

- 서로 작용하는 방향은 반대지만
- 신호가 얼마나 잘(또는 어렵게) 흐르는가를 통제한다는 점에서
- 저항과 가중치는 같은 기능을 합니다.