기록하는삶
[AI/빅데이터] 헵의 규칙, 단층 퍼셉트론, 다층 퍼셉트론 본문
1) 헵의 규칙(Hebb Rule)
인공신경망(ANN _ Artificial Neural Network)의 가중치(Weight) 개념의 도입 이론인 헵의 규칙. 두 뉴런간의 상관관계가 강할수록 큰 효율(weight)을 갖는다는 이론이다. 인공신경망이 인간의 신경망을 본따 만드는 것이므로, 헵이 제안한 학습 규칙이 퍼셉트론에 거의 유사하게 적용된다.
2) 단층 퍼셉트론(Perceptron)
지도학습이 가능한 인공신경망의 한 종류다. n개의 input에 각각 weight를 적용, 그 가중치의 선형 결합을 구하는 형태로 입력과 출력으로 구성된다. 다수의 신호를 입력해 하나의 신호를 출력하는데, 이때 단층 퍼셉트론은 하나의 층(layer)만을 두고 활성화 함수*(Activation function)로 계단함수(step function)를 사용해 결과값으로 임계값(보통 0)이 넘으면 1을, 그렇지 않다면 -1을 출력하도록 구성된 퍼셉트론을 말한다. And 연산과 OR 연산은 가능하지만, XOR 연산이 불가능하다는 한계를 가진다.
*
활성화함수(Activation function)
입력 신호의 선형 결합이 활성화를 일으키는지 아닌지를 확인하는 함수로, 입력 신호의 선형 합을 출력 신호로 변환하는 함수를 말한다. 항등함수(Identity Function), 경사함수(Ramp Function), 계단함수(Step Function), 시그모이드 함수(Sigmoid Function)등이 그 예이다.
3) 다층퍼셉트론
하나 이상의 은닉층(hidden layer)을 포함하는 전방향(feedfoward) 신경회로망. 단층퍼셉트론의 한계인 XOR 연산이 가능하고, 오차역전파법(back propagation)을 이용하면 최적의 Weight와 Bias를 학습하는데 있어 그 속도를 높일 수 있다.
