퍼셉트론과 다층 퍼셉트론

🎯 학습 목표

• 퍼셉트론(Perceptron)의 개념을 이해한다.
• 다층 퍼셉트론(MLP: Multi-Layer Perceptron)의 구조와 필요성을 이해한다.

---

🕰️ 딥러닝의 역사 개요

연도주요 사건설명

1943	ANN 개념 도입	인간 신경망을 모방한 인공신경망(ANN, Artificial Neural Network) 개념 제시
1958	Perceptron 제안 (Rosenblatt)	최초의 인공신경망 모델 제안
1969	XOR 문제 제기 (Minsky & Papert)	퍼셉트론이 선형 분리 불가능 문제(XOR)를 해결하지 못함
1986	MLP & 역전파(Backpropagation)	다층 퍼셉트론으로 XOR 문제 해결, 오차역전파 알고리즘 제안
1990s	Gradient Vanishing 문제 대두	깊은 네트워크 학습의 어려움 발생
1998	CNN(LeNet-5)	이미지 인식용 합성곱 신경망 등장
2006	RBM → DBN(딥러닝) 제안	비지도 사전학습으로 과적합 문제 완화
2013~2015	ReLU, Dropout, DQN(AlphaGo)	성능 향상 및 과적합 억제 기술 발전
2023	ChatGPT 등장	대규모 언어모델의 혁신적 발전

---

⚙️ 퍼셉트론 (Perceptron)

🧩 기본 개념

• 입력(Input): x1,x2,…,xnx_1, x_2, \dots, x_nx1​,x2​,…,xn​
• 가중치(Weight): 각 입력의 중요도를 결정 w1,w2,…,wnw_1, w_2, \dots, w_nw1​,w2​,…,wn​
• 편향(Bias): 뉴런이 활성화되기 쉬운 정도를 조절
• 출력(Output):y=f(w⋅x+b)y = f(w \cdot x + b)y=f(w⋅x+b)여기서 fff는 활성화 함수(Activation Function)

---

⚡ 활성화 함수 (Activation Function)

입력 신호의 가중합을 비선형적으로 변환하여 출력으로 보냄.

함수수식특징

Step Function	f(x)=1 if x>0,0 otherwisef(x) = 1 \text{ if } x>0, 0 \text{ otherwise}f(x)=1 if x>0,0 otherwise	단순한 분류에 사용, 미분 불가
Sigmoid	f(x)=11+e−xf(x) = \frac{1}{1 + e^{-x}}f(x)=1+e−x1​	부드러운 출력, Gradient Vanishing 문제 존재
ReLU	f(x)=max⁡(0,x)f(x) = \max(0, x)f(x)=max(0,x)	학습 속도 빠름, 현재 표준
Tanh	f(x)=tanh⁡(x)f(x) = \tanh(x)f(x)=tanh(x)	Sigmoid 개선판, 출력 범위 (-1, 1)

---

🧮 XOR 문제

❌ 퍼셉트론의 한계

• 단층 퍼셉트론은 선형 분리 문제만 해결 가능
• XOR(배타적 논리합) 문제는 비선형 → 단층으로는 구분 불가

예시:

x₁x₂XOR 출력

0	0	0
0	1	1
1	0	1
1	1	0

선형 경계선으로 분리 불가 → MLP의 필요성 등장

---

🧱 다층 퍼셉트론 (MLP: Multi-Layer Perceptron)

🌐 구조

 

입력층(Input Layer) → 은닉층(Hidden Layer) → 출력층(Output Layer)

• 은닉층(Hidden Layer): 비선형 변환을 수행해 복잡한 패턴 학습 가능
• 출력층(Output Layer): 문제 유형에 따라 활성화 함수 결정
  • 분류: Softmax
  • 회귀: Linear

---

🔁 학습 과정 (Backpropagation)

1. Forward Propagation
   입력 데이터를 통해 출력 계산
2. Loss 계산
   예측값과 실제값의 차이 측정
3. Backward Propagation
   오차를 역전파하여 가중치, 편향 업데이트
4. 반복(Iteration)
   학습률(learning rate)에 따라 점진적으로 수렴

---

🧠 핵심 정리

개념설명

퍼셉트론	가장 기본적인 신경망 모델 (단층)
한계	XOR 등 비선형 문제 해결 불가
MLP	은닉층을 추가하여 비선형 문제 해결
학습 방식	오차역전파 알고리즘 (Backpropagation)
주요 발전	ReLU, Dropout, CNN, LSTM, DQN, GPT 등으로 확장

---

📌 한 줄 요약

퍼셉트론은 인공신경망의 출발점이며, 다층 퍼셉트론(MLP)은 XOR 문제를 해결하며 딥러닝 발전의 초석이 되었다.