언어지능(PLM) — 세상에서 가장 똑똑한 언어 비서가 만들어지는 과정

🧠 언어지능(PLM) — 세상에서 가장 똑똑한 언어 비서가 만들어지는 과정

상상해봐. 너에게 말만 하면 무엇이든 대답해주는 만능 비서가 있다고 해. 어떤 질문을 해도 찰떡같이 이해하고, 네가 글을 쓰면 알아서 번역도 해주고, 글의 감정도 읽어내.

그 비서를 만드는 기술이 바로 언어지능(Language Intelligence), 그리고 그 핵심이 PLM(Pretrained Language Model, 사전학습 언어모델)이야.

이 PDF는 바로 그 비서를 어떻게 훈련시키고, 어떤 능력을 가지게 하는지를 알려주는 내용이야. 이제부터 아주 재미있고 쉽게 풀어서 설명해볼게!

---

📌 1. PLM이란?

➜ “언어 천재를 만들기 위한 준비 운동”

PLM은 사전학습 언어 모델이야. 쉽게 말하면,

먼저 엄청나게 큰 도서관을 통째로 읽혀서 세상의 언어 패턴을 이해하도록 만든 모델이야.

그 후, 이 모델을 감성분석, 번역, 질의응답 같은 특정 작업에 다시 익히는 걸 파인튜닝이라고 해!

즉:

• 사전학습(Pre-training) = 달리기 전에 근력 키우기
• 파인튜닝(Fine-tuning) = 특정 종목 선수로 훈련시키기

---

📌 2. PLM을 똑똑하게 만드는 두 가지 방식

🟦 1) Feature-based Approach

➡ “좋은 재료를 주는 방식”

Word2Vec, FastText 같은 기법으로 단어를 숫자로 바꾸는 임베딩(Embedding)을 더 좋게 만드는 방법이야.

이건 비서에게 “좋은 어휘력을 장착해주는 것”과 비슷해.

---

🟨 2) Fine-tuning Approach

➡ “전체 뇌를 다시 훈련시키는 방식”

ELMo, GPT, BERT 같은 모델은 “뇌 전체 회로”를 새로운 작업에 맞게 조정해.

즉, 단어 실력 + 문장 이해력 + 상황 판단 능력까지 전부 개선하는 거지!

---

📌 3. 언어모델의 종류 – 비서가 세상을 읽는 방식

언어모델은 문장을 읽는 방향에 따라 달라져.

🎯 (1) 순방향 모델 — GPT 왼쪽 → 오른쪽 사람이 읽는 순서대로 읽어. 문장 생성에 특화!

🎯 (2) 역방향 모델 — 일부 ELMo 구성 오른쪽 → 왼쪽 문장 끝을 먼저 보고 거꾸로 해석.

🎯 (3) 양방향 모델 — BERT 양쪽에서 동시에 읽어 문맥 파악의 끝판왕. 감성분석, 의미 파악 최강자!

🎯 (4) 스킵그램 (Word2Vec) 기준 단어를 중심으로 앞뒤 단어를 예측해 단어 의미를 파악

---

📌 4. 업스트림 & 다운스트림 태스크

언어 비서(모델)가 학습하는 과정을 2단계로 설명할게.

---

🟧 1) 업스트림(Pre-training)

"비서를 만들기 위한 기본기 훈련"

• 수십억 문장을 먹여서 언어 습득
• 다음 단어 맞히기, 빈칸 채우기 같은 게임으로 학습
• 사람 도움 없이 스스로 학습 → 자기지도학습

이 과정에서 비서는 “언어 감각”을 얻게 돼.

---

🟩 2) 다운스트림(Fine-tuning)

"비서를 특정 직무 전문가로 만들기"

예시:

• 감성 분석
• 번역
• 질의응답
• 개체명 인식

즉, 업스트림에서 언어 감각을 배우고 다운스트림에서 자기 직무를 익힌다!

---

📌 5. 다운스트림 태스크 종류 — 비서가 할 수 있는 일들

📌 문서분류

▶ 문장이 긍정인지 부정인지 판단 → “이 리뷰, 좋은 리뷰인가요?”

📌 자연어추론(NLI)

▶ 두 문장의 관계 판단 (참 / 거짓 / 중립)

📌 개체명 인식(NER)

▶ 문장에서 사람, 장소, 기관명 같은 요소를 식별

📌 질의응답(QA)

▶ “정답이 어떤 단어 범위인지”를 알려줌

📌 문장 생성

▶ “다음에 올 단어는 무엇일까?”를 예측

GPT의 주특기!

---

📌 6. 트랜스포머 — 언어모델 세계의 혁명

RNN은 문장을 “순차적으로” 읽어야 해서 느렸어. 하지만 트랜스포머(Transformer)는 달라!

• 문장을 “한 번에” 보고 이해할 수 있어
• 어텐션(Attention)이라는 기술로 중요한 단어를 집중해서 봄

예시:

문장: “The animal didn’t cross the street because it was too tired.”

여기서 it이 무엇인지 찾을 때, 트랜스포머는 animal을 가장 중요하게 봐.

---

📌 7. BERT vs GPT — 라이벌 형제

🔷 BERT = “문맥 이해 왕”

• 양방향(Masked LM)
• 문장 의미 파악에 강함
• 감성분석, QA 등에 최강

🔶 GPT = “문장 생성 왕”

• 순방향
• 글쓰기, 번역, 요약, 창작에 강함

둘 다 트랜스포머를 기반으로 하지만 사용 목적이 완전히 달라!

---

🎉 마무리 요약 — 정말 쉽게!

개념	비유	설명
PLM	똑똑한 비서 기본 교육	큰 도서관 다 읽고 언어 이해
Fine-tuning	직업 교육	감성분석 등 특정 업무 훈련
GPT	수다쟁이 작가	문장 생성 최고
BERT	조용한 이해 전문가	문맥 파악 최고
Transformer	초능력 안경	문장 전체를 한 번에 이해함
Attention	스포트라이트	중요한 단어에 집중

---