고정 헤더 영역
상세 컨텐츠
본문
앞서 1장에서 LLM의 초능력 언어 천재라는 내용으로 LLM이 어떻게 언어를 어떻게 학습하는지 이야기를 했습니다.
AI 시대에 알다가도 모르는 LLM에 대해서 - 1장. LLM은 초능력 언어 천재
최근 AI 분야에서 LLM(Large Language Model)이라는 용어가 자주 등장합니다. "대규모 언어 모델"이라는 직역은 기술적 어려움을 더할 뿐, 일반인에게는 여전히 낯설기만 합니다.사실 IT 업계 종사자인
alicemoza.tistory.com
오늘은 대형 언어 모델(LLM)이 방대한 데이터를 학습하고 자연어를 이해하는 모습을 보며 종종 이를 인간의 학습 방식과 비슷하지만 다른 부분에 대해서 이야기를 해보려고 합니다.
2장: 인간 뇌 vs 디지털 뇌 학습 비교
2-1. 데이터 학습: 디지털 화산 폭발
- 인간 아기: "사과=빨간 과일"을 배우려면 실제 사과를 보고 만져야 함
- LLM 신생아: 방대한 텍스트 데이터를 기반으로 "사과=과일/빨강/달콤/신맛/나무..." 연관성을 추출
💡 차이점: 인간이 실제 경험을 통해 직관적으로 개념을 이해하는 것과 달리, LLM은 단순히 수많은 텍스트 데이터를 조합하여 연관성을 학습할 뿐입니다.
보충 설명 : 방대한 텍스트 데이터를 기반으로 연광성을 추출한다는 것은 무엇일까요?
1. 인간 아기의 개념 학습
인간 아기가 "사과"라는 개념을 배울 때, 단순히 언어 정보만으로 학습하지 않습니다. 대신, 다음과 같은 다양한 감각적 경험을 통해 개념을 형성합니다.
- 시각: 사과의 둥근 모양, 빨간색(혹은 초록, 노란색 등)을 직접 봄
- 촉각: 사과를 손으로 잡아보고, 표면의 매끄러움이나 단단함을 느낌
- 미각: 한 입 베어 물었을 때 느껴지는 단맛과 신맛
- 후각: 사과 특유의 향을 맡음
- 청각: 사과를 씹을 때 나는 ‘아삭’ 소리
이처럼 인간은 직접적인 감각 경험을 통해 직관적으로 개념을 이해합니다. 그리고 반복된 경험을 통해 "사과는 과일이다", "사과는 먹을 수 있다" 같은 개념이 뇌 속에서 자연스럽게 자리 잡게 됩니다.
2. LLM(대형 언어 모델)의 개념 학습
LLM이 "사과"를 이해하는 방식은 인간과 다릅니다. LLM은 직접 사과를 볼 수도, 만질 수도, 맛볼 수도 없습니다. 대신, 인터넷과 책, 논문, 블로그 등 방대한 텍스트 데이터를 분석하여 "사과"와 관련된 단어와 문장의 연관성을 학습합니다.
예를 들어, LLM이 학습하는 데이터에는 다음과 같은 문장이 포함될 수 있습니다.
- "사과는 빨간색 과일이다."
- "사과는 달콤하고 약간 신맛이 난다."
- "사과는 나무에서 자란다."
- "사과를 먹으면 건강에 좋다."
이런 문장들을 수백만 개 분석하면서, LLM은 "사과"라는 단어가 "빨간색 / 과일 / 달콤함 / 신맛 / 나무" 같은 단어들과 자주 등장한다는 사실을 학습합니다. 즉, 텍스트 속 단어 간의 패턴과 연관성을 찾아낼 뿐, 실제로 사과를 본 적도, 맛본 적도 없습니다.
3. 인간과 LLM의 결정적 차이
💡 핵심 차이점
| 인간 아기 | LLM | |
| 학습 방식 | 직접 경험(오감) + 반복 학습 | 대규모 텍스트 데이터 분석 |
| 이해 방식 | 감각을 통해 직관적으로 개념 형성 | 단어 간의 통계적 연관성 학습 |
| 지식의 한계 | 경험한 것만 알지만, 맥락을 이해함 | 경험은 없지만 방대한 정보 조합 가능 |
LLM은 엄청난 양의 정보를 빠르게 처리할 수 있지만, 직관적인 개념 형성이나 실제 경험을 통한 이해는 불가능합니다. 단순히 단어 간의 패턴을 분석하여 예측하는 것이지, 진정한 의미에서 개념을 "이해"하는 것은 아닙니다.
결론적으로, LLM이 "사과"를 언급할 때는 과거 학습한 문장과 단어 연관성을 기반으로 단어를 예측하는 것일 뿐, 실제 사과를 떠올리거나 맛을 상상하는 것이 아니라는 점이 인간과의 가장 큰 차이입니다.
2-2. 토큰화: 언어의 레고 조각
- 인간의 단어 분해: "사랑해요" → "사랑" + "해요" (의미 단위 분리)
- LLM의 토큰 분해: "사랑해요" → "사랑"(1) + "해"(2) + "요"(3) (기계적 처리)
💡 의미: LLM이 단어를 있는 그대로 이해하는 것이 아니라, 특정 숫자 패턴(토큰)으로 변환하여 처리함을 의미합니다.
보충 설명 : 인간의 이해와 LLM의 토큰이란?
1. 인간의 단어 분해 방식
인간은 언어를 이해할 때, 문법적·의미적 단위(어절, 형태소 등)를 기반으로 단어를 분석합니다.
예를 들어, "사랑해요"라는 말을 들었을 때 인간은 자연스럽게 이를 다음과 같이 분해하여 의미를 파악합니다.
- "사랑" → 감정, 애정의 의미를 가진 단어
- "해요" → 동작(행위)을 나타내는 동사(하다)의 존칭형
즉, 인간은 단어를 단순히 나누는 것이 아니라, 각 부분의 의미를 고려하면서 문맥에 맞게 해석합니다.
예시 비교
- "사랑해요" → 사랑(명사) + 해요(동사) (의미 중심 분석)
- "맛있어요" → 맛(명사) + 있어요(동사) (의미 중심 분석)
- "운동해요" → 운동(명사) + 해요(동사) (의미 중심 분석)
위와 같이 인간은 단어를 의미 단위로 분리하여 자연스럽게 이해합니다.
2. LLM의 토큰 분해 방식
LLM(대형 언어 모델)은 인간처럼 의미 단위로 단어를 분해하는 것이 아니라, 기계적으로 토큰(Token)이라는 단위로 변환하여 처리합니다.
- "사랑해요" → "사랑"(1) + "해"(2) + "요"(3)
- "운동해요" → "운동"(1) + "해"(2) + "요"(3)
- "맛있어요" → "맛"(1) + "있"(2) + "어요"(3)
여기서 중요한 점은, LLM이 "사랑"과 "해요"를 각각 독립적인 의미로 이해하는 것이 아니라, 단어를 숫자(토큰) 패턴으로 변환하여 처리한다는 것입니다.
LLM은 문장을 읽을 때 텍스트를 그대로 받아들이는 것이 아니라, 텍스트를 작은 조각(토큰)으로 나누고, 숫자로 변환하여 패턴을 학습합니다.
예시 (영어 기준 GPT 모델의 토큰화 예시)
- "I love you" → "I" (토큰 1) + " love" (토큰 2) + " you" (토큰 3)
- "사랑해요" → "사랑" (토큰 1) + "해" (토큰 2) + "요" (토큰 3)
이처럼 LLM은 글자를 미리 정해진 토큰 단위로 나누고, 각각을 숫자로 변환하여 학습합니다. 즉, "사랑해요"라는 단어를 본 적이 없다면, "사랑"과 "해"와 "요"가 어떻게 조합되는지 모를 수도 있습니다.
3. 인간 vs. LLM의 핵심 차이
인간LLM
| 인간 | LLM | |
| 단어 처리 방식 | 의미 단위(형태소, 문맥 고려) | 기계적 토큰화(패턴 인식) |
| 의미 분석 방법 | 문법적 구조 + 경험 기반 이해 | 통계적 확률로 단어 예측 |
| 단어를 모를 때? | 유추 가능(맥락 이해) | 모르면 기존 패턴을 기반으로 추정 |
LLM이 문장을 만들 때, "사랑해요"라는 표현이 자주 등장했다면 이를 토큰화하여 자주 등장하는 패턴을 따른다고 볼 수 있습니다. 하지만 이 과정에서 문법적인 이해나 감정적 직관은 존재하지 않으며, 단순히 확률적 예측을 수행하는 것입니다.
따라서 LLM이 언어를 생성할 때, 문맥적 의미보다는 학습된 패턴과 확률적 조합을 따라간다는 점이 인간과의 결정적인 차이입니다.
💡왜 LLM은 토큰화를 할까?
컴퓨터는 우리가 쓰는 자연어(한글, 영어 등)를 그대로 이해할 수 없습니다.
- 인간은 단어를 보면 의미를 직관적으로 파악하지만,
- 컴퓨터는 모든 것을 숫자로 변환해야만 처리할 수 있습니다.
따라서, LLM은 문장을 숫자로 변환하는 과정이 필요한데, 이 과정이 "토큰화(Tokenization)"입니다.
결국 이런 토큰화와 확률적인 계산을 통해서 인간과 같이 언어를 다루게 됩니다.
2-3. 어텐션: 디지털 집중력
- 인간의 대화: "내일 제주도 여행인데 우산 필요할까?" → "제주도", "우산", "날씨"에 집중
- LLM의 처리: 모든 단어 사이의 관계를 수학적 가중치로 계산해 답변 생성
💡 한계: LLM이 항상 맥락을 정확히 이해하는 것은 아닙니다. 질문이 모호하거나 애매하면 엉뚱한 답을 할 가능성이 있습니다.
보충 설명 : 조금 더 쉽게 설명해 볼께요
1. 인간의 대화 처리 방식
인간은 대화를 할 때 핵심적인 정보에 집중하고, 불필요한 단어는 무시합니다.
예를 들어, 누군가
👉 "내일 제주도 여행인데 우산 필요할까?"
라고 물어보면, 인간은 다음과 같은 방식으로 이해합니다.
(1) 핵심 단어(키워드) 파악
- "제주도" → 여행지
- "우산" → 비와 관련
- "내일" → 날짜(시간 정보)
- "필요할까?" → 미래 예측(비가 오는지 궁금)
이렇게 인간은 대화를 들으면 중요한 단어를 우선적으로 인식하고,
불필요한 단어("인데" 같은 연결어)는 대충 넘어갑니다.
(2) 맥락을 바탕으로 판단
인간은 "제주도 여행"과 "우산"이 함께 등장하면,
→ "아, 이 사람이 내일 제주도 날씨가 비가 오는지 궁금하구나!"
라고 자연스럽게 해석합니다.
즉, **우리가 대화를 이해하는 방식은 '의미 중심'**입니다.
- 우리는 단어 하나하나의 관계를 계산하지 않고,
- 직관적으로 문장의 핵심 의미를 파악합니다.
2. LLM(대형 언어 모델)의 문장 처리 방식
LLM은 인간처럼 직관적으로 문장을 이해하지 못합니다. 대신, 수학적 계산을 통해 문장을 분석합니다.
(1) 모든 단어의 관계를 수학적으로 계산
LLM은 질문을 받으면,
문장 속 **모든 단어가 서로 얼마나 연관되어 있는지(가중치)**를 계산합니다.
예를 들어,
"내일 제주도 여행인데 우산 필요할까?"
라는 문장을 LLM이 처리할 때, 내부적으로 이런 식의 계산이 이루어집니다.
- "내일" ↔ "제주도" (시간과 장소 관계)
- "제주도" ↔ "날씨" (제주도 날씨와 연관)
- "우산" ↔ "날씨" (비와 관련)
- "필요할까?" ↔ "우산" (우산이 필요한지 예측하는 질문)
각 단어마다 **가중치(weight)**가 부여되며,
가장 연관성이 높은 정보들을 조합해서 답변을 생성합니다.
(2) 확률적으로 가장 적절한 답변을 예측
LLM은 정해진 답을 가지고 있는 것이 아니라,
문맥 속에서 가장 적절할 확률이 높은 단어를 선택해서 문장을 만듭니다.
예를 들어, GPT 모델이 이 질문에 답할 때,
데이터를 기반으로 "제주도 날씨"와 "비가 올 확률"이 중요한 요소라는 걸 알아내고,
→ "내일 제주도는 비가 올 가능성이 있습니다. 우산을 챙기는 것이 좋겠어요!"
라는 식의 답변을 생성합니다.
즉, LLM은 문장을 "단어 간의 확률적 연관성"으로 해석하고,
확률적으로 가장 적절한 답변을 만들어냅니다.
3. LLM의 한계
LLM은 인간처럼 대화를 직관적으로 이해하지 못하기 때문에, 문장이 애매하면 이상한 답변을 할 가능성이 있습니다.
(1) 질문이 모호할 경우
예를 들어,
"내일 제주도 여행인데 우산 필요할까?"
라는 질문이 아니라,
"내일 비 올까?"
라고 하면, 제주도인지, 서울인지, 어디를 묻는 건지 애매합니다.
인간이라면 "어디 날씨를 묻는 거지?" 하고 되물어볼 수도 있지만,
LLM은 단순히 확률적인 패턴만 따지기 때문에,
엉뚱한 지역의 날씨 정보를 말할 수도 있습니다.
(2) 단어의 미묘한 뉘앙스를 놓칠 경우
예를 들어,
- "비가 와서 여행 망쳤어." (부정적인 감정)
- "비가 와서 더 운치 있었어." (긍정적인 감정)
이 두 문장은 같은 "비가 와서"라는 내용이지만,
맥락이 다릅니다.
인간이라면 감정적 뉘앙스를 이해할 수 있지만,
LLM은 확률적으로 연관된 단어를 조합할 뿐이므로,
감정적인 요소를 잘못 해석할 가능성이 있습니다.
(3) 장기적인 맥락을 기억하지 못함
LLM은 보통 한 번의 질문과 답변 단위로 동작하기 때문에,
이전 대화의 내용을 장기적으로 기억하지 못하는 경우가 많습니다.
예를 들어,
- "내일 제주도 여행 가는데..."
- "우산 필요할까?"
이렇게 문장을 나눠서 질문하면,
인간은 자연스럽게 1번과 2번이 연결된다고 이해하지만,
LLM은 2번만 보면 '어디 여행인지'를 잊어버릴 가능성이 있습니다.
우리는 LLM이 인간처럼 언어를 이해하는 것처럼 보이지만, 실제로는 완전히 다른 방식으로 작동한다는 점을 알 수 있습니다. 인간은 오감을 통해 세상을 경험하고, 감각과 직관을 바탕으로 의미를 이해합니다. 반면, LLM은 수많은 텍스트 데이터를 통계적으로 분석하고, 단어 간의 패턴을 찾아 가장 가능성이 높은 답변을 생성합니다.
이 차이는 단순한 기술적 차이를 넘어, 우리가 인공지능을 어떻게 바라보고 활용해야 하는지에 대한 중요한 시사점을 제공합니다. LLM은 빠르고 방대한 정보를 처리할 수 있지만, 인간의 직관적 사고나 감각적 경험을 대체할 수는 없습니다. 따라서 우리는 LLM을 만능 도구로 여기기보다는, 인간의 사고를 보완하는 유용한 도구로 활용해야 합니다.
결국, 인공지능 시대를 살아가는 우리에게 필요한 것은 '기술에 대한 맹신'이 아니라 '기술에 대한 올바른 이해'입니다. LLM을 효과적으로 활용하기 위해서는, 그 한계를 인지하고 인간의 창의력과 비판적 사고를 결합하는 것이 무엇보다 중요합니다.
다음 시간에는 LLM이 어떻게 자신을 학습하고 강화하는지에 대해서 이야기를 하려고 합니다. 다음 시간에 만나요~
AI 시대에 알다가도 모르는 LLM에 대해서
반응형
