토큰과 트랜스포머

토큰과 트랜스포머

 

아주 간단히 말하면:

토큰은 LLM이 읽고 쓰는 글자의 조각이고,
트랜스포머는 그 토큰들 사이의 관계를 계산하는 구조입니다.

---

1. 토큰이란?

사람은 문장을 글자, 단어, 뜻으로 읽습니다.
하지만 LLM은 문장을 그대로 읽지 않고 먼저 잘게 나눕니다. 이 조각을 토큰 token이라고 합니다.

예를 들어 문장이 있습니다.

나는 오늘 학교에 갔다.

사람은 이렇게 이해합니다.

나는 / 오늘 / 학교에 / 갔다

LLM은 모델에 따라 다르지만 대략 다음처럼 나눌 수 있습니다.

나 / 는 / 오늘 / 학교 / 에 / 갔다 / .

또는 어떤 단어는 더 작게 쪼개질 수 있습니다.

트랜스포머
→ 트 / 랜 / 스 / 포 / 머

또는

트랜스 / 포머

처럼 나뉠 수도 있습니다.

즉, 토큰은 LLM이 처리하기 쉽게 만든 문자·단어 조각입니다.

---

2. 왜 토큰으로 나누나요?

컴퓨터는 글자를 바로 “의미”로 이해하지 못합니다.
그래서 문장을 숫자로 바꿔야 합니다.

과정은 대략 이렇습니다.

문장
→ 토큰으로 분리
→ 각 토큰에 번호 부여
→ 숫자 벡터로 변환
→ 트랜스포머가 관계 계산
→ 다음 토큰 예측

예를 들어:

나는 밥을 먹었다

이 문장이 들어오면 먼저 토큰으로 나누고,

나는 / 밥 / 을 / 먹 / 었다

각 토큰에 번호를 붙입니다.

나는 = 1024
밥 = 2841
을 = 57
먹 = 9182
었다 = 331

이 번호들은 다시 더 복잡한 숫자 묶음, 즉 벡터로 바뀝니다.
이 벡터를 가지고 모델이 계산합니다.

---

3. 토큰은 글자도 단어도 아닙니다

토큰을 이해할 때 중요한 점은 이것입니다.

토큰은 반드시 “단어”와 일치하지 않습니다.

예를 들어 영어에서는:

unbelievable

이 단어가 다음처럼 나뉠 수 있습니다.

un / believe / able

한국어도 마찬가지입니다.

공부했습니다

이 말이 다음처럼 나뉠 수 있습니다.

공부 / 했 / 습니다

또는 더 잘게 나뉠 수도 있습니다.

그래서 LLM에게는 문장 길이보다 토큰 수가 더 중요합니다.

---

4. 토큰 수가 중요한 이유

LLM에는 한 번에 처리할 수 있는 토큰 수의 한계가 있습니다.
이것을 컨텍스트 창 context window이라고 합니다.

예를 들어 어떤 모델이 한 번에 128,000토큰을 처리할 수 있다면, 질문·이전 대화·문서·답변이 모두 그 범위 안에 들어가야 합니다.

토큰 수가 많아지면 다음 문제가 생깁니다.

 

문제	설명
처리 비용 증가	계산량이 많아짐
응답 속도 저하	읽어야 할 양이 많아짐
긴 문서 한계	너무 길면 일부를 줄이거나 요약해야 함
핵심 정보 희석	중요한 내용이 뒤섞일 수 있음

그래서 긴 문서를 LLM에 넣을 때는 보통 요약, 분할, 검색, RAG 같은 방법을 씁니다.

---

5. 트랜스포머란?

이제 트랜스포머를 보겠습니다.

트랜스포머 Transformer는 LLM의 핵심 구조입니다.
GPT, Claude, Gemini, Llama 같은 현대 LLM 대부분은 트랜스포머 구조를 바탕으로 만들어졌습니다.

트랜스포머의 핵심은 이것입니다.

문장 안의 각 토큰이 다른 토큰들과 어떤 관계를 맺는지 계산한다.

예를 들어 문장이 있습니다.

철수는 영희에게 책을 주었다. 그는 기뻤다.

여기서 그는이 누구를 가리키는지 알아야 합니다.

사람은 문맥을 보고 판단합니다.
트랜스포머는 각 토큰 사이의 관계를 수치로 계산합니다.

그는 ↔ 철수
그는 ↔ 영희
그는 ↔ 책
기뻤다 ↔ 철수
기뻤다 ↔ 영희

이 관계를 계산하는 핵심 장치가 바로 어텐션 attention입니다.

---

6. 어텐션이란?

어텐션은 말 그대로 어디에 주목할 것인가입니다.

문장:

나는 어제 산 책을 오늘 다 읽었다.

여기서 “읽었다”는 무엇과 관련이 깊을까요?

읽었다 ↔ 책
읽었다 ↔ 오늘
읽었다 ↔ 나는

트랜스포머는 이런 관계를 계산합니다.

즉,

“이 토큰을 이해하려면 문장 안의 어떤 다른 토큰을 얼마나 봐야 하는가?”

를 계산하는 것이 어텐션입니다.

---

7. 트랜스포머가 하는 일

트랜스포머는 입력된 토큰들을 보고 다음 토큰을 예측합니다.

예:

오늘 날씨가 참

다음에 올 말은?

좋다
맑다
춥다
덥다

이런 후보 중에서 문맥상 가장 그럴듯한 토큰을 고릅니다.

LLM의 글쓰기는 결국 다음 과정을 반복하는 것입니다.

오늘
오늘 날씨가
오늘 날씨가 참
오늘 날씨가 참 좋
오늘 날씨가 참 좋다

즉, LLM은 한 번에 완성된 글을 “생각해서 꺼내는” 것이 아니라, 토큰을 하나씩 예측하며 이어 붙이는 방식으로 문장을 만듭니다.

---

8. 트랜스포머와 토큰의 관계

둘의 관계를 한 줄로 정리하면 이렇습니다.

토큰 = 재료
트랜스포머 = 재료 사이의 관계를 계산하는 엔진

비유하면:

 

개념	비유
토큰	글자의 벽돌
임베딩	벽돌에 붙은 의미 좌표
어텐션	어떤 벽돌이 어떤 벽돌과 관련 있는지 보는 눈
트랜스포머	벽돌들을 조합해 문장을 만드는 설계 구조
LLM	이 구조를 아주 크게 만든 언어 생성 시스템

---

9. 간단한 작동 흐름

LLM이 문장을 처리하는 전체 흐름은 다음과 같습니다.

사용자 입력:
"트랜스포머를 쉽게 설명해줘"

1단계: 토큰화
트랜스 / 포머 / 를 / 쉽게 / 설명 / 해줘

2단계: 숫자로 변환
[1542, 9371, 18, 502, 883, 1290]

3단계: 임베딩
각 숫자를 의미 벡터로 변환

4단계: 트랜스포머 처리
토큰들 사이의 관계 계산

5단계: 다음 토큰 예측
"트랜스포머는..."

6단계: 반복 생성
"트랜스포머는 문장 속 단어들의 관계를 계산하는 구조입니다."

---

10. 아주 쉬운 비유

교실에서 선생님이 문장을 칠판에 썼다고 생각해 보겠습니다.

영희는 사과를 먹었다. 그것은 아주 달았다.

학생은 “그것”이 무엇인지 생각합니다.

후보는 다음과 같습니다.

영희
사과
먹었다

문맥상 “그것은 달았다”에서 “그것”은 사과입니다.

트랜스포머도 비슷한 일을 합니다.
다만 사람처럼 의미를 직접 느끼는 것이 아니라, 수많은 학습을 통해 토큰 간 관계의 확률을 계산합니다.

---

11. 핵심 정리

 

개념	뜻
토큰	LLM이 읽고 쓰는 최소 단위의 글자·단어 조각
토큰화	문장을 토큰으로 나누는 과정
임베딩	토큰을 숫자 벡터로 바꾸는 과정
트랜스포머	토큰들 사이의 관계를 계산하는 LLM의 핵심 구조
어텐션	어떤 토큰에 더 주목할지 계산하는 방식
생성	다음 토큰을 계속 예측해 문장을 만드는 과정

한 문장 정리

토큰은 LLM이 다루는 언어의 조각이고, 트랜스포머는 그 조각들 사이의 관계를 계산하여 다음 말을 예측하는 구조입니다.