신문은 선생님

요즘 챗GPT 같은 생성형 AI(인공지능)를 사용하는 사람이 많지요? 그런데 질문을 던졌을 때 답이 한 번에 나오지 않고 몇 글자씩 토막토막 이어지며 나오는 걸 본 적 있나요? AI가 말을 만들어 내는 가장 작은 단위가 있기 때문이에요. 이 단위를 '토큰(token)'이라고 부른답니다. 물질을 이루는 기본 단위인 '원자(atom)'처럼, 토큰은 챗GPT의 대답을 이루는 원자인 셈이죠.

그렇다면 토큰은 얼마나 작을까요? 영어를 기준으로 가장 작은 단위부터 한번 생각해 봅시다. 알파벳은 A부터 Z까지 26자이고, 대문자와 소문자가 있어 총 52자이죠. 52개 글자만 있으면 어떤 영어 문장이든 표현할 수 있어요. 그래서 얼핏 AI가 알아야 할 토큰이 52개뿐이라고 생각할 수도 있어요. 무척 간단해 보이죠? 하지만 문제가 있어요. 신문을 뜻하는 'newspaper'라는 단어 하나를 말하는 데도 n부터, e, w, s, p, a, p, e, r까지 9개 토큰을 차례차례 내놓아야 하거든요. 게다가 알파벳 하나하나에는 의미가 담겨 있지 않아요. n 다음에 어떤 알파벳이 와야 하는지 확실하지 않습니다. AI 성능이 떨어지는 거예요.

단어가 몇 개만 조합돼도 상황은 더욱 복잡해집니다. '신문 활용 교육(NIE)'을 뜻하는 'newspaper in education'을 알파벳 단위로 나누면, 공백까지 포함해 토큰이 모두 22개나 돼요.

그런데 만약 이걸 news, paper, in, education 이렇게 4개 토큰으로 나눈다면 어떨까요? 자주 쓰는 말을 통째로 묶는 겁니다. 교육을 뜻하는 education은 그 자체로 토큰 하나가 되기도 하고, 뉴스(news) 같은 흔한 조각은 역시 따로 떨어져 나와 별개의 토큰이 되죠. 이렇게 뜻이 담긴 덩어리로 묶으면 말의 의미를 따지기가 수월해지고 속도도 빨라집니다.

이처럼 토큰은 문자보다는 조금 크고, 단어보다는 조금 작아요. 'newspaper'라는 한 단어가 'news'와 'paper' 두 토큰으로 쪼개지는 것처럼요. 토큰을 나누는 방식은 모델마다 다른데, 챗GPT는 영어 기준으로 토큰 하나가 평균적으로 4개의 문자로 구성돼요. 토큰 100개로 400자 분량의 글을 만들어 낼 수 있는 거죠.

챗GPT는 이렇게 토큰 단위로 말하고, 계산해요. 한 번에 읽고 기억할 수 있는 글의 양도, 인공지능 회사들이 사용 요금을 매기는 것도 모두 기준은 토큰 개수죠. 그래서 생성형 AI에서는 글자가 몇 개인지, 단어가 몇 개인지보다 토큰이 몇 개인지가 가장 중요한 숫자랍니다. 다음에 챗GPT가 답을 토막토막 적어 내려가는 모습을 보면 떠올려 보세요. 챗GPT가 토큰을 하나씩 말하고 있는 거니까요.