신문은 선생님

챗GPT가 처음 세상에 나온 게 2022년 말이니, 아직 4년도 채 지나지 않았어요. 그사이 챗GPT는 놀랍도록 똑똑해졌죠. 경쟁 상대인 클로드와 제미나이도 마찬가지예요. 마치 우리나라에서 만든 서비스인 것처럼 한국어도 술술 잘하죠. 하지만 처음 나왔을 때만 해도 챗GPT는 우리말이 무척 서툴렀답니다. "영어로 물어보면 더 좋은 답을 준다"는 말이 나올 정도였죠.

그 이유는 지난번 바로 여기서 다뤘던 '토큰'(6월 18일자)과 관련이 있답니다. 챗GPT는 토큰이라는 조각 단위로 글을 읽고 써요. 문제는 초기 챗GPT가 이 토큰을 한글에 맞게 잘 나누지 못했다는 거예요. 한글을 잘 모르고 글자를 아주 잘게 부숴 버린 겁니다. 예를 들어 '신문은 선생님'은 띄어쓰기 포함 7글자인데, 챗GPT는 이를 무려 16개 토큰으로 쪼갰어요. 심지어 한글의 자음, 모음도 아닌 아무 뜻도 없는 부스러기였어요. 음절마다 소리와 뜻이 살아 있는 과학적인 한글이 이렇게 흩어져 버렸으니 정말 안타까운 일이었어요.

신기한 건 그렇게 잘게 쪼개고도 챗GPT가 한국어를 제법 이해했다는 점이에요. 뜻없는 조각이라도 엄청나게 많이 학습해 스스로 규칙을 찾아낸 것입니다. 하지만 비효율적이었죠. 7글자가 16개 토큰이 되었으니 두 배 이상 느려지고, 비용도 두 배 더 들어갔거든요. 그래서 네이버 같은 국내 기업은 "한국어만큼은 우리가 가장 잘 다룬다"라며 하이퍼클로바 같은 자체 모델을 홍보하기도 했지요.

하지만 시간이 갈수록 챗GPT는 한글을 점점 잘 다루게 됐어요. 이듬해 나온 GPT-4부터는 '신문은 선생님'을 16개의 절반인 8개 토큰으로 처리했죠. '신' '문' '은' '생'처럼 자주 쓰이는 흔한 글자는 통째로 한 덩어리로 알아봤고, '선'이나 '님' 두 글자만 두 조각으로 나눴어요. 자주 만나는 글자부터 하나의 토큰으로 기억하기 시작한 거예요.

GPT-5에 이르러서는 '신문은 선생님'을 단 5개 토큰으로 처리해요. '신문' '은' '선' '생' '님' 이렇게요. '신문'은 아예 두 글자를 한 덩어리로 묶었어요. 자주 쓰는 말을 통째로 기억하다 보니 처음의 16개가 3분의 1 아래로 줄어든 거예요.

이런 변화의 뒤에는 오픈AI에 근무하는 한국계 연구원들의 노력도 있었답니다. 그중 한 명인 정형원 박사는 o1(오원)이라는 새 챗GPT 모델을 선보이며 재미있는 영상을 소개하기도 했죠. "직우상 얻떤 변역깃돋 일끌 슈 없쥐많 한국인듦은 쉽게 앗랍볼 숫 잊댜"처럼 글자를 일부러 망가뜨려 한국인도 헷갈릴 만한 문장을 내밀었는데 새 챗GPT는 "지구상 어떤 번역기도 읽을 수 없지만 한국인은 쉽게 알아본다"며 뜻을 정확히 알아냈어요. 어느덧 챗GPT가 망가진 한글까지 알아볼 만큼 우리말을 깊이 이해하게 된 거예요.

하지만 여전히 한국어는 영어보다 토큰을 더 많이 써요. 같은 말을 해도 우리말이 조금 더 비쌉니다. 우리말을 더 잘 알아듣는 AI를 만드는 일은 아직 끝나지 않았답니다.