신문은 선생님

한 달이 멀다 하고 신기술이 쏟아지는 인공지능(AI) 업계에서 10년 가까이 자리를 지켜 온 핵심 기술이 있다면 믿어지나요? 챗GPT도, 제미나이도, 클로드도 모두 이 기술을 바탕으로 움직인답니다. 이름은 바로 '트랜스포머(Transformer•변화시키는 것)'예요.

트랜스포머라고 하면 자동차가 로봇으로 변신하는 만화가 먼저 떠오르죠? 실제로 이 기술을 만든 구글 연구팀의 초기 설계 문서 표지에는 변신 로봇 캐릭터들이 그려져 있었대요. 하는 일과도 잘 어울리는 이름이에요. 트랜스포머는 원래 영어 문장을 독일어나 프랑스어로 바꾸는 번역 AI로 태어났거든요. 한 언어를 다른 언어로 '변신'시키는 셈이죠.

2017년 구글 연구진이 트랜스포머를 소개한 논문은 제목도 재치가 넘쳐요. 'Attention Is All You Need', 우리말로 '필요한 건 어텐션(집중)뿐'이라는 뜻인데요. 비틀스의 노래 'All You Need Is Love(필요한 건 사랑뿐)'를 흉내 낸 거예요. 어텐션은 문장 속 여러 단어 가운데 어디에 더 집중할지 스스로 골라내는 기술이에요. 그전까지 번역 AI는 단어를 앞에서부터 하나씩 차례로 읽어야 했는데, 트랜스포머는 문장 전체를 한눈에 보며 중요한 곳에 집중했죠.

실력은 대단했어요. 트랜스포머는 사실상 모든 번역 AI를 대체했고, 구글 번역이나 네이버 파파고 같은 서비스도 트랜스포머를 바탕으로 다시 태어났어요. 번역을 이렇게 잘하니, 다른 일도 잘할 수 있을 거라 생각하는 연구자가 늘어났어요.

트랜스포머는 크게 두 부분으로 나뉘어요. 문장을 읽고 뜻을 파악하는 '인코더'와, 그 뜻을 바탕으로 새 문장을 써 내려가는 '디코더'죠. 이 두 부분을 구글과 오픈AI는 서로 다른 방식으로 연구하기 시작했어요. 먼저 구글의 모델인 버트(BERT)는 인코더를 가져와 글을 이해하는 데 집중했어요. 국어 시험에서 지문을 읽고 문제를 푸는 것처럼요. 그리고 그 결과는 엄청났어요. 2018년 가을 버트가 처음 공개되자 학계가 발칵 뒤집혔어요. 11가지 언어 과제에서 모두 최고 점수를 기록했고, 일부 영역에서는 사람보다 높은 점수를 받았거든요.

오픈AI의 GPT는 반대로 디코더를 가져와 글을 지어내는 데 집중했어요. 당시 언어 이해 평가에서 압도적인 성과를 낸 버트에 가려, 글을 지어내는 GPT-1은 상대적으로 주목을 받지 못했어요. 하지만 오픈AI는 스스로 말을 만들어 내는 능력에 AI의 미래가 있다고 믿고 GPT를 꾸준히 연구해 나갔어요. 그렇게 탄생한 게 바로 지금 전 세계 사람들이 매일같이 쓰는 챗GPT랍니다. GPT의 'T'도 트랜스포머에서 따왔어요.

번역에서 출발한 트랜스포머는 챗GPT의 핵심 기술로 여전히 사용되고 있어요. 재치 있는 이름으로 출발한 번역 기술이 무려 10년 가까이 AI 세상의 주인공이 될 줄은 아무도 몰랐을 거예요. 다음에 챗GPT와 대화할 때, 그 안에서 부지런히 일하는 만능 변신 로봇 트랜스포머를 떠올려 보세요.