신문은 선생님

최근 오픈AI가 새 인공지능(AI) 모델 'GPT-6 아스트라'를 공개했어요. AI의 두뇌 역할을 하는 GPU(그래픽 처리 장치)를 무려 10만장이나 동원해 학습시킨 모델이라고 해요. 앤트로픽이 앞서 내놓은 '미토스'도 큰 모델로 손꼽히죠. AI 회사들은 자기 모델이 정확히 얼마나 큰지 밝히지 않지만, 새 모델이 나올 때마다 '역대 가장 크다'라는 말이 따라붙습니다. 그렇다면 왜 이렇게 모델의 크기를 키우는 걸까요?

먼저 AI 모델의 '크기'가 무엇인지 알아볼까요? AI는 배운 내용을 수많은 숫자의 형태로 기억해요. 이런 숫자를 '매개변수'라고 불러요. 흔히 매개변수가 많을수록 '모델이 크다'고 말하곤 하는데요. 2019년 GPT-2는 매개변수가 15억개였는데 이듬해 나온 GPT-3는 1750억개로 100배 넘게 불어났어요.

▲ 김경훈 오픈AI 코리아 대표가 9일 서울 조선팰리스 호텔에서 ‘GPT-6 아스트라’를 소개하고 있습니다. /오픈 AI 코리아

동물을 예로 들어볼까요. 다람쥐, 멧돼지, 곰이 있고 도토리를 먹는다고 생각해봅시다. 다람쥐보다 멧돼지가 10배 크다고 한다면, 다람쥐가 도토리 1개를 먹을 때 멧돼지는 몇 개를 먹어야 할까요? 몸집이 10배이니 10개 정도는 먹어야 자연스러워 보이죠. 그런데 실제로는 6개만 먹어도 충분합니다. 곰이 다람쥐보다 100배 크다고 가정하면, 곰은 어떨까요? 곰도 도토리를 100개가 아니라 32개만 먹어도 충분합니다.

큰 동물이 작은 동물보다 에너지를 효율적으로 사용하기 때문이에요. 몸집이 커질수록 몸무게당 유지하는 데 필요한 에너지가 줄어든답니다. 다람쥐보다는 멧돼지가, 멧돼지보다는 곰이 몸무게당 더 적은 에너지를 소비하죠. 1930년대 초 스위스의 농생물학자인 막스 클라이버가 이 사실을 발견했기 때문에 그의 이름을 따 '클라이버 법칙'이라고 부릅니다. 덩치가 커질수록 에너지 효율이 좋아진다는 겁니다.

놀랍게도 이 법칙은 AI 세상에도 똑같이 적용됩니다. 2020년 오픈AI 연구진은 큰 모델이 작은 모델보다 훨씬 적은 데이터만 보고도 같은 실력에 도달한다는 사실을 실험으로 확인했어요. 작은 모델에 데이터를 잔뜩 학습하는 것보다 큰 모델을 만드는 편이 이득이라는 거예요. 모델과 데이터, 계산량을 함께 키우면 성능이 꾸준히 좋아지고 얼마나 좋아질지 미리 예측할 수 있게 되었죠. 이 규칙을 '스케일링 법칙'이라고 부릅니다.

이 법칙이 AI 연구의 상식으로 자리 잡으면서 모델의 크기는 점점 더 커져갔어요. 모델을 크게 만들려면 계산을 맡을 GPU가 더 많이 필요하고, 데이터를 빠르게 실어 나를 메모리도 더 많이 필요해요. AI 경쟁이 이어질수록 SK하이닉스와 삼성전자 같은 우리나라 기업이 점점 더 바빠지는 이유예요.

과연 모델을 더 크게 만드는 경쟁은 언제까지 이어질까요? 그 답에 우리나라 반도체의 앞날도 함께 걸려 있답니다.