신문은 선생님

커다란 안경 같은 기구를 착용하고 가상현실(VR·Virtual Reality) 체험을 한 적 있나요? 요즘 놀이공원이나 대형 쇼핑몰에 VR 체험 공간이 늘고 있지요. 한때 3D(3차원) 영화관이 인기를 끈 적이 있는데, 이제는 VR이 이러한 인기를 대신하고 있어요.

그저 안경만 썼을 뿐인데, 우린 어떻게 전혀 다른 세상에 온 것 같은 체험을 할 수 있는 걸까요? VR은 사실 카메라가 인간에게 하는 '거짓말'이랍니다. 오늘은 VR의 세계를 알아보도록 할게요.

◇인간의 뇌가 풍경을 인식하다

지금부터 몸을 움직여볼게요. 먼저 왼손을 펴서 손날을 만들어 보세요. 손날을 코에 바짝 가져다 대고, 양쪽 눈을 번갈아 감아보는 거예요. 오른쪽 눈으로는 손바닥만 보이고, 왼쪽 눈으로는 손등만 보입니다. 손을 점점 멀리해보세요. 두 눈을 번갈아 감아도 손날과 손등이 모두 보일 거예요.

이번에는 고개를 좌우로 돌려볼게요. 고개를 왼쪽으로 돌리면 내 눈에 보이는 풍경이 오른쪽으로 움직인 것처럼 느껴지죠. 고개를 오른쪽으로 돌리면 풍경이 왼쪽으로 움직인 것처럼 보여요.

지금 확인한 건 사람의 뇌가 눈에 보이는 걸 풀이하는 방식이에요. 뇌는 이렇게 생각합니다. '작은 건 멀리 있고, 큰 건 가까이 있다. 양쪽 눈에 보이는 모습이 다르면 가까이 있고, 같으면 멀리 있다. 고개를 움직이지 않았는데도 풍경이 바뀐다면 몸이 움직인 것이고, 고개를 움직여서 풍경이 변하면 내 몸은 가만히 있는 것이다.'

VR 기기 속 영상은 바로 이런 뇌 작동의 원리를 이용해서 만든 것이에요. 실제 내 몸이 그곳에 있지 않지만 마치 그 장소에 있는 것처럼 느껴지도록 꾸며낸 것이지요.

◇가상현실(VR)은 뇌에 하는 거짓말

예전에 인기를 끈 3D 영상은 화면을 입체적으로 느끼게 했지만, 내가 그 안에 있는 것처럼 실감 나지는 않았어요. 바로 '시점' 때문이에요.

일반 영화는 장면을 촬영하는 카메라 위치에 시점이 고정돼 있어요. 내가 영화를 보다가 잠깐 고개를 돌려도 카메라 시점이 같이 움직이는 게 아니기 때문에 생생한 느낌이 들지 않지요. 하지만 현실에서 인간은 무언가를 볼 때 조금씩 몸을 움직여요. 머리를 살짝 돌려 옆을 보기도 하고 잠깐 하늘을 쳐다보기도 해요.

이 때문에 VR은 장면을 360도로 아주 촘촘하게 촬영해서 몸의 움직임에 따라 영상이 같이 움직이게 한답니다. 적게는 2~3개에서 많게는 수십 개 카메라로 전후좌우상하 모든 방향을 동시에 찍은 뒤, 촬영한 화면을 촘촘하게 꿰어 붙여(화면 스티칭) 영상을 만드는 것이죠. 그래서 지금 내가 보고 있지 않은 방향의 영상도 모두 존재해요. 여러분이 이 글을 읽고 있는 이 순간도 내 눈에 보이지 않는 부분이 세상에 존재하는 것처럼요.

그렇다면 영상을 찍는 사람도 카메라에 찍히지 않을까요? 맞습니다. VR 영상에는 촬영하는 사람의 모습이나 촬영 장비가 최소한만 보이도록 찍고, 나중에 지워내는 과정을 거치곤 합니다.

VR은 영상만으로 완성되지 않습니다. VR 기기를 쓸 때 보통 헤드폰도 같이 쓰는데요. 소리 역시 우리를 '가짜 세상'으로 안내해 주는 도구이기 때문이지요. 눈과 비슷하게 귀 역시 양쪽에 들리는 소리의 크기 차이, 시간 차이, 그리고 소리와 소리 사이 반사음 등 실제 요소를 반영해서 방향을 잡아낸답니다. 소리로 뇌를 속여서 마치 다른 세상에 간 것 같은 느낌을 주는 것이지요.

◇VR 보고 나면 왜 멀미가 나는 걸까요.

그렇다면 VR 체험을 할 때 종종 멀미가 나는 건 왜일까요? 사람은 누구나 다르게 생겼습니다. 키도 다르고, 머리 크기도 다르고, 얼굴 생김새도 다르죠. 또 두 눈 사이 간격도 다릅니다. 특히 눈 사이 간격은 사물을 인식할 때 무척 중요합니다. 당연한 말이지만 사람은 누구나 자기 눈 간격에 익숙한데, 보통 VR 영상은 많은 사람의 눈 간격 평균값을 바탕으로 만들어지기 때문이지요.

이 차이는 처음 체험을 할 땐 별거 아닌 것처럼 느껴지지만, 계속해서 VR 영상을 보다 보면 두통을 느끼게 하는 이유랍니다. 아주 작은 바늘이 손가락에 박혀도 계속 신경이 거슬리는 것처럼, 미세한 시선 각도 차이가 멀미와 두통을 유발하는 것이지요.

멀미가 나는 또 다른 이유는 반응 속도 차이입니다. VR 기기 속 영상은 내 머리가 움직이는 속도에 꼭 맞춰 움직여줘야 합니다. 우리가 보는 '진짜 세상'은 모두 그렇게 움직이거든요. 하지만 실제 VR 기구를 쓰고 머리를 움직여보면 약간 차이가 납니다. 먼저 기구가 머리의 움직임을 측정한 뒤, 이 움직임 데이터를 처리 장치로 보내 영상을 어느 방향으로 어떤 속도로 움직여야 할지 계산하는 것이지요. 이에 맞춰 영상을 만들어 다시 기구 속 화면으로 보내면, 그 처리 과정에서 화면이 내 움직임보다 100분의 1초 단위로 미세하게 느리게 반응하는 거예요. 또 VR 영상은 앞뒤·오른쪽·왼쪽 움직임이 많은데 이 역시 멀미를 유발하곤 합니다. 내 몸에는 움직임이 없는데, 뇌는 몸이 미세하게 움직인다고 해석하고 있기 때문에 나타나는 현상이지요.

☞가속도 감각까지 속인다?

VR은 시각과 청각만 이용하는 게 아니에요. 미국 LA 유니버설스튜디오의 '심슨가족 라이드'나 '해리포터 4D 라이드' 같은 놀이기구를 타면 엄청나게 빠른 속도로 추락하는 느낌이 들어요. 기구가 몸을 아래 방향으로 약간 흔들면서 역동적인 화면을 보여주기 때문에 빠른 속도로 떨어지는 느낌을 더욱 강화하는 것이지요. 한마디로 시각과 청각에 가속도를 느끼는 감각까지 모두 활용해 뇌를 속이는 셈이에요.