신문은 선생님

최근 소셜네트워크 페이스북이 회사 이름을 '메타버스(metaverse)'를 뜻하는 '메타(Meta)'로 바꿨어요. 페이스북 창업자이자 CEO인 마크 저커버그는 "메타버스는 새로운 미래가 될 것"이라면서 대대적인 투자를 하겠다고 발표했어요.

'메타버스'는 현실 세계와 융합된 3차원 가상 세계를 뜻하는 단어예요. 새롭게 창조된 온라인 공간 '메타버스'에선 나의 아바타가 일도 하고 운동도 하고 친구들과 대화도 할 수 있답니다. 앞으로 메타버스 기술이 더 발달하면 현실에서 하는 경제·사회·문화 등 모든 활동을 메타버스 공간에서도 이어서 할 수 있을 것이라고 전문가들은 말해요.

이런 메타버스가 공연 분야에도 진출했어요. 바로 '메타 퍼포먼스(Meta Performance)'라는 개념입니다. 아직은 정확히 그 의미가 정의된 단계는 아니지만, 현실 세계인 무대와 가상공간이 결합하고 관객이 적극적으로 참여한다는 특징을 갖고 있어요.

온라인 관객이 공연 감상 순서 정해

사실 공연에 디지털 기술을 접목하는 시도는 이미 몇 년 전부터 다양하게 이뤄져 왔어요. 콘서트 분야에서 가장 활발하지요. 가수를 360도 카메라로 촬영한 다음 '3D 홀로그램'으로 만들어서 무대 위에 등장시켜 공연하는 방식이에요. 관객이 볼 땐 실제 사람이 공연하는 것같이 느껴져요. 이 방법으로 이미 세상을 떠난 왕년의 스타 가수들을 다시 살려내 공연을 진행할 수 있어요. 팝 황제 마이클 잭슨이나 영국의 전설적인 밴드 비틀스를 비롯해 오페라 가수 마리아 칼라스 등도 이 방식으로 팬들과 다시 만날 수 있었답니다.

이런 홀로그램 공연은 여전히 스타는 무대에서 공연을 펼치고 관객들은 객석에서 무대를 지켜보기만 해요. 반면 '메타 퍼포먼스'는 관객들이 적극적으로 공연이 펼쳐지는 가상 세계로 들어가 참여한다는 점에서 차이가 있어요.

작년 11월 공연된 경기시나위오케스트라의 '메타 퍼포먼스: 미래극장'이 한 예라고 할 수 있어요. 제목처럼 기존 공연의 형식에서 벗어나 온·오프라인이 연결된 새로운 형식의 공연이었어요.

'미래극장'에선 관객이 두 유형으로 나뉘어요. '체험형 관객'과 '온라인 관객'이죠. 소수의 체험형 관객은 오프라인 공연장에서 직접 공연을 감상하는데, 웨어러블(wearable·몸에 착용할 수 있는) 카메라를 몸에 부착하고 로비부터 야외 극장까지 공연 장소 4곳을 돌아다녀요. 이때 체험형 관객이 어떤 공연장을 어떤 순서로 방문해 감상할지는 온라인 관객들이 결정해요. 컴퓨터에 접속한 온라인 관객은 체험형 관객들이 촬영하는 카메라 영상으로 실시간으로 공연장을 보면서 게임 캐릭터를 조종하는 것처럼 '체험형 관객'에게 지시를 내리는 것이죠.

공연 내용 역시 국악기 연주와 무용수들의 안무뿐 아니라, 관객이 선 위치에 따라 다른 음악이 자동 재생되는 기술 등 기존에 볼 수 없는 시도들도 있었지요. 공연 시간도 파격적이었어요. 첫날 오후 7시 30분부터 다음 날 오후 6시 30분까지 24시간 동안 단원들이 교대로 연주하면서 2시간 간격으로 12회 공연이 펼쳐졌어요. 온·오프라인 관객과 공연을 펼치는 연주자들이 하나로 연결된 시간이었습니다.

관객이 '반딧불이'가 된 '한여름 밤의 꿈'

해외에서도 재미있는 관객 참여형 메타 퍼포먼스 공연이 있었습니다. 뮤지컬 '마틸다'와 '레미제라블'을 제작한 것으로 유명한 영국 극단 로열셰익스피어컴퍼니(RSC)는 최근 수년간 기술을 접목한 새로운 형식의 공연 예술을 선보였어요. 지난 2016년엔 인텔과 협업해 3D 괴물이 관객 머리 위를 날아다니는 장면을 연출하기도 했지요.

RSC는 지난 3월 윌리엄 셰익스피어의 '한여름 밤의 꿈'을 메타 퍼포먼스 형식으로 재창조한 '드림(Dream)'이라는 온라인 공연을 선보였어요. 그런데 단순히 오프라인 공연을 촬영한 영상을 관람하는 것이 아니었어요. 모션캡처 슈트(옷)를 입은 배우들이 스튜디오에서 연기를 하면 이 모습이 디지털 화면에선 숲속 요정의 모습으로 전환되고, 온라인으로 접속한 관객들은 이를 실시간으로 봤어요. 온라인 공연을 그냥 보는 것은 무료였고, 10파운드(약 1만6000원)를 내면 공연에 직접 참여할 수도 있었어요. 공연에는 길 잃은 요정들의 길라잡이가 되어주는 '반딧불이'들이 등장하는데, 온라인 관객들이 직접 이 반딧불이를 조종할 수 있었던 것이지요. RSC 예술감독 그레고리 도란은 "집에 있는 관객이 라이브 공연에 영향을 줄 수 있다는 것이 매우 흥미로운 일"이라고 말했지요.

많은 사람이 가만히 공연을 보는 것보다 직접 참여해 많은 경험을 하고 싶어 해요. 앞으로 메타버스 기술이 더욱 발전하면 내가 직접 공연에 참여해 영향도 줄 수 있는 이런 메타 퍼포먼스도 더욱 확대되겠지요?

☞모션 캡처(motion capture)

사람이나 동물의 몸에 센서를 달아 그 움직임을 감지해서 애니메이션이나 영화·게임 등 영상 속에 재현하는 기술이에요. 1980년대부터 본격적으로 활용됐는데, 영화 '반지의 제왕'에 나오는 '골룸'이 모션 캡처로 구현한 대표적인 등장인물이에요. 실제 배우가 온몸에 센서를 부착하고 연기를 하면 그의 움직임을 컴퓨터로 그래픽으로 만들어 골룸의 모습을 합성한 것이지요. 이 기술은 몸 자세뿐 아니라 얼굴 근육의 움직임까지 잡아낼 수 있어 다양한 표정까지도 구현해내요. 최근에는 모션캡처 기술이 병원 재활의학과에서 환자의 걸음걸이를 교정하거나 운동선수들의 자세를 교정하는 데도 활용된다고 합니다.