뭉게구름 가득한 푸른 하늘이 보이는 유리창이 있다. 한 아이가 다가가더니 그 위에 그림을 그린다. 무엇을 그리냐고 물었더니 “기차요.” 하고 답한다. 가만 보니 칙칙폭폭 수증기를 내뿜는 기차다. 왜 그렸냐고 물었더니 “이 기차가 저 구름 위로 날아갈 거예요!”라고 말한다. 맙소사, 이 아이에겐 벌써 XR 이란 개념이 탑재되어 있었다. 오래전 지하철 광고판을 계속 터치하며 조작하려는 아이를 본 이후 두 번째로 느끼는 새로운 신선함이었다.

꼬마에게 이미 탑재된 XR 이란 개념은 무엇일까? XR을 길게 풀어쓰면 eXtended Reality 확장현실로 뜻은 의외로 간단하다. 가상현실(Virtual Reality, VR)부터 혼합현실(Mixed Reality, MR), 증강현실(Augmented Reality, AR)에 이르기까지 가상 현실 기술 전체를 통틀어서 일컫는 말이다.

처음에는 쓰지 않다가 2017년 3월 개방형 기술 표준을 연구하는 크로노스 그룹에서 VR과 AR을 통합하는 업계 표준 이름을 ‘오픈 XR’이라 붙이면서 널리 쓰이기 시작했다. 기술 구현 방법에 따라 VR, MR, AR 등 복잡하게 나뉜 명명법과 현실 공간/증강현실 공간/증강가상 공간/가상현실 공간 등 학술적 목적으로 이름이 분류되었다. 그렇지만 XR은 이건 왜 VR이고 저건 왜 AR 인지 굳이 설명할 필요 없이 ‘그거 모두 XR이야~’하면 되니 편하다. 기술이 발전하면서 서로 중첩/보완하며 나타날 여러 가지 모습에 굳이 새로운 이름을 붙일 필요도 없다.

VR, AR, MR의 차이

그런데 이쯤에서 VR(Virtual Reality)과 AR(Augmented Reality), MR(Mixed Reality)이 정말 같은 기술이 맞는지 궁금할 사람이 있을 것 같다.  간단히 이야기하자면 그렇다. 셋 다 컴퓨터 그래픽과 디스플레이 기술에 기반한다. 다만 서로 작동하는 방법이 다를 뿐이다.

VR은 내가 존재하는 환경과 다른, 가상 환경에 존재하는 듯한 느낌을 받게 하는 게 목적이다. 게임에서 현실로 전이되는 것과 비슷하다. VR 기술을 제대로 이용하면 지금 여기와 다른 가상 세계나 가상 환경으로 완전히 넘어간다. 어떤 다른 현실에 퐁당 빠지는 느낌이라고 생각하면 된다.

▲ 다른 세계에 와있는 듯한 가상현실 VR(왼쪽), 현실에 CG를 덧입힌 듯한 증강현실 AR(오른쪽) 

AR은 지금 있는 세계의 이미지에 CG를 덧입혀 그린다. 포켓몬고가 가장 유명하지만 스마트폰 셀카 앱으로 사진을 찍을 때 토끼 귀를 달거나, 피부를 보정하는 일도 사실 AR 기술이다. 다만 CG가 현실 이미지에 덧입혀졌을 뿐, 현실 사물과 상호작용하진 못한다. 셀카를 찍다가 손바닥으로 얼굴을 가리면 토끼 귀는 바로 사라진다. 포켓몬고 게임을 하다가 포켓몬을 만지고 싶어 손을 내밀어 보면 내 손이 포켓몬 뒤로 간다. 현재 AR 기술은 특정 형태를 인식해 그래픽을 덧입히는 정도가 한계다.

▲ 홀로렌즈 2 리뷰 : 마소가 작정하고 만든 미래의 기기 (출처: [오목교 전자상가 EP.34] 스브스뉴스)

MR은 현실 사물과 반응하는 AR에 가깝다. 예를 들어 MR 기술이 상용화되면 포켓몬고 게임을 할 때 피카츄가 나무 뒤로 숨거나 나를 따라다닐 수 있다. 실제로 포켓몬고를 만든 나이언틱은 지난 2021년 3월 홀로렌즈2를 이용한 포켓몬고 AR 데모 영상을 공개했다. 게임에 등장하는 요정 같은 존재가 현실 공간에 나타나서 나에게 말을 거는 느낌이다. 당신이 책상을 가리키며 ‘파이어’라고 외치면, (가상으로) 책상이 불타는 식이다. 현재 서비스를 종료한 ‘마인크래프트 어스’ 게임은 AR 아이템에 지리 정보를 적용해, 실제 현실에 마인크래프트 형 건축물을 지을 수 있는 기능을 제공하기도 했다.

우린 이미 XR 세계에 살고 있다

XR 기술은 본질적으로 CG 기술과 디스플레이 기술의 발전에 기반해 있기에 그 기술들이 좋아질수록 함께 성장한다. 그런 의미에서 우리는 이미 XR이 널리 쓰이는 세계에 살고 있다. 우리가 즐기는 컴퓨터 게임, 운전면허를 따기 위해 잡아야 하는 자동차 시뮬레이터나 스크린 골프 같은 실내 스포츠 게임 모두 가상현실 기술에 기반한다.

예를 들어 최초의 메타버스 서비스라 불리던 ‘세컨드 라이프(2003)’는 지금 보면 그냥 3D 아바타 채팅 게임이다. 인기 게임 ‘SIMS’ 시리즈와 비슷해 보인다. 최초의 가상 투어 시스템이라 불리는 아스펜 무비 맵(Aspen Movie Map. 1978)은 컴퓨터 모니터에 표현되는 거리를, 이용자가 선택해서 이동할 수 있는 시스템이다. 고전 일인칭 게임뷰와 비슷하며, 구글 거리뷰와 똑같아 보인다.

최초의 상업용 VR 시뮬레이터 센소라마(Sensorama, 1956)는 지금 보면 개인용 4DX 영화관과 다를 바 없다. 3차원 이미지, 입체 음향, 냄새 등을 이용한 신경체계를 자극하는 오락 장치였다. 해외여행을 할 때 메뉴판 사진을 찍어 자동번역기를 돌려서 보는 일은 AR 자동 번역이다. 메타버스를 대표하는 사례인 게임 포트나이트, 게임 플랫폼 로블록스, 3D 채팅 프로그램 제페토는 모두 평면 디스플레이 기반 XR이다.

▲ XR 기술을 활용한 콘텐츠 (출처: MBC Kpop)

XR은 게임뿐만 아니라 다양한 공간에서 활약하고 있다. 가상/현실을 시뮬레이션하면서 게임과 교육 등에 주로 쓰이고 있고, 발전된 하드웨어 성능을 활용해 인공지능, 위치정보, 자동 번역 등과 합쳐서 유용한 도구로 쓰기도 한다. 미 육군은 예전부터 프로젝션 기반 VR 돔을 만들어 훈련에 사용하고 있다. 최근엔 MS 홀로 렌즈 12만 대를 훈련과 실제 전투를 위해 주문하기도 했다. 비행기 조종사 훈련을 위한 시뮬레이터를 대신해 HMD를 이용한 시뮬레이션 훈련도 일반화됐다. 일반 시뮬레이터 기기보다 훨씬 저렴한 게 장점이다.

▲ 미래를 보다 ‘MS 홀로렌즈’ (출처: YTN 사이언스)

미국 농업 장비 제조업체인 AGCO에서는 AR 글래스를 도입해 작업 시간은 30%, 교육 시간은 50% 줄이는 성과를 얻기도 했다. 의료계에서는 수술 방법을 교육/훈련하고, 실제 수술을 돕는 시스템까지 등장했다. 자동차를 설계하거나, 가상으로 여행을 하거나, 가상으로 치아 교정을 하거나, 건축 디자인을 하고 분양될 집을 미리 보거나, 집에서 옷을 미리 입어보는 등 XR을 쓰는 분야는 한둘이 아니다. 프로젝션 기반 VR 기술을 이용해, 디지털 스튜디오를 만들어 영상을 찍는 일도 잦아졌다. 디즈니에서 만든 SF 드라마 만달로리안이 좋은 예다.

▲ XR 기술로 촬영을 진행하는 로비캠 스튜디오 (출처: 위키피디아, Victorpakhomov)

XR, 매트릭스, 메타버스

앞으로 XR 기술은 어떻게 진화할까? 많은 XR 기술이 상용화됐지만 아직도 많은 사람은 몰입형 가상현실에 대한 미련을 버리지 못하고 있다. 1984년, 지금 기술에 가상 현실이란 이름을 붙인 재런 래니어가 약속했던 VR 세계는 현실과는 다른 이 세계, 몰입형 VR이었기 때문이다. 이들은 지금 우리가 쓰고 있는 상용 HMD의 초기 모델을 실제로 출시했다. 기술 작가 피터 루빈에 따르면 이들이 만든 기기는 당시 문화 콘텐츠에 큰 영향을 끼쳤다. 이전에 만든 초기 VR 기기는 일반인이 접하기 어려웠기 때문이다.

메타버스라는 단어를 만든 소설 ‘스노우 크래시(1992)’를 비롯해 영화 론머맨(1992), 미 어린이 드라마 VR Troopers(1994~1996)가 이런 흐름에서 나오게 된다. 오락실에선 체험형 기기 형태로 VR 게임을 즐길 수 있었고, 심지어 닌텐도에서도 버추얼 보이(1995)라는 VR 게임기를 내놓게 된다. 오시이 마모루 감독의 SF 애니메이션 공각기동대(1995)와 영화 매트릭스(1999)도 이런 흐름에 놓여있다. 게임 제작사 에픽의 CEO 팀 스위니가 ‘아직 진짜 메타버스는 오지 않았다’라고 한 것은, 그에겐 몰입형 VR 세계가 바로 메타버스이기 때문이다. 팀 스위니는 조만간 한쪽 눈에 8K 해상도를 보여주는 VR 헤드셋이 나와서 진짜 메타버스에 들어갈 수 있다고 믿는다.

실제 흐름은 팀 스위니의 바램과는 조금 다르게 흘러가고 있다. 위 영상처럼 새로운 VR 헤드셋 제작자들이 꿈꾸는 기기는 현실과 컴퓨터 그래픽을 자연스럽게 섞은 XR 세상이다. 더 작고 가벼운 XR 안경 또는 헤드셋을 이용해 현실 PC 모니터를 대신하고, 스마트폰을 주머니에 집어넣게 만들려 한다. 음성과 손 제스처를 써 자연스럽게, 굳이 PC 같은 기기에 얽매이지 않고 컴퓨터를 쓰고 인터넷을 하며 화상채팅을 할 수 있는 기기를 만들고 싶어 한다.

메타버스가 사회/문화적인 의미에서 가상 사회를 지칭한다면, XR은 그런 가상 사회를 지탱하는 기반 기술이다. 그리고 그 기술은 지금 PC를 대체하기를 원하고 있다. XR 기반으로 작업, 일상, 놀이 환경이 바뀌는 것이 가능하다면 앞으로 우리 삶은 어떻게 바뀔 수 있을지 많은 기대가 된다.

※ 이 칼럼은 해당 필진의 개인적 소견이며 삼성디스플레이 뉴스룸의 입장이나 전략을 담고 있지 않습니다.