지난 2월 2일, 애플은 '최초의 공간 컴퓨터' 애플 비전 프로를 출시했다. 애플 비전 프로는 최초 발표부터 사용자가 눈, 손, 음성을 통해 제어할 수 있는 3D 인터페이스와 확장 가능한 가상 디스플레이 등 더 몰입감 있는 경험을 제공하기 위해 다양한 기능을 어필해왔다. 뿐만 아니라 기존 맥의 기능이나 애플 아케이드에 있는 게임도 애플 비전 프로에 맞춰서 호환된다고 밝히면서 주목을 받았다.
애플이 그간 도전하지 않았다가 발을 디딘 분야였던 만큼, 비전 프로 기기 자체에 대해서는 현재 여러 피드백이 오가고 있다. 그 가운데 유니티는 이미 비전 프로가 출시되기 몇 개월 전부터 애플과 협업을 발표, 비전OS에 대응하는 폴리스페이셜 기술 등을 준비해왔다.
이미 메타퀘스트를 비롯해 다양한 VR, XR 기기에 대응하는 기술을 구축해오면서 그 분야에 꾸준히 관심을 보였던 유니티는 비전 프로용 콘텐츠 개발을 위해 어떤 준비를 해왔을까, 유니티의 안토니아 포레스터 선임 애드보킷과 댄 밀러 소프트웨어 엔지니어는 그간 유니티가 마련해온 XR 기술 개발의 흐름을 훑어보면서 실제로 적용된 비전 프로용 기술을 현장에서 직접 선보였다.
댄 밀러 소프트웨어 엔지니어는 비전OS에서 대응하기 위해 준비해야 할 조건으로는 정교한 핸드 트래킹과 인터랙션, 그리고 현실과 상호 작용 가능한 MR 기술을 손꼽았다. 그 자체로는 이미 현존하는 AR, VR, MR 기술로도 충분히 대응이 가능하지만, 콘텐츠 개발 중에 흔히 놓치기 쉬운 부분들이 있었다.
우선 비전 프로는 별도의 컨트롤러 없이도 눈동자와 손, 목소리를 사용하여 자연스럽게 OS를 조작할 수 있고, 디스플레이 상단에 위치한 다이얼을 조작하면 현실의 배경 위에 디지털 콘텐츠가 겹쳐 보이는 자연스러운 패스스루를 강조한 기기다. 이를 뒤집어 말하면 유저의 손 모양에 즉각 대응하는 핸드 트래킹.기반의 시스템을 요구한다는 말이기도 하다.
댄 밀러 엔지니어는 이 요구사항을 유니티의 AR 파운데이션의 ARKit를 활용해서 풀었다. 한편으로 유저의 손을 비롯해 현실의 사물을 비전 프로 화면으로도 명확하게 보고, 특정 명령은 유저의 손의 제스처에만 대응해야 하는 문제도 있었다. 이 분야는 ARKit에 비전 OS가 요구하는 사양에 맞춰 오픈XR 스탠다드와는 별도로 XR 핸드를 구현했다.
또한 고해상도 모드로 대응하는 것은 물론,오브젝트를 좀 더 쉽게 자연스럽고 사실적으로 표현할 수 있는 방안도 마련해야 했다. 여기에 애플이 비전 프로의 철학을 공간 컴퓨터로 잡은 것에 착안, 단순히 완성된 콘텐츠를 즐기는 것에 그치지 않고 비전 프로와 개발 PC의 에디터 화면을 공유해 테스트 피드백을 받고 수정해나가는 과정까지 준비했다. 이에 대응하는 기술이 지난 7월 베타로 발표한 폴리스페이셜로, 비전 프로 정식 출시와 함께 정식 버전으로 출시됐다.
비전OS용 프로그램인 폴리스페이셜은 유니티 에디터에 내장되어있으며, 애플 비전 프로와 유니티 에디터의 화면을 공유해 직접 콘텐츠를 체험하거나 비전 OS 시뮬레이터로 보면서 콘텐츠를 실시간으로 수정할 수 있다. 이 과정을 더 원활하게 하기 위해서 최근에는 셰이더 디버깅과 ECS 대응, 스위프트UI 지원까지 추가됐다.
설명을 마친 두 개발자는 현장에서 직접 자신들이 제작한 테스트 빌드를 활용, 비전 프로와 노트북에 뜬 유니티 에디터 빌드의 화면을 공유해 실시간으로 피드백하면서 콘텐츠를 만들어 가는 과정을 선보였다. 유니티 에디터에서는 비전 OS 시뮬레이터를 통해, 비전 프로에서는 폴리스페이셜 프로그램을 통해 별도 런타임 빌드 없이 바로 비전 프로를 통해 강연장에 들어선 농구 골대에 공을 던져 넣는 도전을 이어갔다. 에디터에서 셰이더 그래프를 변경하면 바로 비전 OS 화면에도 적용되는 한편, 애플 비전 프로에서 제스처를 취하면 해당 명령이 에디터 화면에도 반영되는 등 상호작용이 이어졌다.
유니티의 비전OS 지원은 유니티 프로부터 엔터프라이즈, 인더스트리 구독자를 위한 유니티 2022LTS 버전에서 제공되고 있다.
Ruudi@inven.co.kr
페이지 구독하기
다른 기사 보기
기사 제보하기
