바오밥스튜디오가 '레인보우 크로우'를 영화제에 출품하기까지

VR 콘텐츠의 인기는 여전하다. 국내에서는 어트렉션 VR 기구에 머물러있지만, 해외에서는 게임 콘텐츠와 더불어 서적 출판에 사용하려는 움직임도 활발하다. 물론 전통적인 출판업계에서는 VR/AR 책을 출판이라 보는데 무척 보수적이지만, VR 기술을 통해 이야기를 전달하려는 노력은 꾸준히 이어지고 있다.

바오밥 스튜디오도 이러한 노력을 하는 업체 중의 하나다. EA와 드림웍스 등 유명 게임, 애니메이션 개발자들이 설립한 이 회사는 VR 애니메이션을 제작해 선댄스, 트리베카, 칸느 등 유명 영화제에 출품하고 있다. 또한, Comcast Ventures, HTC, Samsung, Advancit Capital, Chernin Group, Horizons Ventures, Twentieth Century Fox 등에서 3,100만 달러를 투자받기도 했다. 바오밥 스튜디오의 나다니엘 딕슨(Nathaniel Dirksen) 디지털 슈퍼바이저는 '레인보우 크로우(Rainbow Crow)'와 '인베이젼!(INVASION!)'을 만들면서 겪었던 이야기를 들려줬다.

[Rainbow Crow Announcement Trailer]
레인보우 크로우는 북미 원주민 부족 중의 하나인 Lenape부족의 전설에서 영감을 따왔다. 레나페는 원주민 말로 '진정한 인간'이라는 의미가 있다. 어둠과 추위로 위기에 빠진 동물 공동체를 구하기 위해 하늘로부터 축복받은 목소리로 무지개색 까마귀가 선택되어 펼치는 이야기를 담고 있다.

레인보우 크로우는 VR 공간에서 나무, 동물, 숲을 가로지르는 소리를 효과적으로 전달하기 위해 많은 고민을 했다. 가장 중요한 것은 청자가 이야기에 참여하도록 하는 것이었다. VR 기술을 사용하여 이야기를 전달할 수는 있지만, 그것이 몰입을 보증하는 것은 아니기 때문이다. 결국, 스토리 텔링이 가장 중요하며 VR 기술을 이용해 스토리텔링을 어떻게 깊이 있게 구현해나갈 것인가가 레인보우 크로우의 과제였다.

이 유니티의 실시간 렌더링 기술을 통해 만들어진 VR 애니메이션을 제작하기 위해 바오밥스튜디오는 몇 가지 사항을 심각하게 고려했다. 그 중 첫 번째는 연극적인 조명 (Theatrical Lighting) 이었다.

노출이라든지, 다이나믹라이팅이라든지 모든 VR 환경에 걸맞도록 개발하는 건 어려웠다. 사람들을 시선 밖으로 유도하기도 해야 하며 시선을 멈추게 해야 하기도 했다. 또한, 시야각 밖의 범위는 자연스럽게 명암처리도 해야 했다. 그래야 이야기에 집중하게 할 수 있기 때문이다.

그래서 바오밥 스튜디오는 빛이 어디서 들어오는지 어떻게 하이라이팅 되는지 시야 주위로는 어떤 빛을 들어오게 해야 하는지에 많은 테스트를 했고, 그 과정에서 실시간으로 렌더링 기술을 접목하여 시간과 비용을 줄일 수 있었다.

바오밥 스튜디오는 이를 통해 유니티 렌더링 프레임워크 내 솔루션을 경험했다. 이들은 솔루션 내 상태 변화(State changes)를 지원하지 않는 고정된 조명을 비롯하여 다이나믹 라이트(Dynamic lights)와 아트 디렉션하기에는 조금은 부족한 실시간 GI가 존재함을 경험했다. 라이팅 스테이트를 개별로 베이킹 할 수 있으며 타임라인을 통해 조작할 수 있는 기능도 사용했다. 특히 Global Illumination은 많은 코스트가 들지 않는다는 특징을 가지고 있음을 알았다.

Simulated real-time GI는 저렴하고, 창의적으로 조작할 수 있으며 쉬운 솔루션이라는 장점이 있다는 점도 알게 됐다. 덕분에 바오밥스튜디오는 프로토 타입을 빨리 만들 수 있었다. 다만, Simulated real-time GI는 반복 계산이 느리며 상호적 GI를 지원하지 않는다는 단점이 있음을 알게 됐다.

두번째 고려사항은 노이즈를 표현하는 것이었다. '레인보우 크로우'는 노이즈가 잔뜩 꼈지만, 부드러운 감성을 표현한 그래픽이 특징이다. 바오밥스튜디오는 컨셉아트마냥 굉장히 하드한 느낌을 주고 싶어했다. 수풀은 수풀대로, 나무는 나무대로 매우 중요한 객체로서 모두 제대로 표현되기를 바랐다.

허나 그 계획은 처음부터 난관에 봉착했다. 나무와 수풀 노이즈 표현을 텍스쳐로 했더니 9프레임밖에 나오지 않았다. 특히 흔들리는 것과 같은 표현을 하면 프레임은 더 나오지 않았다. 그러나 붓으로 찍은 듯한 노이즈 느낌을 놓치고 싶지 않았다.

그러면서도 디노이즈 작업을 해야 했기에 좋은 노이즈와 나쁜 노이즈를 구분해 다시 작업하기 시작했다. 바오밥스튜디오가 정한 나쁜 노이즈란 프레임사이에서 변화화며 무아레(Moire), 버즈 패턴을 가진 노이즈였다. 반면 좋은 노이즈는 객체에 붙어 있거나 픽셀사이즈의 작은 크기여야만 했다. 당연히 공간적 및 시간상으로 일관성도 갖추고 있어야만 했다.

이를 위해 바오밥 스튜디오는 디더 쉐이딩(Dither shading)을 사용했다. 비간격 좌표함수에 의해 축적된 노이즈 텍스쳐를 적용해 사용하고 이를 표면에 달라붙도록 양자화(Quantized)했다. MIP 매핑과 비슷한 방식이었다. 이를 통해 시각적 분산을 보다 낮은 샘플 속도로 개선해 소프트 섀도우, 간접 조명 표현 및 필드 깊이 등의 샘플링 결과를 크게 향상하게 시켰다.

또한, 시야의 변경으로 복잡한 시각적인 불연속성을 방지하기 위해 Order-Independent Transparency를 사용했다.

무엇보다 바오밥스튜디오가 개발 중 가장 놀랐던 것은 'Alpha to Coverage'였다. 저렴했고, MSAA depth buffer를 저장할 수 있었으며 기존 노이즈와 함께 변조할 수 있었기 때문이다. falloff 세이프를 대할 때는 집적 밀도 함수(integrate density function)를 사용했다. 이는 기초요소에 사용하기 쉬우며 캐릭터를 원하는 대로 표현하는데 도움을 줬다.

배경뿐만 아니라 VR 캐릭터에 대한 이해도 필요했다. 청자와의 연결, 시선 처리 등이 대표적이다. 청자와 연결하는 방법으로는 VR 캐릭터가 청자와 눈을 맞추게 하는 것이다. 이를 통해 청자는 시선을 캐릭터에 두며 이야기에 붙들려 있을 수 있다.

시선을 움직이는 방법도 비슷하다. 시야각 밖에서 소리와 이펙트를 주고 최종적으로 눈을 맞추고 있는 캐릭터의 시선을 원하는 방향으로 돌리면 청자 역시 자연스레 시선을 돌리게 된다.

[INVASION! 의 토끼를 보면 시선 연결 및 유도를 잘 알 수 있다]
VR 미디어는 이야기를 전달하는 방식도 전통적인 미디어와는 다른 이해가 필요하다, 서술, 음악 그리고 구조는 모두 대체할 수 없는 중요성을 지니고 있으며 연극처럼 많은 양의 시선 통제는 상대적으로 어렵다. 이 때문에 캐릭터는 시청자에게 반응하지만, 여전히 같은 이야기 속 움직임을 유지해야만 한다.

VR 스토리텔링은 시청자들의 공감대를 높이고 감정을 이끌어낸다. 연극과 영화는 바라보고 느끼고, 비디오 게임은 내 행동이 게임 내에 투사되는 것을 보고 느끼지만, VR 스토리 텔링은 이 둘의 중간자적인 입장이므로 완벽히 새로운 미디어라고 할 수 있다. 그러므로 VR로 스토리텔링을 하기 위해서는 새로운 접근법이 요구된다.