매년 자사의 엔진의 최신 기능을 소개하기 위한 테크 데모를 선보여왔던 유니티가 지난 3월, 또다른 테크 데모 '에너미즈'를 공개했다. 400만 조회수를 돌파한 '헤러틱'을 제작했던 유니티 데모팀이 새롭게 만든 이 테크 데모에는 최근 화두가 되고 있는 '디지털 휴먼'을 더 사실적으로 구현하기 위한 여러 고민과 그에 대한 유니티의 해답이 담겨있었다.
뿐만 아니라 지난 11월에 오프라인으로 개최한 유나이트 2022에서 데모와 디지털 휴먼 패키지를 무료로 공개하면서 디지털 휴먼을 실감나게 구현하기 위한 그래픽 기술을 공유한 유니티. 과연 유니티가 테크 데모 그리고 디지털 휴먼 패키지를 통해서 개발자들에게 무엇을 보여주고자 했을까? 시그라프 아시아에 참석하고자 한국을 방문한 마크 쇠너겔 유니티 선임 에반젤리스트가 직접 데모를 시연하면서 질문에 답했다.
■ 실시간으로 바뀌는 빛을 포착하라, 어댑티브 프로브 볼륨
'헤레틱'에서 디지털 휴먼, 실사에 가까운 그래픽의 기초를 보여줬다면 '에너미즈'는 그 기술을 한 단계 끌어올릴 뿐만 아니라 실시간으로 변화하는 것까지 캐치하려는 기술을 보여줬다고 할 수 있었다. 특히 쇠나겔 에반젤리스트는 '빛'을 강조했다. 헤레틱에서도 실시간 라이팅 기술이 적용됐지만, 라이트 레이어를 미리 나눠놓아서 바로바로 적용하는 등 사전 준비 과정이 필요했기 때문이다.
2019년 확장 가능한 렌더링 파이프라인을 발표한 유니티에서 고퀄리티 그래픽을 렌더링하기 위한 HDRP 그리고 그와 관련된 기술을 소개한 뒤로 실시간 라이팅에 대한 연구는 계속 이어져왔다. 유니티에서는 엔진 개발자들뿐만 아니라 엔진을 사용한 개발자들의 피드백 및 결과물을 토대로 빛의 변화에 따라 달라지는 인상을 실시간으로 포착해서 드러내고자 했다.
디지털 휴먼 분야 중에서 유니티에서 주목한 부분은 눈이나 수면 등 표면에 반사되는 형상이 다른 물체에 비치는 현상이었다. 개발자들에게 Caustic이라는 용어로 친숙한 이 분야는 리얼타임 레이트레이싱을 언급할 때 빠지지 않고 등장한다. 물체가 반사되어 보이는 것은 빛과 밀접한 연관이 있는 현상이고, 실시간으로 바뀌는 빛을 바로 연산해서 적용해야만 그 역시도 사실적으로 묘사할 수 있는 분야이기 때문이다.
통상 이런 작업은 라이트맵이라는, 빛의 변화에 따른 변화를 미리 고려해서 아티스트들이 사전에 만들어 둔 자료를 필요로 한다. 그렇지 않고 엔진 내에서 바뀐 걸 그대로 렌더링하려면 여러 가지로 연산할 것이 많아져서 지연이 필히 일어날 수밖에 없기 때문이다. 단순히 몇 초 정도의 지연이 아닌, 규모에 따라서 빛을 베이크하는데 몇 시간 혹은 며칠이 걸릴 수도 있다.
이를 해결하기 위해 유니티에서 도입한 것이 '어댑티브 프로브 볼륨'이다. 씬 내에 수천 개의 라이트 프로브를 배치, 자동 분산해두는 기술로, 그 프로브를 토대로 그 씬에 있는 광원의 변화에 따른 물체의 변화를 실시간으로 포착해 베이크할 수 있도록 한 것이다.
결국 수천 개의 라이트 프로브가 이 과정에서 연관이 되는 만큼, 최적화에 지장이 있으리라는 생각이 들 수도 있다. 그러나 라이트 프로브 자체가 유니티에서 빛에 대해 발생하는 연산을 줄이기 위해 나온 개념인 만큼, 실제로 미치는 영향은 그리 크지 않다고 답했다. 아울러 이를 개발자들이 자신이 원하는 만큼 효율적으로 쓸 수 있게끔 프로브 볼륨을 따로 조절할 수 있는 메뉴도 제공된다. 이를 활용해서 프로브의 수를 줄일 수도 있고, 형태나 크기마저도 바꿔서 원하는 효과를 낼 수 있게끔 한다.
어댑티브 프로브 볼륨의 또다른 장점으로는 어떤 애셋을 들고 와도 유니티 내에서 바로 적용이 가능하다는 점이다. 실제로 뒤에 전시된 동상 등 '에너미즈' 데모의 여러 오브젝트들이 사진을 찍어서 스캔, 모델링한 것들이다. 기존에는 라이트맵 등이 더해져야 하므로 스캔해서 모델링을 따온 것들을 바로 넣기 어려웠지만, 이제는 프로브를 거쳐서 연산이 되는 만큼 그러한 절차 없이도 바로 적용할 수 있기 때문이다.
■ AI 기술로 더 정교해진 피부 및 헤어 표현, 실시간 표정 변화 리깅까지
유니티에서 '헤어 시스템'을 따로 선보일 정도로 관심을 갖는 분야갸 머리카락 및 털의 디테일을 표현하는 것이었다. 가닥 하나하나 만드는 것이 단순히 리소스를 차지하는 것뿐만 아니라, 실사처럼 움직이게 설정하는 것부터 그로 인해 발생하는 연산 문제까지 총체적 난관이 발생하는 이슈이기 때문이다.
쇠나겔 에반젤리스트는 '사실적'으로 보이려면 기술적인 것뿐만 아니라 인체역학 그리고 미술적인 부분까지도 고려해야 한다는 점을 짚었다. 통상 헤어 시스템하면 사람들은 말 그대로 머리카락만 생각하기 쉽다. 그래서 실제로 머리카락이 찰랑거리고 움직이는 것에만 주목해서 구현하기 쉽다. 그렇지만 유니티에서는 그 관점의 맹점에도 주목했다. 인체 구조상 머리카락은 두개골, 정확히는 두피에 고정되어있는 형태다. 두개골뿐만 아니라 그 위에 덮인 두피나 그 아래 근육들은 다른 근골격계가 움직이지 않는 한 근간부터 움직이는 일이 극히 드물다. 그래서 모근이 움직여서 헤어스타일의 윤곽이 바뀌지는 않는다. 그러나 콧수염이나 턱수염, 구레나룻, 솜털 등 신체의 다른 털들은 그렇지 않다. 표정 즉 근골의 움직임에 따라 모근의 위치값도 바뀌고 그 방향도 바뀐다.
즉 '머리카락'에만 집중하면, 자칫하면 그 털이 근골의 움직임에 따라 모근 부분의 움직임이나 좌표값 변화가 발생한다는 점을 간과하기 쉽다. 그 사소한 점도 불쾌한 골짜기를 유발할 수 있는 소지가 있는 만큼, 유니티에서는 신체 곳곳에 있는 털을 디테일하게 파악하고 이를 실사에 가깝게 구현하고자 노력했다.
디지털 휴먼 기술에서 헤어 시스템을 구현하고자 할 때 마주치는 또다른 장벽은 인종뿐만 아니라 동물의 종류에 따라 달라지는 털의 질까지 고려하는 것이었다. 동물의 털까지 고려해야 한다는 건 단순히 영어권에서는 털을 전반적으로 의미하는 단어라 그런 것은 아니었다. 이 기술이 디지털 휴먼을 넘어, 포괄적으로 쓰이기 위해서는 마땅히 고려해야 할 영역이었기 때문이다. 특히 게임 및 창작물에서는 단순히 실사풍의 헤어시스템뿐만 아니라 카툰풍 등 다양한 스타일을 활용하게 되는데, 그쪽까지 확장하기 위해서는 인체뿐만 아니라 다양한 모질에 대한 분석은 필수였다.
이 부분까지 캐치하기 위해 유니티는 그간 자체적으로 데이터를 수집하는 한편, 개발자 및 크리에이터들의 피드백까지도 축적해왔다. 뿐만 아니라 올해는 지바 다이나믹스를 인수해 디지털 휴먼 관련 기술을 보강, 적용했다. 지바 다이나믹스는 AI 기술을 활용해 디지털 휴먼 관련 노하우를 쌓아온 기업으로, 그간 유니티가 축적해온 데이터와 기술에 지바 다이나믹스의 AI 및 디지털 휴먼 노하우가 더해지면서 현재 실사풍 헤어부터 카툰풍 헤어, 절차적 생성 및 LOD에 물리 적용한 헤어까지 유니티 헤어 시스템에서 포괄적으로 구현할 수 있게 됐다.
수십만, 수백만 가닥의 털을 일일이 만들고 렌더링하는 것 자체가 리소스를 많이 잡아먹었던 만큼, 이 부분을 획기적으로 개선할 수 있던 비결이 궁금할 수밖에 없었다. 그래서 하나하나 오브젝트 단위가 아닌, 데이터 기반 기술 스택 즉 DOTS를 활용해 다량의 오브젝트도 쉽게 처리하고자 하는 유니티의 최근 기술 트렌드가 접목된 것이 아닌가 싶었다. 그러나 쇠나겔 에반젤리스트는 그렇지 않다고 답했다.
"물론 DOTS는 수백만 개 이상의 오브젝트를 효율적으로 처리할 수 있는 아주 좋은 기술이다. 그러나 헤어 시스템에 적용된 기술은 아니다. DOTS를 도입하고자 한 이유는, 기존의 유니티의 방식으로는 하이 디테일 텍스쳐맵이 수도 없이 많을 때, 그것이 고해상도로 그리고 RTX까지 더해졌을 때 이를 효율적으로 처리하는 것에 한계가 있다고 보았기 때문이다. 더군다나 오브젝트의 양까지 더 많아지면 오브젝트 기반에서 처리할 게 더더욱 많아지니 더욱 힘들 수밖에 없을 테고.
좀 더 쉽게 말하자면 DOTS는 실사에 가까운 디테일을 가진 오브젝트들을 다수 구현할 때 유용한 기술이다. 헤어 시스템은 그 오브젝트 하나하나의 디테일을 구축하기 위한 것에 가깝다. 미래에는 어떻게 바뀔지 모르지만, 현 단계에는 헤어 시스템이 DOTS와 연관되어있지는 않다."
또 하나 중요한 포인트로 짚은 것이 '지바 다이나믹스' 인수였다. 그간 유니티는 자체 기술 개발뿐만 아니라 비복스 등 여러 기술을 보유한 회사들을 인수하면서 유니티 엔진 및 부가 서비스를 발전시켜왔고, 지바 다이나믹스도 그 중 하나였다. 거기서 끝나지 않고 유니티는 지바 다이나믹스와 함께하면서 더 발전된 기술을 선보인다는 언급이 올해 여러 차례 있었다.
통상 얼굴 표정을 표현하기 위해서는 모델링을 기반으로 미리 그 표정을 만들어두고 상황에 맞춰서 블렌딩하는 기법이 자주 쓰인다. 그러나 쇠나겔 에반젤리스트가 실제로 보여준 시연에서는 별도의 블렌드 쉐이프 없이 페이스트레이너의 리깅만으로 모델링의 표정이 자유자재로 변했다. 뿐만 아니라 마야와 유니티에서 바로 연동이 되는 만큼, 바로 엔진에서 확인할 수도 있었다.
페이스트레이너의 또다른 장점으로는 페이스데이터가 바뀌어도 바로 적용할 수 있다는 점을 꼽았다. 매 프레임마다 따로따로 하는 것이 아닌, AI가 학습된 데이터를 기반으로 페이스데이터의 리깅 포인트를 잡아서 적용하는 방식이기 때문이다. 데이터도 4D 캡처부터 페이스트레이싱까지 다양한 데이터를 기반으로 적용하며, 리깅 그래프를 파라미터 밖까지 밀어오거나 당겨와서 만화에서 나올 법한 과장된 표현까지도 소화할 수 있게끔 했다.
디지털 휴먼의 기술로 사실적인 인물상을 만드는 것은 흥미로운 일이지만, 아직 이를 영상 콘텐츠 외에 다른 곳에서 100% 활용하기는 어렵다는 과제가 남아있었다. 개발자 입장에서는 아무리 요즘 PC나 콘솔 사양이 좋아져서 최적화에 대한 부담이 덜하고 용량도 다 커지는 추세라 눈치가 덜 보인다고 하지만, 애셋 하나에 기가바이트 단위를 넘나드는 리소스를 통째로 집어넣는 건 상상하기 어려운 일이기 때문이다. 더군다나 게임에는 실사풍뿐만 아니라 카툰렌더링부터 다양한 스타일이 자리잡고 있는데, 실사 위주로 소개되는 디지털 휴먼 기술에 거리감이 느껴질 수도 있었다.
"카툰이니 실사풍이니, 그런 건 사실 모델링의 문제라기보다는 쉐이딩의 문제다. 오히려 카툰렌더링, 카툰쉐이더 이런 쪽이 디지털 휴먼에 비해 기술적 난이도가 낮고, 궁극적으로 디지털 휴먼 기술이 크게 도움이 될 것이라 생각한다.
예를 들어서 앞서 잠깐 언급했던 솜털 같은 걸 보면, 카툰렌더링에서는 거의 신경 쓸 필요가 없다. 더 디테일하게 구현할 이유가 없기 때문에 이 부분은 배제하고 헤어, 그리고 피부 등 큰 윤곽들만 생각해도 된다. 그리고 얼굴 구조 자체가 완벽히 다른 것이 아니니 표정 애니메이션도 페이스트레이너를 이용한 리깅으로 처리할 수 있게 될 것이다.
물론 처음부터 100% 완벽하게 원하는 대로 나오진 않을 수 있을 거다. 쉐이더의 문제이기도 하고, 만화 느낌을 내기 위해 개발자들이 자체적으로 연구한 것과 호환되지 않는다거나 혹은 또 심미적 부분까지 여러 가지 고려해봐야 할 부분이 있으니까. 그러나 근간이 완전히 다른 건 아니니, 디지털 휴먼 기술이 좀 더 보편화되고 개발자들의 피드백과 연구가 더해지면 얼마든지 가능하리라 본다. 지금은 실사로 굳어져있긴 하지만, 나중에는 모델링을 한 땀 한 땀 빚고 맵을 입히고 카툰쉐이더를 적용한 뒤에 블렌드 쉐이프로 한 땀 한 땀 표정을 만드는 노고가 아닌, 실제 인간을 바탕으로 제각각 다른 디지털 환경에 맞춰낸 진정한 의미의 디지털 휴먼을 만들어낼 수 있으리라 기대한다."
■ Q&A
Q. 지난 3월 21일 ‘에너미즈’로 유니티의 더 발전된 그래픽 기술을 선보였는데, 어떤 점에서 특히 발전이 있었나 짚어준다면?
= 에너미즈가 ‘발전’되었다기보다는 주인공의 얼굴 애니메이션에 사용되는 기술이 크게 바뀌었다고 할 수 있다. 이전에는 무거운 4D 캡처 방식으로 배우의 연기를 구현했지만, 지금은 Ziva 기술을 사용하여 AI로 훈련한 릭을 통해 작동하는 가벼운 메시를 이용한다. 3D 퍼펫을 만들기 위해 배우의 연기를 본뜬 기존의 4D 캡처로 Ziva AI 릭을 훈련했다.
사실 기존의 4D 캡처는 수정이 쉽지 않기 때문에 표정 연기를 아예 처음부터 다시 해서 촬영을 해야 하는데, 그러려면 비용도 많이 들고 시간도 오래 걸린다. 그러나 이 퍼펫은 원본 연기의 미묘한 표정을 조절할 수도 있고, 연기 전체를 완전히 바꿀 수도 있다.
Q. 새로운 기능이나 기술이 등장하면 가장 먼저 보게 되는 것이 효율성과 생산성인데, 이번의 ‘에너미즈’에서 선보인 디지털 휴먼 관련 기술이 콘텐츠 제작에서 어느 정도로 효율성과 생산성을 끌어올릴 수 있으리라 전망하나?
= 효율성과 생산성 측면에서 Ziva가 유니티에 합류하게 된 것은 아주 중요한 일이다. 먼저 기존의 4D 캡처에서는 애니메이션의 프레임 하나하나가 새롭고 고유한 형태의 헤드 메시라는 점을 이해해야 한다.
초당 30프레임으로 30초 분량의 얼굴 애니메이션을 만들려면 900개의 고유한 헤드 형태가 필요하다. 각 형태는 이전 프레임이나 다음 프레임과 미세하게 다르다. 그래서 프로젝트 파일이 순식간에 기하급수적으로 커져서 휴먼 헤드 하나의 용량이 몇 기가바이트가 되기도 한다. 영화 프로젝트라면 괜찮지만, 비디오 게임에서 이상적인 방법은 아니다.
반면 Ziva AI에 같은 4D 연기 데이터를 입력하면 하나의 페이스 메시가 만들어지고, 이 메시를 Ziva 컨트롤 릭이 애니메이션으로 만든다. 에너미즈의 주인공 연기 역시 2분 길이의 용량이 몇 기가바이트였지만, Maya에서는 연기를 거의 그대로 재현하면서도 파일 크기를 50메가바이트로 줄일 수 있었다. 더 놀라운 것은 이제 그 표정을 실시간으로 수정할 수 있게 되었다는 점이다. 주인공을 더 활짝 웃게 하고 싶다면 컨트롤러만 움직여서 연기 전체를 바꿀 수 있는데, 보기 전까진 믿기 어려울 거다.
Q. ZIVA 다이나믹스를 인수했는데, 디지털 휴먼 기술의 어떤 부분에서 큰 도움이 됐나?
= Ziva는 유니티에 고급 AI 얼굴 훈련 시스템을 도입해줬을 뿐 아니라, 피부를 훨씬 현실적이고 생생하게 변형시킬 수 있는 놀라운 근육 시뮬레이션 시스템도 개발했다. 이 기술은 사람뿐 아니라 모든 생물에 적용할 수 있다.
Q. 어댑티브 프로브 볼륨으로 실시간으로 자연스럽게 빛이 변화하는 모습을 쉽게 구현할 수 있는 것이 인상 깊었다. 그런데 결국 이건 씬 곳곳에 프로브를 박아서 그 프로브를 토대로 처리하는 것 아닌가 싶은데, 최적화 문제가 발생하지 않을까?
= 사실 프로브 볼륨은 리얼타임 시스템이 아니다. 미리 구워지며 씬에 간접 일루미네이션을 제공한다. 사용자는 일루미네이션을 적용하고 싶은 공간이나 영역의 크기에 맞춰 간단한 정육면체나 직육면체 등의 볼륨을 정의하면 된다. 원하는 프로브의 수만 입력하면 프로브가 자동으로 채워지는데, 에너미즈에서는 구조물 내부의 프로브 수가 야외의 프로브보다 훨씬 많기 때문에 폭넓은 커스터마이즈가 가능하다. 시스템이 유연하고 확장성이 높아서 기존의 라이트 맵으로는 구현할 수 없었던 놀라운 결과를 얻을 수 있다.
Q. 에너미즈 데모를 무료로 공개했는데, 유니티 엔진을 활용하는 개발자들이 이 데모를 써보고 지금 바로 혹은 빠른 시일 내에 프로젝트에 도입할 만한 기술을 꼽자면 무엇이 있나?
= 현재는 Ziva의 업데이트된 성능이 적용된 에너미즈 런타임만 다운로드가 가능하다. 사용자가 수정할 수 있는 프로젝트는 아니고, 레이 트레이싱이나 글로벌 일루미네이션 등 다양한 그래픽 세팅을 토글하며 GPU 성능을 테스트하거나 재미로 둘러보기에 좋은 정도다.
Q. 유니티 엔진이 오브젝트 기반이었다가 이제 점차 DOTS를 도입하게 되지 않나. 엔진과 개발 방식의 근간이 바뀌는 셈인데 이런 변화가 유니티의 디지털 휴먼 관련 기술이나 3D 관련 기술에도 어떤 영향을 미치게 될까?
= 당분간은 DOTS가 현실적인 디지털 휴먼 제작에 활용될 것 같지는 않다. 예를 들어, RTS 스타일의 게임에서는 DOTS로 수천 개의 비포토리얼 휴먼을 컨트롤하지만, 지금까지 포토리얼한 휴먼 수천 개를 만들어야 하는 이용 사례는 없지 않나.
Q. 아무래도 디지털 휴먼이 용도에 맞춰 다양한 인종 및 연령대를 제작할 수 있어야 하는 기술 아닌가. 현재까지 ‘에너미즈’로 보여준 샘플이 한정적인데, 다른 인종 및 연령대의 디지털 휴먼 관련해서 어느 정도로 기술적으로 진척이 이루어지고 있나?
= 헤어 툴을 만들 때 어려웠던 것은 사람이 가진 모든 종류의 모발을 연령별로 구현할 수 있어야 한다는 점이었다. 헤어 툴킷을 공개하면서 제작할 수 있는 여러 헤어 종류를 보여주는 동영상도 함께 제공했다. 연령대와 관련해서는 일부러 나이가 약간 많고 피부에 잡티와 주름 등이 있는 주인공을 만들어 보았다. 최종 결과물을 보면 데모 팀이 목표를 달성했다는 것을 분명히 알 수 있을 것이다. 데모 팀이 제작한 이전 영상 속 더 헤레틱의 흑인 주인공, 가웨인을 통해서도 확인할 수 있다.
Q. ‘헤레틱’에서 이미 피부의 주름이나 잡티 같은 것까지 세심하게 표현하는 모습을 보여줬는데, 이후 ‘에너미즈’와 디지털 휴먼 패키지에서는 혈류량에 따른 피부 변화까지 정밀하게 표현하는 모습을 보여줬다. 그 사이에 어떤 기술적인 발전이 있었던 것인지 간단히 소개한다면?
= 주름과 혈류를 표현할 때는 스킨 텐션 솔버(Skin Tension Solver)라는 기술과 유니티의 셰이더 그래프 툴을 사용했다. 스킨 텐션 솔버는 버텍스가 서로 멀어지거나 가까워지는 영역을 실시간으로 계산한다. 피부가 눌리면 노멀 맵을 사용하여 주름 맵과 혈류 라인을 보여주고, 피부가 늘어나면 노멀 맵이 주름이 적은 다른 노멀 맵으로 크로스 페이드된다. 퍼포먼스 오버헤드가 거의 없는 아주 스마트하고 효과적인 솔루션이다.
Q. 유니티 사용자들에게 한 마디 부탁한다.
= 우리는 크리에이터가 많아지면 더 좋은 세상이 된다고 생각한다. 유니티 엔진으로 꿈을 만들어 나가는 현재와 미래의 모든 크리에이터에게 고마움을 전하고, 감사하다고 하고 싶다.
Ruudi@inven.co.kr
페이지 구독하기
다른 기사 보기
기사 제보하기
