“이게 리얼타임 레이트레이싱이 된다고?
에픽게임즈가 지난 GDC 2019 키노트 강연에서 언리얼 엔진 4.22의 리얼타임 레이트레이싱을 소개하기 위해 공개한 ‘트롤’을 보고 든 생각이었다. 레이트레이싱은 물체 자체의 색과 질감만 표현하는 것뿐만 아니라, 빛의 반사와 굴절 등까지 전부 연산해서 렌더링하는 기술이다. 이를 실시간으로 적용한다는 것은 그만큼 방대한 연산이 진행되고 있다는 뜻이었고, 그 때문에 그간 리얼타임 레이트레이싱을 적용하는 대상은 제한되어 있었다. 특히나 사람의 피부, 수면 등 빛의 노출에 따라 그 색과 빛의 반사 정도가 완전히 달라지거나 혹은 사람들이 불쾌한 골짜기를 느끼기 쉬운 것들은 실시간으로 정교한 레이트레이싱을 적용해 렌더링하기가 어렵지만, ‘트롤’에서는 이를 전면으로 내세웠던 것이다.
이러한 기술은 게임을 넘어서 영상, 제품 개발 등에서도 활용되고 있다. 실제로 ‘트롤’을 제작 중인 굿바이 캔자스나 딥 포레스트 필름도 영상 개발을 주로 하는 곳이었다. 영화에서도 CG 작업에서 엔진을 활용한다는 말은 이미 낯선 일이 아니게 됐다. 이미 작년 GDC 2018에서는 루카스 필름에서 리얼타임 레이트레이싱을 활용한 사례를 보여주기도 했다.
한 층 더 발전한 기술을 입힌 언리얼 엔진이 앞으로 어떤 방향으로 나아가게 될까? 오늘(14일) 서울 그랜드 파르나스 호텔에서 열린 언리얼 서밋에서 마커스 와스머 디렉터, 세바스찬 미글리오 디렉터와의 인터뷰를 통해서 확인해볼 수 있었다.
Q. 작년 GDC 키노트에서 실시간 레이트레이싱을 공개했을 때는 사람의 피부나, 자연물에서의 빛의 산란과 반사를 보여주지 않고 인공 오브젝트 위주로 공개하는 모습을 보였다. 그러다 1년만에 공개한 ‘트롤’을 보면 이 두 가지를 유달리 강조한 것 같다.
와스머: 작년에 공개했던 '리플렉션' 테크 데모 같은 경우에는 프로토타입이기도 해서, 실시간 레이트레이싱 그 자체만 보여주려고 했었다. 그래서 표면에 무언가 반사되는 것 자체에 좀 더 집중했고, 환경이 비교적 단순했다.
이후에 그 데모에서 보인 것을 바탕으로 좀 더 개선했고, 좀 더 시네마틱 영상급의 퀄리티를 구현하고자 했다. 특히 작년에 비해서 파티클과 캐시를 좀 더 복잡한 환경에서 효율적으로 구현할 수 있게 됐다. 그렇게 해서 만들어진 것이 이번 GDC, 그리고 언리얼 서밋에서 보여준 '트롤'이라고 하겠다.
Q. ‘트롤’에서 보여준 것 같은 퍼포먼스의 레이트레이싱을 현 단계에서 게임에 그대로 적용할 수 있나 궁금하다.
와스머: 레이트레이싱 기능은 이미 도입이 되어있다. 이를 활성화하느냐 비활성화하느냐 개발자가 개별적으로 적용할 수 있도록 했다. 즉 이를 활용하느냐 여부는 우선 그 게임 개발에 책정한 예산이나 방향에 따라서 달려있다고 본다.
'트롤'을 예시로 들자면, 지금 단계에서는 24프레임 레이트로 구현했다. 구동환경을 설명하자면 GTX 2080 하나만으로 렌더링했다. 근미래에는 이와 관련된 기능을 좀 더 폭넓게, 보다 더 개선된 환경에서 보여줄 수 있을 것이라고 예상한다. 실제로 '트롤'에 적용한 레이트레이싱을 보면 소모한 코스트에 비해서 효율이 좋기 때문에, 게임에서도 곧 적용할 수 있지 않을까 싶다.
Q. 메시 드로잉 파이프라인을 적용했을 때 기존 대비 어느 정도 퍼포먼스의 향상이 있었나 알고 싶다.
와스머: 이는 게임 내 오브젝트가 어느 정도 있느냐, 또 어떤 분야를 두고 이야기하느냐에 따라서 좀 다른 것 같다. 일단 다수의 오브젝트를 인스턴싱할 때에는 대폭 단축시키는 것이 가능해졌다. CPU에서 드로잉하는 경우에 국한되긴 했지만, 콘텐츠를 자동으로 인스턴싱 못할 때에는 1.5배에서 2배 정도 빨라진 것으로 나타났다. 이는 많은 오브젝트를 인스턴싱할 경우에는 대폭 단축시키는 것이 가능했다.
다만 가시성 연산에서는 크게 달라지지는 않았다. 그래서 척 보기에는 개선되지 않았다고 느낄 수도 있다. 이 부분은 내일(15일) 진행하는 심화 세션에서 좀 더 자세히 보여줄 예정이다. 또 커뮤니티에서도 이 기능으로 효과를 본 게임의 사례를 소개할 것이다.
Q. VR/AR, XR 기술과 관련된 기능 발표가 해가 가면 갈수록 적어지는 느낌이다. VR/AR 기술의 현 상황과 앞으로의 전망에 대해서 어떻게 보고 있나?
와스머: 우선 AR 기술을 보면, 그 전망이 밝다고 보고 있다. 특히 앱 개발과 관련해서 그 가능성이 무한하다고 생각한다. 아마 스마트폰을 지금 대중적으로 사용하는 것처럼, 근미래에는 보급화가 되지 않을까 싶다.
그리고 VR 또한 매우 매력적인 기술이라고 생각한다. 이 분야 또한 게임뿐만 아니라 비즈니스에서도 사용이 가능하다고 보고 있기도 하고. 그러나 기술이 간편해지기 전까지는 기다려야 할 것 같다. 예를 들면 무선 헤드셋이 만들어진다거나, 그런 식의 진전이 있다면 더욱 더 발전이 가속화될 것이라고 예상한다.
미글리오: VR과 AR 같은 경우에는 제조업계에서는 트렌드로 자리잡고 있다. 우선 엔지니어링 과정에서 산업 모델 리뷰, 분석에서 사용되고 있다. 또 워크스테이션에서 엔지니어와 디자이너가 함께 몰입해서 작업할 수 있는 환경을 제공하고 있기도 하다.
그 외에도 공장에서 AR과 모빌리티 기술도 도입이 되고 있다, 실제로 전통적인 페이퍼워크 기반의 공정보다, AR을 활용해서 현장과 연동하는 워크프로세스 등도 계속 연구 및 도입이 진행되고 있다.
Q. 리얼타임 레이트레이싱 등 기술은 고사양의 컴퓨터를 요구하는데, 언리얼 엔진에서는 과도하게 고사양 기기만을 보고 기술 개발하는 경향이 있는 것 같다. 이에 대해서 어떻게 생각하나.
와스머: 레이트레이싱을 제외한 기술은 PC뿐만 아니라 모바일 환경에서도 축소 적용이 가능한 기술이다. 에픽 게임즈에서는 언리얼 엔진이 PC뿐만 아니라 모바일, 맥, 콘솔 등 다양한 환경에서 전반적으로 활용 가능해야 한다고 보고 있다. 그리고 그런 범용성을 매우 중요시하고 있다. 현재뿐만 아니라 앞으로도 다양한 플랫폼에서 범용적으로 활용이 가능하게끔 기술 개발을 하고 있고, 연구 중에 있다.
Q. 개발 시간 절감은 개발자들의 숙원이다. 언리얼 엔진은 이 목표를 달성하게 하기 위해서 어떤 걸 제공하고자 하나?
와스머: 일단 C++ 컴파일 타임을 4.22 버전에서 대폭 줄였다. 인크리멘탈 빌드 타임도 대폭 축소해서 기존 대비 세 배 가량 빨라졌다. 그 외에도 로딩 타임 단축, 멀티 유저 에디팅 기능도 추가할 예정이다.
일단 언리얼 엔진을 사용하게 되면, 어지간한 맞춤형 엔진을 구축하고 사용하는 것보다 더 효율적으로 작업할 수 있게끔 하는 것이 목표다. 이를 위해서 마련된 것들이 즉석에서 사용할 수 있는 고퀄리티 그래픽 소스, 그리고 엔진 내에서 기본적으로 제공되는 네트워크 플랫폼 같은 것들이다.
그 외에도 마켓플레이스가 프로젝트를 처음 시작하는 개발자들이 프로토타입을 빨리빨리 낼 수 있도록 많은 도움을 주고 있다고 보고 있다.
또 한 가지 덧붙이자면, 라이브++에서 에디터를 재시작하지 않고도 코드를 적용할 수 있게끔 됐다. 에디터 안의 코드를 수정할 수 있다는 의미는 아니지만, 기존에는 에디터를 재시작해야 수정된 코드가 적용이 됐는데 이 부분이 개선됐다. 그러면서 좀 더 빨리 개발이 이루어지지 않을까 싶다.
Q. 산업체에서 언리얼 사용 사례를 보면, 영상이나 자동차 건축 인테리어 분야에서 많이 사용되고 있다. 이밖에 알려지지 않은 적용 사례가 있나?
미글리오: 국방 등 분야에서도 시뮬레이션 관련해서 사용 사례가 있다. 그 외에도 자율주행자동차 개발 과정에서도 적용되고 있다. 물리 엔진을 구현해서 자율주행자동차의 시뮬레이션과 물리 연산을 하는 식이다. 그 외에도 여러 가지 개념과 사례가 있는데, 그 분야는 내일(15일) 진행하는 세션에서 좀 더 자세히 설명할 예정이다.
Q.영상 제작 등 다양한 엔터테인먼트 산업에서 언리얼 엔진이 사용되고 있다고 계속 언급이 되는데, 그 개념과, 사례를 좀 더 자세히 설명해달라.
미글리오: 우선 가까운 사례르 보면 '리플렉션'이나 '휴먼 레이스' 같은 영상 테크 데모가 있을 거다. 그 외에도 TV 방송이나 드라마, 다큐멘터리 제작에서도 활용되고 있다. 이 분야 역시도 내일(15일)에 있는 버추얼 프로덕션 세션에서 좀 더 자세히 설명하고, 해당 사례를 공개할 계획이다.
Q. 기존 디지털 콘텐츠 제작 과정에서 버추얼 프로덕션 활용해서 어떻게 달라져왔나? 그리고 CG 아티스트들이 언리얼 엔진활용할 때 뭘 배우는 게 좋을까?
미글리오: 스테이지에서 바로 그 결과물을 확인하지 못했지만, 이제 버추얼 프로덕션에서는 가능해졌다. 기존에서는 그린 스크린으로 촬영하고, 거기에 입히는 식이었는데 여기에 트랙 카메라를 붙여서 그린 스크린으로 촬영하면서도, 그게 어떤 식으로 결과물이 나오는지 확인하면서 촬영이 가능하다.
버추얼 프로덕션이 도입되면서 직접 가상 환경에서 감독의 의도를 구현하거나, 혹은 이를 변화시키는 것이 가능하다. 기존에는 다른 기술팀이 같이 작업을 해야 했다면, 이제는 감독이 어느 정도 엔진에 대한 이해가 있으면 직접 작업을 할 수도 있게 됐기 때문이다.
와스머: CG 아티스트가 언리얼 엔진으로 작업하려면 마테리얼 그래프 에디터에서 쉐이프를 어떻게 구축하나를 알아야 할 것이다. 그리고 라이팅 옵션에 대해서도 알 필요도 있고, 언리얼 엔진 4 안에서는 유연한 라이팅 옵션이 되어있다. 이 라이트들이 어떻게 다르고, 적용할 때 어떻게 달라지나 알아야 그걸 활용할 수 있을 것이다.
그리고 아티스트 직무 밖의 이야기이긴 한데, 블루프린트를 알아두면 프로그래머나 디자이너 도움 없이도 모든 툴을 만들 수 있을 것이다.
Q. 새로이 엔진에 추가되는 기능이나 그 용법을 보면 게임 외에 다른 분야도 다 포괄하는 느낌이다. 그래서 일반인의 시각으로 볼 때는 게임 엔진으로서 퍼포먼스가 좋아졌다기보다는 ‘그냥 이런 기능이 추가됐다, 이런 게 가능하다’ 정도로만 받아들여지는 것 같다.
미글리오: 게임 업계를 보면, 오랫동안 그 게임 속 시네마틱을 영화 퀄리티에 맞추고자 노력해왔다고 본다. 그러나 지금은, 영화에서도 이제 게임 개발 기술을 응용한 버추얼 프로덕션 기술을 활용하고 있다. 우리가 보기엔 최근 트렌드는 영화 업계와 게임 업계가 서로 교차하고 있는 것이라고 보고 있다. 그러면서 앞으로 각 업계가 서로 돕지 않을까 싶다. 에픽게임즈에서는 그 양쪽 모두에 사용 가능한 기술을 만들고, 구현하는 것이 목표다.
또 하드웨어가 발전하고 더욱 가속화되면서 언리얼 엔진의 기술도 더 향상될 거고, 그렇게 되면 앞으로 할 수 있는 것이 더 많아지지 않을까? 그러면 VFX 같은 전통적인 영역에서도 할 수 있는 것이 더 많아질 것이다. 그 외에도 최근에 대두되는 인터렉티브 미디어에서도 언리얼 엔진이 갖는 중요성이 높아질 거라고 본다. 넷플릭스에서 제작한 '밴더스내치'는 비록 언리얼 엔진을 사용하지는 않았지만, 그런 인터렉티브 미디어의 주요 사례다. 그런 것들이 더 늘면, 언리얼 엔진도 쓰게 되고 더 많은 분야에서 상호작용이 일지 않을까 싶다.
Q. 올해 GDC에서 구글이 스태디아를 발표했다. 마이크로소프트에서는 엑스클라우드를 발표하기도 했고. 엔진 개발사 입장에서 이런 게임 스트리밍 서비스가 얼마나 게임 업계에 영향을 미칠 것이라고 보나?
와스머: 일단은 지켜봐야 할 것 같다. 성공가능성은 있지만, 인프라 구축과, 지연 현상 등은 극복해야 할 과제가 아닌가 싶다. 또 다양한 상황에서 유저에게 일관적으로 서비스를 제공하는 것도 문제가 될 것 같다.
미글리오: 기기 전반에 걸쳐서 일관된 퍼포먼스와 경험을 제공하는 것은 에픽에도 많이 와닿는 개념이다. 이를 꾸준히 제공해줘야 유저가 지속적으로 관심을 가지지 않을까 싶다.
Q. 스태디아 관련해서 구글과 파트너십을 맺었는데, 어떤 역할을 맡았나?
와스머: 구글과 협력해서 언리얼 엔진4가 어떤 상황에서도 전적으로 높은 퍼포먼스와 안정성을 제공할 수 있도록 하고자 한다. 4.22에서도 스태디아 지원이 되고 있고, 현재 언리얼 엔진4로 게임 개발을 하고 있는 개발자 여럿이 스태디아에 대응해서 게임 개발을 하고자 하는 것으로 알고 있다.
Q. PS5의 하드웨어 개요가 공개됐는데, 이를 토대로 보면 실시간 레이트레이싱이 적용될 때 4k 환경에서 60프레임을 나오기 어렵지 않을까? 그리고 업계에서 프레임 레이트나 해상도, 레이트레이싱 중에서 무엇에 집중할 거라고 보는지 그 관점이 궁금하다.
와스머: 이 과제는 하드웨어나 세대, 또 개발자의 선택에 따라서 갈라진다고 본다. 또 게임의 종류에 따라서도 달라질 것이고. 예를 들어서 포트나이트 같은 경쟁적인 게임을 보자. 이런 게임에서는 프레임 레이트가 더 핵심 이슈가 되지 않을까?
반면에 이런 즉각적인 반응이 요구되는 게임보다는 비주얼에 좀 더 집중한 게임이면 그래픽 관련된 분야에 더 집중하지 않을까 싶다. 30프레임과 60프레임을 비교한다면, 일단 60프레임이 좀 더 자연스러우니까 그 자연스러운 움직임에 집중하는 게임이면 이걸 선택할 것이고, 그보다는 정적인데도 비주얼적인 걸 더 추구하면 30을 선택할 수 있는 것 아닐까 싶다. 결론은 개발자의 몫이라고 하겠다.
Q. PS5에서 사운드 관련해서 HRTF 기술을 적용한다고 하는데, 언리얼 엔진에서 앞으로 이를 대응하는 것도 고려하고 있나?
와스머: 이 분야는 별도로 지속적으로 연구하고 있는 분야다.
Q. 리얼타임 레이트레이싱을 적용하면서 아티스트들은 어떤 점에서 초점을 두고 프로젝트를 진행해야 할까?
와스머: 그 게임 내에서 구현하고자 하는 목표가 무엇이며, 목표 퍼포먼스가 어느 정도인지에 따라 다를 것이다. 다. 게임은 단순히 고퀄리티 영상만 나오면 되는 것이 아니라, 구동이 원활히 되는가 혹은 범용성이 어느 정도인가 하는 것도 고려할 필요가 있기 때문이다.
영상 제작자들이라고 한다면, 모든 옵션을 알아보고 적용해보는 것이 좋다고 하겠다. 특히 소프트 쉐도우를 어떻게 적용하는지, 레이트레이싱 내의 파라미터를 세부적으로 어떻게 다듬어야 하는지 알아보면 더 고퀄리티 영상을 만들 수 있을 거라고 본다.
한 가지 유의사항은, 4.22 버전에서는 여러 기능이 많이 추가되면서 버그가 있을 가능성도 있다. 그와 관련해서 업로드해주면 대처하도록 하겠다.
Q. 리얼타임 레이트레이싱이 데모가 아닌 실제 적용에는 시간이 오래 걸린다고 게임 개발자들이 이야기하는데, 이에 동의하고 있나? 또 리얼타임 레이트레이싱이 지금 어떤 방향으로 개발이 진행 중인지 좀 더 소개 부탁한다.
와스머: 첫 번째 질문에 답한다면, 우선 리얼타임 레이트레이싱이 렌더링 가능한 그래픽카드가 출시된지 얼마 안 됐다. 하드웨어의 발전 속도에 따라 다르지만, 그 여하에 수년 내로 가능할 것이라고 보고 있다.
일단 지금 추론해보면, 우선 AAA급 게임 개발자들이 리얼타임 레이트레이싱을 도입하면 하이엔드 PC를 활용하는 게이머를 타겟으로 적용할 것이다, 그리고 디폴트가 아닌 옵션으로 적용하지 않을까 싶다. 아마 대중적으로 적용하려면 4~5년 정도 걸릴 거라고 보고 있다.
미글리오: 다만 산업체에서는 빠르게 레이트레이싱 기술을 활용하고 있다. 산업체 기준으로 보자면 코스트 대비, 효율이 굉장히 높기 때문이다. 건축, 자동차 업계에서 많은 업체가 이 기술을 도입한 소프트웨어를 활용하고 있는 중이다. 아마 수년 내로 이 업계 대부분이 이 기술을 활용하지 않을까 싶다.
일단 엔비디아에서 지금은 좀 느리지만 실시간 레이트레이싱 렌더링이 가능한 그래픽카드를 내놓았고, 업체 기준에서는 이를 활용할 수 있으니까 그게 가능한 것이긴 하다. 다만 기술이 발전하면, 이 역시도 보급이 빠르게 되지 않을까?
와스머: 레이트레이싱 개발 방향은 안정성을 향상하는 방향으로 잡고 있다. 또한 랜드스케이프 기능 등 아직 리얼타임 레이트레이싱이 지원되지 않는 지오메트리에도 추가로 지원되게끔 할 예정이다. 실시간 GI, 레이트레이스 GI, 리얼타임 스카이라인 등 기능이 추가될 예정이기도 하다.
Q. 게임에서 실시간 레이트레이싱을 적용하려고 하면, 개발비가 어느 정도 더 추가가 될까? 또 트윈모션을 인수했는데 그 기술이 언리얼 엔진에 적용된 것이 있나 궁금하다.
그리고 언리얼 엔진4가 나온지 시일이 좀 됐는데, 다음 넘버링이 언제쯤 나올지 궁금하다. 혹은 그렇게 넘버링이 변할 만큼 획기적 기술이 언제 적용될지도 묻고 싶다.
와스머: 언리얼 엔진 유저 같은 경우에는 비교적 적게 들 거라고 본다. 한 편으로 추가 QA 구간이 있기 때문에 그 부분에서 개발비가 들 거라고 본다. 일단 실시간 레이트레이싱하려면 다이렉트X12를 도입해야 하는데, 이걸 안 했다고 하면 여기서 QA 비용이 또 들지 않겠나.
미글리오: 트윈모션은, 언리얼 엔진을 3년 전부터 활용했던 회사고, 그때부터 협력해왔다. 또 우리가 인수했을 때 기술 외에도 트윈모션팀에서 갖고 있는 건축 분야, 디자이너, 그쪽의 노하우를 활용해서 그 분야에서 다양하게 활용할 수 있도록 하고 있다.
와스머: 기술 지원과 개발은 계속 하지만, 당분간 넘버링 변경은 없을 예정이다.
Q. 마지막으로 언리얼 엔진을 사용하고 있는 개발자들과, 게임 개발자 지망생들에게 한 마디 부탁한다.
와스머: 한국의 게임 커뮤니티는 최고라고 보고 있다. PC 게임을 봐도 스타크래프트부터 오버워치, 또 그 외 게임까지 다양한 시장이 형성이 되어있다. 모바일을 봐도 시장이 굉장히 크고, 게임을 즐기는 사람도 많다. 게임 개발자들 같은 경우에도 리니지2, 블레이드&소울, 배틀그라운드의 사례처럼 선도하고 있는 개발자들이 있다고 보고 있다. 즉 게이머나 게임 개발자 모두에게 중요한 시장이라고 보고 있다.
게임 개발자들은 꿈, 상상으로만 여겼던 것을 현실 속에 실현하기 위해서 노력하고 있다. 에픽게임즈는 그들의 꿈이 실현될 수 있도록 최선을 다해 지원할 것이다.
Ruudi@inven.co.kr
페이지 구독하기
다른 기사 보기
기사 제보하기
