17일 진행된 엔비디아의 개발자 컨퍼런스에서 젠슨 황 CEO는 엔비디아의 역할과 성취를 이렇게 언급했다. AI 에라의 시작을 GPT로 규정한다면서도, 시각화 단계에서 엔비디아가 가진 위치를 보여주는 자신감 넘치는 표현이기도 하다. 그리고 그건 틀린 말이 아니다. 엔비디아의 개발자 컨퍼런스 GTC는 어느덧 AI 전체를 대표하는 주요 개발자 컨퍼런스가 되었다. 엔비디아가 AI와 떼어놓을 수 없는 영역을 구축한 만큼, 젠슨 황 CEO는 리플렉션AI, 커서, 퍼플렉시티 등 떠오르는 AI 기업 대표들과 함께 공동 세션을 진행하기도 한다.
그리고 그런 엔비디아의 AI 분야 성과가 실제 게이머들에게 가장 직접적으로 드러나는 부분이 바로 DLSS다. DLSS5.0 시대의 도래를 알린 엔비디아는 완전히 달라진 DLSS의 역할을 전했다. 더 선명하고, 빠르게 보여주는 보조 AI에서 렌더링 이후 게임 비주얼을 완성하는 덧칠에 가까운 역할로 진화한 셈이다.
기술적으로도, 게임 개발과 플레이의 전통적 구조의 변화로서도 모두 특별한 의미를 가지는 발표다. 하지만 실제 결과물에 대한 평가는 마냥 좋지만은 못하다. 생성형 AI가 주는 특유의 연출, 그리고 개발자의 의도가 AI에 의해 덧입혀지는 것 자체에 대한 불신은 DLSS5를 AI 필터 정도로 치부하게 만든다.
엔비디아는 올가을 도입될 DLSS5를 통해 무엇을 보여주고 싶은 것일까? 적용된 기술, DLSS의 변화, 그리고 향후 전망에 대해 짚어봤다.
성능 향상의 업스케일러에서 게임 화면 출력의 최종 조율자로
DLSS5의 본질은 AI를 활용한다는 점을 제외하면 그간의 DLSS와는 크게 달라진, 생성에 있다.
DLSS5의 핵심 작동 방식은 게임 엔진이 각각의 프레임을 렌더링할 때 생성하는 정보를 우선 받아오는 데에서 시작한다. G-buffer, 그러니까 렌더링 과정에서 생기는 컬러 버퍼, 모션 벡터, 뎁스, 피부나 머리카락 등의 재질 정보를 담은 시맨틱 마스크를 기반으로 출발한다. 이후 뉴럴 렌더링을 통해 이 3D 장면의 구조화된 데이터를 최종 이미지 위에 적용하는 방식이다.
뉴럴 렌더링 모델이 최종 이미지 단계에서 작동하는 만큼 지오메트리나 메시를 건드리지 않고, 셰이딩, 조명이나 재질 표현 과정을 AI가 다시 칠하기에 4K 해상도에서 16ms 안에 돌아가는 실시간 렌더링을 목표로 한다.
여기서 16ms는 엔비디아가 DLSS5를 설명하며 많이 등장한 표현일 텐데, 이는 실제 게임이 60fps로 구동되기 위한 렌더링 상한선이다. 게임 플레이 시 1초에 60프레임이 나오는 60fps를 달성하기 위해서는 1,000ms(1초) 안에 60장을 만들고, 각각 생성하는 데 들일 수 있는 시간은 16.67ms다. 즉, 16ms 안에 뉴럴 렌더링이 추론을 끝내고 결과물을 출력하는 것이 핵심 성능 지표인 셈이다.
이렇게 후처리 작업을 통해 예측하는 뉴럴 렌더링의 특징은 빠른 실시간 렌더링 가능성 설명에서도 언급된 속도에 있다. 래스터화 방식의 기존 렌더링은 픽셀별로 셰이더를 계산해 속도는 빠르지만, 간접광이나 복잡한 재질을 구현하는 데에는 약점을 가진다. 반대로 근래 대형 게임 업계의 그래픽 기준을 바꾼 레이 트레이싱은 광선을 추적해 훨씬 사실적인 결과물을 내놓지만, 픽셀마다 발현되는 반사광 등 수백, 수천 개의 광선을 추적하기에 연산량이 높아질 수밖에 없다.
뉴럴 렌더링은 AI가 학습된 패턴으로 빛의 반사와 재질들을 예측해 처리하는 만큼, 레이트레이싱보다 훨씬 적은 연산으로 결과물 생성이 가능해진다. 뉴럴 렌더링을 렌더링 최후 단계를 AI에게 맡기는 첫 상용화 기술로 표현한 동시에, RTX 시대에 꾸준히 강조한 레이트레이싱 이후 가장 큰 변화라고 짚은 것도 그런 이유에서다.
이러한 기술 아래 기존 DLSS의 여러 하위 기술 역시 포함하고 있다. 저해상도 프레임 여러 개를 통해 고해상도 프레임을 재구성하는 업스케일러 DLSS 슈퍼 레졸루션을 비롯해 프레임 제네레이터, 다이나믹 MFG, AI 디노이저(노이즈 감소) 등이 여기 포함된다. 이미 잘 갖춰진 하위 기술, 그리고 축적된 3D 데이터에 생성형 AI 모델을 결합한 셈이다.
이렇게 후처리 단계로 역할을 다시 한 DLSS5이기에, 오히려 기존에 없던 우려와 비판도 터져나온다.
기술적 성취에도 우려되는 비주얼 변화, AI 필터 비판도
게임별로 학습된 CNN 기반 업스케일러 기술로 혹평을 받은 DLSS1.0 이후 2.0에서 범용 AI 업스케일링으로 다시 시작한 DLSS의 핵심 목표는 성능 향상이었다. 기본적으로 모션 벡터를 활용한 실시간 업스케일링이 핵심 기능이었던 DLSS2.0은 화면 해상도를 AI로 높이는 업스케일을 통해 렌더러가 실제 눈에 보이는 것보다 더 낮은 해상도로 렌더링할 수 있게 만들었다. 첫 해상도가 낮으니, GPU에 가해지는 부담 역시 적어졌다.
이후로도 DLSS는 프레임 생성을 통한 FPS 향상, 레이트레이싱 노이즈 제거, 동적 프레임 생성으로 더 높은 프레임을 달성하는 동시에 안정성과 비주얼 퀄리티를 높여나가는 방향으로 발전했다. 낮은 해상도로 렌더링해 발생하는 낮은 이미지 퀄리티 개선, 레이 트레이싱의 높은 연산량에 발생하는 프레임 저하의 기술적 해결 모두 더 좋은 화면을, 더 수월하게 돌리는 데 집중한 것이다.
DLSS5 역시 기본적인 역할은 성능 개선이다. AI가 학습한 데이터를 통해 이미지를 덧입히며 더 빠른 속도로 출력물을 얻을 수 있다. 특히 장면 자체를 생성하는 그간의 비디오 생성 모델과 달리, 엔진이 제공하는 정보 구조와 연결되어 훨씬 더 일관적인 결과물을 얻을 수 있게 됐다.
G-buffer 입력으로 만든 결과물은 결국 레이트레이싱 없이도, 그와 같은 효과를 내도록 하는 셈이다. 이는 곧 AI가 조명과 재질, 피부까지 재구성한다. 얼굴 셰이딩과 피부 디테일의 재해석이 기존에 가진 캐릭터만의 인상을 바꾸고, 연출에서의 변화를 가져오는 것이다. 이 부분이 마치 인스타그램, 틱톡 등의 AI 필터를 활용한 듯한 기묘한 룩을 만드는 원인으로 지목된다.
포토 리얼리스틱한 분위기를 내는 데에 인물 묘사가 가장 두드러지는 부분도 외형적 변화가 비판 받는 이유 중 하나다. 그간 인물 묘사를 실사와 가까운 형태로 빠르게 렌더링하는 것은 불가능에 가까운 영역이었다. 이에 영화처럼 이미 완성된 결과물을 틀어서 보여주기만 하는 프리렌더링과 달리 실시간 렌더링이 이루어지는 게임에서는 이러한 연출이 불가능에 가까웠다. 그렇기에 사람들이 사실적인 연출력이 더해진 DLSS5의 모습을, 그간 익숙하게 봐왔던 포토리얼리스틱 결과물인 AI 생성 이미지와 겹쳐 보게 된다는 분석이다.
물론 게임 속 캐릭터 자체의 인상이 달라진 부분 역시 무시할 수 없다. 이미 게임을 접한 플레이어가 보기에 DLSS5를 통해 보여지는 결과물은 분명 자신이 생각한 디자인, 연출과 달라져 보이기 때문이다. 이러한 연출적 차이가 같은 게임을 즐기는 플레이어에게 다른 경험을 줄 수 있다는 우려도 생긴다. 이전 세대 GPU나 AMD GPU, 콘솔 이용자처럼 DLSS5가 적용되지 않는 하드웨어를 가진 이들이 경험하는 비주얼적 차이는 캐릭터에 대한 인상과 경험까지 다르게 바꿀 수 있다.
그러한 우려를 개발자가 고려해, 모든 기기에서 동일하게 유지할 수 있느냐는 점 역시 생각해볼 일이다.
개발자가 조율할 수 있는 DLSS5, 플레이어 경험 해치지 말아야
비주얼 측면에서의 아쉬움이 존재하지만, DLSS5를 가능하게 만든 여러 기술적 특징 만큼이나 보여준 가능성 역시 크다. 애초에 오브젝트 재질과 조명, 캐릭터 연출 부분에서 거의 평면에 가까운 모습으로 아쉬움을 남긴 베데스다 게임들, 스타필드나 엘더스크롤4: 오블리비언 리마스터 등은 DLSS5 활용을 통해 게임을 보다 극적으로 만든다.
특히 환경 부분에서 보여주는 가능성은 그간 복잡한 연산 비용에 모든 플레이어가 충분하게 즐길 수 없었던 고품질의 레이 트레이싱 기술 경험을 가능하게 할 수 있다. 핵심은 결국 개발자가 얼마나 동일한 연출과 아트 디렉션을 제공할 수 있느냐는 데 달려있다.
일단 엔비디아는 뉴럴 렌더링의 적용을 완전히 개발자가 통제할 수 있다고 밝혔다. 효과의 강도 조절, 컬러 그레이딩, 또 특정 부분에는 효과를 아예 적용하지 않도록 마스크를 씌우는 것도 가능하다. 얼굴이나 입술만 마스킹해 효과를 피하고, 배경 환경이나 옷감 등의 재질에만 효과를 적용할 수 있는 식이다. 또 프리셋을 설정해 컷신에는 다른 식으로 활용하는 등으로도 쓸 수 있다.
어디까지나 엔비디아가 발표하는 보도자료 속 언급이기는 하지만 베데스다, 캡콤 등도 시각적 충실도 향상에 더 크게 기대하고 있음을 드러냈다. 개발 단계에서 이러한 우려를 충분히 컨트롤해 완성할 수 있다면 DLSS5의 결과물은 기존 생성형 AI는 물론, 이전 세대 업스케일러들이 하지 못한 비주얼 혁신을 가져올 수 있다. 그리고 그게 단순히 게임을 넘어, 이미지-비디오 프로세싱 AI 강자로 성장하려는 엔비디아의 첫 발자국으로 기억될 수도 있고 말이다.
물론 출시까지 아직 반년 가까운 시간이 남은 만큼, 존재하는 아쉬움을 어떻게 지워내느냐 하는 점이 가장 중요하다. 생성형 AI 이미지의 범람 속에서, 이용자들은 이미 익숙해졌지만 그 이상의 반감을 드러내고 있기도 하다. 포토 리얼리스틱이라는 목표 아래 DLSS5가 만든 이미지가 그간의 게임이 가진 이미지를 AI 필터로 전락시킨다면, DLSS5는 DLSS1.0처럼 순식간에 다음 세대로 건너뛸지도 모를 일이다.
중요한 건 훌륭한 기술과 유연한 개발 지원, 강화된 경험을 팬들이 충분히 받아들일 수 있도록 조정하는 데 있을 것이다.
동시에 게이머들이 공개된 기술을 어떻게 바라보는지, 또 어떻게 수정해야 하는지 되돌아볼 기회가 될 수 있다
Looa@inven.co.kr
페이지 구독하기
다른 기사 보기
기사 제보하기
