엔비디아 신기술 VRAM 6.5GB→0.97GB...'화질 손실 없어'

엔비디아가 자사 AI 컨퍼런스 GTC2026 세션에서 '신경 텍스처 압축(Neural Texture Compression, NTC)' 기술을 공개 시연했다. 특히 데모에서 기존 방식의 텍스처가 6.5GB의 VRAM을 잡아먹던 것을 970MB까지 축소하는 모습을 보여줬다.

📒	- 엔비디아 NTC 기술 GTC2026서 시연 - 데모서 VRAM 6.5GB에서 970MB로 축소, 화질은 유지 - 소형 신경망으로 텍스처를 실시간 복원, 기존 BCn 한계 넘어

이번 발표는 Introduction to Neural Rendering이라는 제목의 기술 세션으로 진행됐으며, 시니어 DevTech 엔지니어 알렉세이 베킨이 NTC의 작동 원리와 실질적인 메모리 절감 효과를 상세히 설명했다. NTC는 기존의 블록 기반 압축(BCN) 방식 대신 소형 신경망을 통해 텍스처를 저장하고 GPU 위에서 실시간으로 복원하는 방식이다. 핵심은 기존에 BCn(Block Compression)으로 압축했을 때 6.5GB의 VRAM을 소모하던 벤치마크 씬이 NTC 적용 후 970MB까지 줄어들었고, 화질은 육안으로 구분하기 어려운 수준을 유지하는 것이다.

NTC의 핵심 원리는 텍셀 데이터를 직접 저장하는 대신, 해당 텍스처의 시각적 특성을 학습한 소형 신경망의 가중치와 잠재 특성만 보관하는 것이다. 렌더링 시점에 GPU가 이 신경망을 실행해 필요한 텍셀 값을 그때그때 복원하며, 대용량 텍스처를 메모리에 통째로 올려두는 기존 방식과 구조적으로 다르다. 작업 연산은 GPU 내부의 텐서 코어가 전담하기 때문에 셰이더 코어의 기본 성능에 영향을 주지 않는 구조다. DLSS 등의 AI 업스케일러와 같은 하드웨어 블록을 공유한다. 이것이 엔비디아는 NTC를 신경 렌더링 전략의 일부로 묶어서 설명하는 이유이기도 하다.

기존 BCn의 경우 거의 모든 3D 게임에서 사용하는 GPU 하드웨어 텍스처 압축 방식이다. 텍스처 전체를 작은 블록으로 쪼갠 뒤, 블록마다 대표 색상과 팔레트 인덱스를 저장해 압축하는 방식이다. BC1은 4x4 픽셀 블록을 비압축 48바이트에서 8바이트로 압축할 수 있다. 하지만 블록당 고정 크기로 압축률이 정해져 있어 더 줄이는 게 불가능했다. 아울러 여러 텍스처를 따로 압축해야 해서 채널이 많을 경우 VRAM 사용량이 누적된다는 한계도 있었다.


이에 엔비디아는 텍스처 압축 기술로서는 가장 큰 세대 교체에 해당한다며 현재 GPU가 처리 가능한 것보다 최대 4배 높은 해상도의 텍스처를 구현할 수 있다고 주장했다. 이 외에도 해당 세션을 통해 신경망이 빛과 각도 조건에 따른 재질 반응을 미리 학습해두는 신경 재질(Neural Materials)도 함께 소개했다. 데모 기준으로는 1080p 해상도에서 렌더링 속도가 최대 7.7배 빨라지는 결과가 나왔다.

한편 NTC가 엔비디아 독점 기술이 아니라는 점도 주목할 부분이다. 엔비디아, 마이크로소프트를 포함한 여러 GPU 벤더들이 공동으로 협동 벡터(Cooperative Vectors) 기능을 개발, 엔비디아의 텐서 코어뿐 아니라 인텔의 XMX 엔진, AMD의 AI 액셀러레이터에서도 NTC가 작동할 수 있도록 설계됐다. 엔비디아 문서에 따르면 최소 요구 사양은 RTX20 시리즈이지만, GTX10 시리즈, AMD 라데온 RX6000 시리즈, 인텔 Arc A 시리즈에서도 검증이 이뤄진 것으로 알려졌다. 단, 협동 벡터 없이 NTC를 실행하면 렌더링 패스 처리 타임이 5.7ms까지 치솟는 것으로 알려졌다. 이에 기능의 광범위한 지원이 보급의 필요성 역시 언급되고 있다.

NTC가 2023년 발표 이후 SDK는 2026년 초부터 제공된 만큼, 실제 출시 게임에 이 기술을 적용한 사례가 없다. 엔비디아가 해당 기술을 대대적으로 시연한 배경에도 개발사들의 실제 도입을 촉구하려는 의도가 깔려 있다는 해석이 나온다. 여기에 Kepler_L2 등 일부 유출 전문가들은 소니가 플레이스테이션6의 게임 설치 용량 절감을 위해 NTC 방식 솔루션을 도입할 수 있다는 주장을 하기도 했다. NTC가 엔비디아 생태계에 국한되지 않는 개방형 기술이라는 점에서, 콘솔 플랫폼으로의 확장 가능성이 언급되는 셈이다.

NTC의 실질적이 도입은 이번 데모를 넘어, 게임 개발 파이프라인에 얼마나 통합될 수 있는지가 관건이 될 것으로 보인다. 다만, 현재 대용량 게임이 다수 공개되고 있고, VRAM 수급과 용량 증가에 대한 기대가 실제 소비자 상품으로까지 쉽게 이어지지 못하는 만큼, 기술의 필요성 자체는 명확해보인다.