작년부터 개발자들 사이에 주요 화두를 꼽자면 '생성형 AI'가 빠질 수 없을 것이다. 빠른 속도로 반복 학습을 완료한 뒤 몇 문장만으로 그럴싸한 결과물을 짧은 시간에 바로 제시하는 생성형 AI는 잘 활용하면 작업 시간을 비약적으로 단축시킬 수 있으리란 기대를 주기엔 충분했다. 그래서 작업물의 저작권 논란 등 여러 이슈에도 불구하고 꾸준히 연구가 이어져 왔다.
유니티 역시도 AI가 보여주는 비약적인 작업 효율에 주목, 생성형 AI 솔루션 '유니티 뮤즈'를 2023년 베타 버전으로 선보였다. 유나이트 2023 현장에서는 시연을 통해 자체적으로 학습한 결과물을 바탕으로 게임 내에서 바로바로 쓸 수 있는 스프라이트, 텍스처의 종류를 프롬프트에 적고 일부 설정을 바꾸는 것만으로도 빠르게 생성해내는 것을 확인할 수 있었다.
유니티 뮤즈는 여기서 그치지 않고 올해 중에 캐릭터의 움직임 구현과 연관된 애니메이션, 비헤이비어까지 선보인다. 키, 비헤이비어 트리, 스크립트, 비주얼 스크립트 등 그간 유니티 엔진의 구조와 로직에 대해 어느 정도 알고 접근해야 했던 영역에서 '유니티 뮤즈'가 어떤 결과물을 보여줄지, 또 얼마나 프로토타이핑 과정에 소요되는 시간을 줄여줄 수 있을지 시연을 통해서 확인할 수 있었다.
마티나 조하네슨 선임 PM과 마누엘 세인실리 선임 애드보킷은 유니티는 시간과 리소스의 제약이 창의성을 제한하고 있으며, 생성형 AI가 이를 획기적으로 줄여줄 수 있는 돌파구라고 전망했다. 디테일까지 다듬어야 하는 완성본에 적용하는 것은 시기상조일지라도, 뼈대를 만들고 반복적으로 체크하는 프로토타이핑이라는 과정에서는 현 단계의 생성형 AI 기술로도 충분히 역할을 할 수 있을 거라 판단했다.
그렇게 해서 선보인 '유니티 뮤즈'는 기본적으로 여타 생성형 AI처럼 자연어를 기반으로한 프롬프트에서 해당 분야의 결과물을 산출하는 방식이다. 뮤즈 스프라이트에서는 프롬프트에 자신이 만들고 싶은 스프라이트의 종류를 적으면 그 조건에 맞춰 다양한 결과물이 샘플로 나오고, 텍스처에서는 텍스처 샘플이 여럿 나온다. 그 샘플 중에 조건에 근접한 것을 그대로 사용하거나, 여러 특성 패러그래프를 조작해 맞춰나가거나 혹은 레퍼런스 이미지를 넣어서 그에 맞는 이미지를 만드는 등 자신이 원하는 결과물을 빠르게 만들어낼 수 있다. 최근 에디터 안에서 지원하는 뮤즈 챗에서는 프로젝트 내에 발생한 오류의 해결 방안이나 원하는 조건의 코드 생성까지 지원한다.
여기서 더 나아가 유니티에서는 3D 애니메이션 그리고 행동 패턴까지도 손쉽게 구현해서 프로토타이핑 시간을 최적화하는 것에 주력했다. 뮤즈 애니메이션을 실행하면 애니메이션 창과 프롬프트 창이 생성되며, 프롬프트 창에 원하는 동작을 문장으로 작성하면 그에 맞춘 샘플 애니메이션 몇 개가 바로 생성된다. 세부 설정을 바꿀 수 있던 뮤즈 스프라이트나 뮤즈 텍스처와 동일하게 뮤즈 애니메이션에서도 각 주요 동작에서 키를 편집할 수 있다. 완성이 되면 애님을 익스포트하고, 인스펙터창의 애니메이터 컴포넌트에 해당 애님을 넣으면 바로 원하는 애니메이션이 캐릭터에게 적용된다.
애니메이션을 만들었다고 해서 캐릭터가 실제로 걷는 것이 아닌 만큼, 그 동작을 실제로 이행하고 그 외 다른 동작까지 연결할 수 있는 '비헤이비어'도 필수다. 뮤즈 비헤이비어는 유니티 비헤이비어 트리를 기반으로 하며, 프롬프트창에 자연어로 어떤 동작을 어떤 조건에서 수행할지 입력하면 그에 맞춰 노드를 생성하고 걷는 속도나 대상에 대한 정보 등 추가 기입이 필요한 사항을 블랙보드 창에 띄우게 된다.
이번 시연에서는 유니티의 3D URP 샘플 '정원'에서 복도를 순찰하는 NPC를 구현했다. 이 프로토타입에서 NPC는 꽃병이 있는 방 앞쪽의 복도를 왕복하다가 플레이어가 시야에 일정 거리 내에 포착되면 플레이어에게 경고하도록 설정해야 했다. 그래서 먼저 걷는 동작과 경고하는 동작을 뮤즈 애니메이션으로 제작해 컴포넌트에 넣고, 뮤즈 비헤이비어로 NPC가 수행해야 할 일련의 행동 양식을 문장으로 작성해서 비헤이비어 트리를 제작했다.
뮤즈 비헤이비어에서 비헤이비어 트리 자체는 만들어주지만, 비헤이비어 트리를 원하는 대로 완성하기 위해서는 비주얼 스크립팅 정도의 로직은 필요하다. 쉽게 말해 '누가', '어느 정도 거리 안에 들어오면' '어떤 행동을 취한다'는 것은 명확히 지시해야 하는 만큼, 문장을 작성할 때 이를 고려해서 쓰면 원하는 결과물을 더 쉽게 얻을 수 있다. 노드를 우클릭하면 뮤즈 비헤이비어에서 조건에 맞춰 생성한 스크립트를 확인, 이를 수정해서 자신이 원하는 방향으로 좀 더 세밀하게 다듬을 수 있다. 이외에도 플레이어가 꽃병 앞에서 스페이스바를 누르면 꽃병의 색이 계속 변하도록 설정하는 등, 애니메이션의 전환 뿐만 아니라 비헤이비어 트리로 구현할 수 있는 다양한 사례들이 시연을 통해 소개됐다.
종종 애니메이션을 만들고 비헤이비어를 만들 때 특정 대상을 지정하는 것이나, 혹은 왕복 순찰을 하려면 빈 오브젝트를 배치해 웨이포인트를 만들어야 하는데 빠뜨리거나 혹은 마테리얼을 넣는 걸 깜빡하는 등 소소한 것을 놓칠 때가 있다. 이러한 오류는 뮤즈 챗에 콘솔창의 오류를 바로 드래그하거나, 지금 발생하고 있는 문제를 문장으로 적어서 해결 방안을 찾아내는 식으로 프로토타이핑은 빠르게 전개됐다.
시연을 마친 뒤에는 앞으로 유니티 뮤즈에서 새로 지원하게 될 분야도 언급됐다. 우선 각종 효과음을 자연어를 입력해서 바로 만들 수 있는 '뮤즈 사운드'도 이후에 선보일 예정이다. 그리고 뮤즈 애니메이션을 에디터 안에서 실행, 맥락에 맞는 애니메이션을 제작하기 쉽게끔 개선한다. 아울러 샘플 생성 속도도 최적화를 거쳐서 좀 더 빠르게 다듬고, 올해 말에는 좀 더 다양한 고해상도의 3D 텍스처를 제작할 수 있는 '뮤즈 텍스처 3D'가 출시될 예정이다.
마지막으로 콘베이와 유니티가 협력해 유니티 뮤즈를 비롯한 여러 AI 기술을 활용해 만든 데모인 '프로젝트 뉴럴 넥서스'가 소개됐다. 뉴럴 네트워크 기반으로 구축한 이번 데모에는 별도의 사전 작업 없이 NPC가 플레이어의 행동에 맞춰서 실시간으로 대응하고, 그에 맞는 액션과 대사도 실시간으로 생성된다. 조하네슨 선임 PM과 세인실리 선임 애드보킷은 이처럼 AI를 활용해 이전에 생각도 못한 속도로 수준급의 데모를 만들거나 훨씬 간단한 절차로 작업물을 만들 수 있는 만큼, 유니티는 AI에 대한 연구를 확장해 개발자들의 창의성을 극대화하도록 도울 것이라고 덧붙였다.
Ruudi@inven.co.kr
페이지 구독하기
다른 기사 보기
기사 제보하기
