버츄얼 유튜버, 이렇게 만들어집니다

게임뉴스 | 박광석 기자 | 댓글: 10개 |

개발자 컨퍼런스 '유나이트 서울 2019'의 첫째 날, 인터넷상에서 선풍적인 인기를 끌고 있는 '버츄얼 유튜버'에 대한 기술적인 조언을 얻을 수 있는 강연이 마련됐다.

이날 강연에는 오지현 유니티 테크놀로지스 에반젤리스트 팀장과 자이언트스텝의 문기영 실장이 참여하여 '랜선라이프의 핵인싸 버추얼 유튜버 : 세아와 지아로 알아봅시다!'라는 주제로 발표를 진행했다. 세아와 지아는 각각 '세아스토리', 'GIA ON' 채널을 통해 활동하고 있는 버츄얼 유튜버로, 모두 유니티를 활용하여 만들어졌다.

'버츄얼 유튜버'란, 실제 사람이 아닌 가상의 캐릭터가 스트리머가 되어 게임, 문화 등 다양한 주제로 인터넷 방송을 진행하는 새로운 방식의 콘텐츠다. 그 시초에 대해서는 여러 의견이 있지만, '버츄얼 유튜버'라는 개념을 널리 알리고 대중화로 이끈 것은 일본의 '키즈나 아이'가 대표적이다.

오지현 에반젤리스트는 버츄얼 유튜버가 최근 대규모 오프라인 공연을 성공적으로 개최하고, TV 애니메이션 시리즈로 제작되는 등, 단순히 서브컬쳐 시장에서 소비되는 것을 넘어 메이저 시장으로 그 영향력을 넓혀나가고 있다고 말했다.



▲ 자이언트스텝의 버츄얼 유튜버 '지아'

▲ 앨범을 발매하여 공연을 진행하는 등, '버츄얼 유튜버'의 영향력은 계속 커지고 있다

버츄얼 유튜버를 만드는 데 필요한 가장 대표적인 기술은 '라이브 모션 캡처'다. 기존에는 먼저 모션 캡처를 한 뒤, 만들어진 데이터에 렌더링을 합성하여 캐릭터를 만드는 복잡한 절차가 필요했다. 하지만 유니티에서 제공하는 기술을 활용하면 모션 캡처와 렌더링을 실시간으로 진행할 수 있다. 오지현 에반젤리스트는 이러한 기술의 발전으로 오늘날에는 모션 데이터를 만들기가 더 편해졌고, 유튜브 페이지를 운영할 수 있을 만큼 빠르게 콘텐츠를 생산하는 것이 가능해졌다고 설명했다.

모션캡처를 위한 장비로는 퍼셉션 뉴론, 엑스센스, 옵티트랙 등이 있으며, 국내에 두 개의 총판이 존재한다. 오지현 에반젤리스트는 5월 22일에 유나이트 서울 행사장에서 진행되는 '퍼셉션 뉴론'의 추첨 이벤트를 소개한 뒤, 실제 모션캡처가 어떤 방식으로 이뤄지는지 보여주기 위해 간단한 데모를 진행했다.

온몸에 센서를 착용한 그는 모든 모션캡처에서 꼭 필요한 켈리브레이션(calibration) 과정을 거친 후, 유니티 프로그램 내에 자신의 움직임이 그대로 반영되는 모습을 선보였다. 데모에서는 그의 행동은 물론, 입의 움직임까지 그대로 구현되어 실시간으로 움직이는 '유니티짱'의 모습을 볼 수 있었다.



▲ 전신에 모션캡처용 센서를 부착한 채로 강연을 진행한 오지현 에반젤리스트



▲ 행동은 물론, 입의 움직임까지 실시간으로 구현된다

스마일게이트의 버츄얼 유튜버 '세아'도 같은 방식으로 제작됐다. 기존의 세아는 페이스리그의 Live 2D로 조형됐으나, 현재는 유니티 뉴론 기능을 활용하여 제작된 아바타를 사용하고 있다. 또한, 입술의 움직임 구현에는 '오큘러스 립싱크' 기능이 사용됐다. 이는 파형을 분석해서 그에 맞는 입 모양으로 바꿔주는 프로그램으로, 현재 무료로 배포되고 있다.

또한, '세아'처럼 애니메이션 풍의 버츄얼 유튜버를 제작할 때 유용하게 사용할 수 있는 것이 '유니티짱 스프링본 프레임워크'다. 무료로 사용할 수 있는 프레임워크이나, UI가 모두 일본어로 되어 있는 것이 단점이다.

오지현 에반젤리스트는 다이나믹본을 활용하는 것도 하나의 방법이나, 추가 비용이 발생하므로, 일본어를 이해할 수 있다면 무료 프레임워크도 좋은 선택이 될 것이라고 말했다. 그는 이외에도 '유니티짱 툰셰이더 2.0 프레임워크'가 무료로 제공되고 있으니, 재패니메이션 스타일의 렌더링에 관심이 있다면 이를 활용해보길 바란다고 말했다.



▲ '세아'의 모델링에는 유니티짱 스프링 본 프레임워크가 적용됐다

오지현 에반젤리스트의 발표 이후, 버츄얼 유튜버 '지아'를 만든 자이언트스텝의 문기영 실장이 강단에 올랐다. 그는 '지아'의 개발 과정을 소개하며 버츄얼 유튜버를 만들기 위한 기술적인 단계를 소개했다. 그는 지아를 만들기 위해 '유니티 엔진 사용', '모션 캡처', '얼굴 애니메이션 캡처', '손가락 캡처'까지 4개의 단계를 거쳤다.

그는 먼저 유니티 엔진을 사용한 이유가 국내 게임 업계에서 가장 많이 사용되고 있는 엔진이기 때문이라고 소개했다. 국내에서 유니티 엔진을 활용하여 버츄얼 유튜버를 만들면 엔진을 활용할줄 아는 엔지니어가 많기에 구인도 간편하고, 잘 갖춰져 있는 에셋스토어 인프라를 통해 도움을 받기도 쉽다.

지아의 모션캡처에는 옵티트랙과 퍼셉션 뉴론이 사용됐다. 모션 캡처를 위한 장비는 현재 100만 원대에서 갖출 수 있다. 문기영 실장은 기존에 모션캡처를 하려면 적어도 5천만 원가량의 비용이 필요했지만, 이제는 100만원 대에서 누구나 구매할 수 있게 되었다고 덧붙였다.

손가락 캡처는 '지아'를 만들 때 가장 많은 고민이 들어간 부분이다. 모션 캡처에 사용된 '옵티트랙'과 '퍼셉션 뉴론'은 손가락의 움직임까지 캡처하기에는 다소 부족한 편으로, 만약 보다 섬세한 손의 움직임을 구현하고 싶다면 추가 장비를 구입해야 한다. 자이언스텝에서는 Noitom사의 Hi5 장갑을 활용했다.



▲ 자이언트스텝 문기영 실장

지아의 얼굴 애니메이션 캡처에는 '아이폰 X'의 트루뎁스 카메라 기능이 활용됐다. 아이폰 전면의 뎁스 카메라가 사람의 눈에는 보이지 않는 점을 얼굴에 쏘고, 그 정보를 읽어서 메쉬를 생성한다. 이 데이터를 활용하면 다양한 표정의 구현이 가능하다.

이때 필요한 것이 하나 이상의 얼굴 표현을 전부 구축해두는 '블랜드셰이프'다. 아이폰X는 총 52개의 블렌드셰이프를 지원하므로, 이를 제대로 활용하려면 52개의 블렌드셰이프를 미리 준비해야 한다. 문기영 실장은 버추얼 유튜버의 경우 어색하지 않고 예쁘게 나오는 것도 중요하므로, 아티스트의 역할이 상당히 크다고 설명했다.

얼굴 애니메이션 캡처에서는 '얼굴 모션 튜닝' 과정도 꼭 필요하다. 목소리를 연기하는 성우가 그에 어울리는 표정을 연기하지 못할 때도 있기 때문이다. 지아의 경우 성우의 입이 조금만 움직여도 입을 크게 벌리거나, 실제 성우의 모습보다 눈을 크게 깜박이는 방식으로 튜닝이 적용됐다. 튜닝은 블랜드셰이프의 일정 값을 바꾸는 과정이며, 눈이나 입 등 튜닝이 필요한 부분과 관련된 근육의 가중치를 더해주는 방식으로 진행된다.



▲ AAA급 게임들에서도 자연스러운 표정 연출을 위해 블렌드셰이프가 활용된다

이외에도 자이언트스텝에서는 버츄얼 유튜버의 구현을 위해 '페이셜 리모트 프로그램'을 개발하여 적용했다. 아이폰X의 뎁스 카메라 데이터를 PC로 옮기기 위해 리모트 프로그램이 필요한데, 이때 사용되는 텍스트 기반인 JSON 데이터의 용량이 생각보다 컸기 때문이다.

JSON으로 표현된 데이터는 42바이트를 필요로 하지만, 바이너리 포맷으로 표현하면 약 8바이트에 그치므로, 약 5배 이상 데이터 사이즈를 줄일 수 있다. 그는 이러한 과정을 거치며 반응 속도도 더 빨라졌다며, 리모트 프로그램을 활용할 계획이라면 JSON보다 바이너리를 사용할 것을 권했다.

문기영 실장은 끝으로 버츄얼 유튜버 개발을 고려하는 개발자들을 위해 실제 '지아'의 개발 과정을 통해 깨달을 수 있었던 몇 가지 현실적인 조언을 더했다. 그는 빠르게 움직이는 입 모양의 싱크를 자연스럽게 맞추려면 패킷을 모았다가 한 번에 보내는 알고리즘인 '네이글(Nagle)'을 꺼두는 것이 좋고, 불필요한 스트레스를 줄이려면 가능한 40만 원대 이상의 WIFI 장비를 사용해야하며, 사용하지 않는 플러그인 레거시 코드는 미리 삭제하는 것이 좋다고 조언하며 자신의 발표를 마무리했다.






댓글

새로고침
새로고침

기사 목록

1 2 3 4 5