인디게임 개발자에게 있어 QA(품질보증)는 어려운 문제다. 대형 게임사의 경우 전문 QA팀이 개발 중인 콘텐츠를 검수한다. 그러나 대개 인력이 부족한 인디게임사가 전문 QA팀을 두긴 어렵다. 관련 전문 업체에 맡기는 것도 인디게임사가 감당하기엔 비용이 부담이다. 그 때문에 인디게임 개발자들은 시연회에 집중한다. 게임을 플레이하는 유저를 뒤에서 지켜보며 어디서 막히는지, 오류가 발생하는지 꼼꼼하게 지켜보게 그들이 할 수 있는 QA 업무다.
스마일게이트는 사내에 AI(인공지능) 연구 조직을 꾸려 게임 개발과 서비스에 접목하고 있다. 그중에서도 플랫폼 AI팀은 운영과 서비스에 도움이 되는 AI 기술 개발을 전문으로 한다. 게임 로그 및 데이터를 활용해 각종 지표를 예상하고, 콘텐츠 밸런싱에 필요한 강화학습 모델을 개발하는 게 주 업무다.
"스마일게이트, AI를 활용해 게임 개발 프로세스 개선"
이경만 스마일게이트메가포트 DIC(Data Innovation Center, 데이터 혁신 센터) 이사는 퍼블리싱과 플랫폼 사업에 도움이 되는 AI 개발을 이끈다. 주요 과제는 게임 출시 전, 또는 업데이트 전에 콘텐츠의 밸런스를 확인하는 일이다. 예로 수집형 게임에서 새로운 캐릭터가 도입될 때 기존 메타를 헤치지 않는지 점검한다.
AI 도입 이전에는 QA 인력이 수작업으로 다양한 조합의 밸런스를 체크했다. 그러나 수작업 한계상 놓치는 부분이 있을 수 있고, 이로 인해 라이브 서비스에서 큰 문제가 발생할 수 있다.
이경만 이사는 AI 기술을 통해 업데이트 전, 사람이 수행할 수 없는 양의 테스트를 진행하며 밸런스를 시험할 수 있다고 소개했다. 스마일게이트 플랫폼AI팀이 신규 캐릭터가 기존 메타에 미치는 영향, 라이브 서비스 이후에 어떤 영향을 미칠지 예측해 보고서로 만들어 개발팀에 중요한 의견으로 전달한다.
이 이사는 "기획자가 의도하지 않았던 새로운 조합이 나와 기존 메타가 완전히 무너질 수 있다"며 "이는 게임의 수명을 깎아 먹을 수 있는 중요한 일이어서, 이를 방지하기 위한 리포트를 발행하고 있다"고 설명했다.
스마일게이트는 자체 AI 기술을 사내 프로젝트 밸런싱에서 플랫폼인 스토브(STOVE)로 영역을 확대했다. 플랫폼에 AI 기술은 이용자에게 게임 추천, 마케팅비 예측 등에 쓰인다. 이전에 이용자가 했던 게임 데이터를 근거로 새로운 게임을 추천한다. 전체 유저 지표를 분석해 과금 모델을 보고 마케팅비를 효율적으로 집행할 수도 있다.
스토브는 오랫동안 인디게임씬과 협력해 비교적 많은 인디게임 라인업을 가지고 있다. 별도의 '스토브인디'도 운영 중이다. 이경만 이사는 "현재 인디게임 추천 알고리즘이 동작하고 있고, 향후 스토브에 더 많은 게임이 입점할수록 더 정확한 추천이 가능해질 것"이라 기대했다.
인공지능 기술이 QA 지옥에서 벗어나게 해줄까
스마일게이트는 자신들의 기술을 필요로 하는 인디게임 개발자가 있을 거라 생각했다. 그리고 외부에서도 충분히 쓰일 수 있을지 시험하고 싶은 마음도 들었다.
같은 시간, 인디게임팀 캔들이 퍼즐 게임을 만들며 QA에 어려움을 겪고 있었다. 캔들의 '피그말리온'은 픽셀 그래픽의 퍼즐 게임이다. 조작은 간단하지만 해결 난이도가 어려운 게 특징이다. '피그말리온'은 퍼즐 스테이지별로 비주얼노벨 형식의 스토리 에피소드를 제공한다. 승부욕이 강한 퍼즐 매니아와 스토리 감상을 좋아하는 유저를 타겟으로 한다.
피그말리온은 유저가 색깔 블록을 움직여 제한 횟수 내에 모든 블록을 제거해야 한다. 기획자인 캔들의 양재성 공동대표는 "제한 횟수 1회 차이로 아슬아슬하게 퍼즐이 풀리지 않아, 유저가 승부욕을 갖고 퍼즐에 도전하도록 스테이지를 제작했다"고 소개했다. 게임은 얼리 액세스 기준 총 480개의 스테이지가 준비되어 있다. 현재 PC 스토브와 스팀에 얼리 액세스로 선보였고 올해 하반기 중 모바일 버전이 출시될 예정이다.
팀 캔들은 스마일게이트와 협업하기 전에 QA를 고전적인 방식으로 진행했다. 팀에서 자체적으로 진행하거나, 인디게임 행사에서 일반 유저의 시연을 뒤에서 지켜보는 식이다. 그러나 인디게임 특성상 인력의 한계가 있었고 행사에서도 제한된 결과만 얻는 어려움을 겪었다.
이민기 공동대표는 "전시회 때 유저들이 짧게는 5분, 길게 30분 정도 플레이를 하는데 많은 유저를 확보하기도 어렵고 유저의 행동을 모두 체크하는 것도 품이 많이 든다"며 "우리 게임을 플레이하는 스트리머 방송도 보며 체크했지만, 밸런스적으로 무엇이 문제인지 확인하는 게 어려웠다"고 전했다.
피그말리온은 스토리가 결합된 퍼즐 게임이다. 밸런스 문제로 스테이지를 넘어가지 못해 다음 이야기가 빛을 발하지 못하는 경우가 생길 수 있다.
360만 건. 스마일게이트가 팀 캔들의 '피그말리온' 테스트를 한 시간 동안 진행한 건수다. 이전 팀 캔들이 행사장에서 시연 기기 두 대를 놓고 유저의 플레이를 지켜봤을 때랑은 비교할 수 없는 수치다.
박주형 플랫폼AI팀 팀장은 "이것도 많은 수치가 아니다"라며 "장비를 2배 이상 쓰면 시간당 700만~800만 데이터 확보도 가능할 것으로 보인다"고 소개했다. 박 팀장은 AI가 처음에는 학습하므로 다소 '바보'같이 테스트를 진행하지만, 강화학습이 충분히 진행되면 게임의 룰 안에서 최대한 효율적으로 테스트를 진행한다고 설명했다.
팀 캔들 입장에서 '피그말리온'은 제한 횟수 1회를 남기고 스테이지를 클리어하도록 난이도를 맞추는 게 중요하다. 단순히 정해진 횟수 내에 클리어하도록 밸런스를 맞추는 일은 다른 퍼즐 게임에 비해 QA 과정이 복잡하다. 팀 캔들은 자신들 예상에 15회가 적절하다고 예상했는데, AI 확인 결과 10회로 줄이는 게 낫다는 도움을 많이 받았다고 예시를 전했다.
난이도별 스테이지 배치에도 AI가 도움을 줄 수 있다. 일반적으로 퍼즐 게임은 다섯 번째 스테이지가 열 번째 스테이지보단 쉽도록 배치한다. 기획자 의도와 달리 AI 검증 결과 열 번째 스테이지가 다섯 번째보다 쉽다는 지표가 나올 수 있다. 이민기 대표는 "객관적인 지표가 나오기 때문에 개발자가 레벨 디자인을 배치하는 게 더 쉬워지는 장점도 경험했다"고 말했다.
양재성 대표는 "프로그래밍 비전공자 입장에서 AI는 막연하게 느껴졌는데, 막상 써보니 실질적으로 레벨 디자인과 QA 결과에 도움을 받아 신기했다"며 "앞으로도 AI를 잘 활용하면, 효율적으로 작업할 수 있을 거란 생각이 들었다"고 소감을 전했다. 이어 "머리 속의 복잡한 기획을 어떻게 풀어낼지 고민이 많았는데, 이런 갈증이 해소되는 경우가 많았다"고 덧붙였다.
인공지능 검수로 QA의 '확신' 가진다
스마일게이트와 팀 캔들의 협업은 성공적이었다. 박주형 팀장은 "내부적으로 자신감은 있었지만, 외부 게임에도 적용할 수 있을지 궁금했었다"며 "팀 캔들이 전에 사람을 통해 얻은 QA 지표와 인공지능 테스트로 얻은 지표가 서로 유사하게 나타나 의미 있는 결과를 얻었다"고 소개했다. 인공지능이 사람과 유사하게 플레이 테스트를 진행하면서도 비교할 수 없는 양을 수행한다는 점이 확인됐다.
'피그말리온' QA를 위한 인공지능은 스마일게이트가 '틀'(framework)로 마련해 둔 프로그램에 게임의 정보를 입력함으로써 만들어진다. 이후 관리자가 인공지능에 어떤 액션을 하라고 지시하면, AI가 정보를 받고 관련된 업무를 반복 수행한다. 이는 다른 게임사의 게임에도 그대로 적용될 수 있어 범용성이 넓다.
'피그말리온'처럼 퍼즐 게임은 출시 이후 업데이트를 통해 새로운 스테이지, 기믹이 추가될 수 있다. 이때 기존 AI 시스템을 활용하면 첫 테스트 때보다 수월하게 QA를 진행할 수 있다. 이미 강화학습을 거친 인공지능이어서 초기 테스트에 들이는 시간이 없기 때문이다. 기본적인 틀이 변하지 않으면 강화학습 코드를 그대로 사용해 새로운 스테이지와 기믹을 평가할 수 있다.
이경만 이사는 "기존 딥러닝은 사람이 데이터를 모아 돌렸다면, 팀 캔들에 제공한 인공지능 기술은 실제 게임과 동일하게 동작하는 메커니즘을 모아 데이터를 학습시키고, AI의 지능을 계속 높였단 차이가 있다"고 설명했다.
팀 캔들은 '피그말리온'을 거의 다 개발한 상태에서 스마일게이트 도움을 받았다. 완성된 작품의 검증에 인공지능이 쓰였다. 이민기 대표는 "게임을 완성한 뒤에도 밸런스는 계속 확인해야 해서, 그 부분은 확실히 빠르게 진행된 거 같다"며 "만약 프로토타입 단계 때 빨리 만났다면 게임의 완성이 훨씬 빠르지 않았을까 예상한다"고 평가했다.
'확신'은 팀 캔들이 인공지능 QA를 통해 얻은 가장 큰 수확이다. 게임 QA는 정답이 없다. 대형 게임사는 전문 QA팀 운영, 큰 비용을 들임으로써 정답에 가까운 지표를 구한다. 반면, 소규모인 인디게임씬에서는 어려운 일이다
이민기 대표는 "우리도 자체적으로 유저 데이터를 수집하고 있었는데, 인공지능을 통한 QA 지표와 거의 유사하게 나오는 것을 보고 신뢰가 가더라"며 "현재 미흡하지만 차기작을 준비하고 있는데, AI를 활용할 부분이 있다면 당연히 맡길 의향이 있다"고 말했다.
"AI 기술, 개발자의 창의력을 더 높여줄 것으로 기대"
앞으로 인공지능을 이용한 게임 개발 작업은 보편화될 것으로 전망된다. 그러나 인공지능이 만능은 아니다. 경우에 따라서는 한 명의 작업자가 업무를 수행하는 게 더 나을 수 있다. 박주형 팀장은 비용에 따른 효용성을 강조했다.
인공지능 테스트는 제대로 설정하지 않으면 예상치 못한 비용이 들 수 있는 작업이다. 실제로 오픈월드 맵에서 필드보스의 밸런스를 확인하는 작업을 AI로 수행할 경우 수천만 원 상당의 리소스가 들어갈 수 있다. 이 경우엔 사람이 QA 작업을 수행하는 게 차라리 낫다.
판단 기준 중 하나는 액션과 액션 사이의 텀이다. 텀이 벌어질수록 인공지능이 학습하고 판단할 거리가 늘어난다. FPS 게임 테스트도 인공지능보다 프로게이머의 의견이 더 나을 수 있다. 피그말리온은 비교적 간단한 액션만 필요해서 인공지능을 이용한 QA가 효율적으로 진행될 수 있었다.
AI 기술에 의존해 개발자의 창의성이 줄어들지 않을까란 우려에 대해 박주형 팀장은 "오히려 창의력을 더 높일 수 있다고 생각한다"고 답했다. 그는 "이전에 새로운 콘텐츠를 만들 때는 밸런스가 붕괴할 거란 우려 때문에 시도하지 않기도 했다"며 "AI를 잘 활용한다면 다양한 기획을 마음껏 시도해 볼 수 있어 창의성이 더 살아날 것"이라 기대했다.
스마일게이트는 더 많은 인디게임사를 돕기 위해 인공지능 QA 서비스를 웹 페이지 등을 통해 공개하는 것을 고려한다. 박주형 팀장은 "AI 기술을 통해 다양한 게임사를 지원할 수 있기를 바란다"고 전했다.
이경만 이사는 "인디게임씬이 우리의 기술을 더 필요로 한다면 지금 SDK 형태로 제공되는 것을 웹 서비스 형태로 바꿀 수도 있다"면서도 "스마일게이트의 AI 기술이 필요한 인디게임 팀이 있다면, 언제든 부담 없이 연락을 달라"고 말했다.
Biit@inven.co.kr
페이지 구독하기
다른 기사 보기
기사 제보하기
