주제: "우리 게임 성공할까요?" 게임 성패 예측, 인간적으로 접근하기
강연자 : 편호장 / 넥슨코리아
발표분야 : 사업&경영관리
권장 대상 : 게임 개발 직군, 게임 사업 직군, 데이터 분석 직군
관심태그 : #게임성과예측 #게임평가 #예측모델
[🚨 강연 주제] "국가권력급 게임 나혼렙 성공한다고 생각하셨나요?" 게임 업계의 숙원 같은 과제인 '게임 성패 예측'을 하기 위해 사람으로부터 출발한 데이터를 활용했던 과정과 사례에 대해 소개합니다. 사람의 의견이 게임 성과 예측에 도움이 되는지, 어떤 사람들이 게임 성패에 대한 예측력이 좋았는지, 다양한 '인간적인 데이터'가 게임 성과 예측 모델에 어떻게 활용되었는지 살펴본 결과와 게임 성패 예측을 위한 더 나은 접근에 대한 고민을 공유 합니다..
게임의 성패 예측은 수십년된 업계에 수십년 머물며 풍부한 경험을 쌓은 전문가라도 쉽게 예측할 수 없다. 때로는 전혀 예상하지 못한 게임이 대성공을 하기도 하고, 호평을 받고 많은 기대감을 불러 일으킨 AAA급 대작이라도 끔찍한 실패를 맛보기 마련이다. 점차 게임과 시장이 고도화되면서 예측은 더욱 어려워졌고, 결과적으로 게임의 성패 예측은 업계의 숙원과도 같은 과제가 됐다.
넥슨 네비게이터실의 편호장 분석가는 이러한 게임의 성패 예측에 대한 경험들을 공유했다. 흥미로운 점은 정량화된 데이터와 AI만을 활용한 데 그치지 않고, '인간적인' 데이터를 예측 모델에 도입했다는 점이다. 편호장 분석가는 이러한 '인간적인 데이터'를 도입했을때 예측 모델이 얼마나 개선되는지, 나아가 이러한 데이터를 활용할 때 주의해야 할 부분 등에 대해서도 강연을 통해 공유했다. 그가 강연에서 말하고자 하는 핵심은 "지극히 개인적이고 문화적인 게임을 어떻게 객관적으로 평가할 수 있을까?"라는 질문과 이에 답하기 위한 과정에 대한 경험이었다.
업계에서 성패 예측이 어려운 이유는 여러가지가 있다. 일단 성패 예측에 대한 시도도 잘 이뤄지지 않고 있는데다가, 개발자의 입장에서는 객관적으로 자신의 게임을 바라보기 어렵다. 트렌드에 따라서 게임 산업이 흥행 산업이라 예측하는 게 의미가 없다고 생각하기도 하고 종합 예술로의 시각도 이러한 성패 예측에 의미를 두지 않기도 한다.
하지만 게임의 가치를 확인하고, 개발 관점에서도 더 나은 게임으로 개선하기 위한 첫 번째 과정이 현재 게임이 어떤 수준에 머무르고 있는지 파악하는 부분이다. 그렇게 게임을 파악했을 때 비로소 게임의 경쟁력을 가지고 있는가에 대한 고찰이 이루어질 수 있고, 그게 게임 개발에서 중요한 포인트이기도 하니까.
편호장 분석가는 이러한 데이터에서 '인간적인 데이터'에 주목했다. 과거 '나 혼자만 레벨업'의 내부 예측 결과에서도 70%의 인원이 성공을 예측했지만 규모는 정확하지는 않았다. 예측한 그룹의 성향에 따라 결과값이 크게 차이가 나기도 하고 수치 예측은 부정확한 편이었으며, 그룹이 아니란 사람에 따라서도 예측 기대치가 달랐다.
이러한 결과를 토대로 '성공하는 게임을 알아보는 사람들'의 특징과 성향을 분석했다. 예측을 잘하는 그룹은 게임 관련 콘텐츠 소비 시간이 길고, 새로운 게임을 더 많이 알아보고 플레이를 하는 편이었다. 또한 출시 후 성과를 확인하고 데이터를 더 많이 체크하는 등, 전체적으로는 업계의 연차가 긴 편이었다. 다만 예측한 게임에 대한 얕은 사전 인지도나 헤비 게임 유저, 직군에 따른 차이는 크지 않았다.
오히려 새로운 게임에 대한 관심을 갖고 시장에 대한 지식과 경험이 의미가 있었다는 분석이다. 이렇게 예측을 잘 한 데이터 그룹으로 한정한 예측 결과를 도입한 모델은 약 20%p의 오차 개선이 있었다. 이를 통해 적합한 대상 선정이 중요하다는 결과를 도출했다.
나아가 더 다양한 데이터를 접목했다 .비슷한 게임의 성과나 사전에 공개된 성과들의 데이터를 사용하고, 추가적인 '인간적인 데이터'를 도입했다. 인간적인 데이터는 사람으로부터 출발하는 데이터다. 개인적인 경험, 커뮤니티 반응, 문화적인 흐름 같은 것들이다. 별점이나 좋아요도 맥락을 포함될 수 있다.
그리고 유저들이 게임에 접하고 팬이 되는 과정을 세분화하여 최초 접점 반응, 플레이 여부 판단으로 얻어지는 스토어 및 페이지의 데이터, 게임 플레이를 통한 세부 경험과 몰입 수준의 정성적 데이터 등을 내부 전문가들로 구성해 진행했을 때도 유의미한 결과를 얻었다.
유튜브 데이터는 더 나은 성능의 예측을 보여줬고, 내부 전문가들이 절대/상대 평가 및 플레이 여부로 판단한 데이터는 매출과 관계가 있었다. 모바일 게임의 별점과 매출은 별로 관계가 없지만, 정성들여 작성된 리뷰 텍스트에서 경험을 추출하고 정제한 결과는 매출과 확실한 상관 관계를 보였다.
이렇게 뽑은 데이터로 사용한 모델은 기존 모델에 비해 확실한 성능 향상이 있었다. 예측 모델에서 선정한 상위 20개 게임의 매출 평균 정확도가 평균 2배 이상으로 상승했다. 결과적으로, 인간적인 데이터를 함께 사용해보는 것이 성패 예측에 큰 도움이 된 셈이다.
편호장 분석가는 "인간적인 데이터는 말초적인 반응을 그대로 설명하므로, 콘텐츠 문화를 잘 설명하는 데이터로 의미가 있다"고 평가했다. 단순한 숫자의 크기가 아니라, 순위 경쟁력 평가를 하다 보니 실제 유저가 의사 결정하는 과정을 반영하면 수지 정량 데이터로 나타나지 않는 더 디테일한 게임의 가치를 확인할 수 있다는 견해다.
이러한 인간적인 데이터를 도입하기 위한 몇 가지 팁을 소개하면서도 그는 인간적인 데이터만 맹신하지 말 것을 강조했다. 인간적인 데이터와 함께 정량 데이터나 AI를 함께 사용하는 것이 성패 예측에 훨씬 더 효과적이며, 데이터들은 객관화와 정량 검증이 반드시 필요하다고 강조했다. 나아가 성패 예측에도 한계가 있기에, 향후 더 다양한 데이터를 정량화하고 예측에 활용하는 한편, 사람으로부터 수집하는 데이터를 AI를 통해 생산 예측해보는 부분도 염두에 두고 있다고 미래 계획을 밝혔다.
끝으로 편호장 분석가는 "게임은 영감과 데이터가 공존하는 콘텐츠라고 생각한다. 그만큼 수치 뿐 아니라 개인적 경험과 문화를 함께 봐야 제대로 볼 수 있는 콘텐츠라고 생각한다"고 견해를 밝혔다. 또, 게임은 사람이 만들고 사람이 경험을 하는 만큼 사람으로부터 출발하는 데이터를 다루고 객관적으로 데이터를 들여다보는 게 '게임의 영혼'을 놓치지 않는 법이라고 생각한다고 전했다. 이러한 과정이 그는 정확한 성과 예측의 실마리가 될 것으로 본다고 전했다.
Lavii@inven.co.kr
페이지 구독하기
다른 기사 보기
기사 제보하기
