주제: '인사이트 파인더' 유저 리서치 3주를 30분으로 - AI에게 맡길 것과 맡기지 않을 것
강연자 : 이세왕 - 넥슨코리아
발표분야 : 유저 리서치 자동화, 데이터, 인공지능
권장 대상 : 게임 기획자, PM/PO, 프로듀서, UX 리서처, 서비스 운영 담당자 등 유저 피드백을 기반으로 의사결정을 하는 분
관심태그 : #NDC26 #리서치 #UX
[🚨 강연 주제] 이 세션에서는 유저 리서치의 속도와 깊이를 동시에 끌어올리기 위해 개발한 AI 기반 분석 플랫폼 '인사이트 파인더'의 설계 과정과 그 과정에서의 판단들을 공유합니다.
게임 개발에서 유저의 목소리를 듣는 일은 갈수록 중요해지지만, 그 피드백을 분석하고 의미를 읽어내는 데는 여전히 많은 시간이 든다. 설문 하나를 정리하는 데 수일, 그룹별 교차 비교까지 더하면 수 주가 걸리기도 한다. 넥슨은 이 문제를 'AI 기반 리서치 분석 플랫폼'으로 풀어냈다.
NDC 2026에서 넥슨코리아 게임UX분석팀 이세왕 연구원은 자신이 기획·개발한 리서치 분석 플랫폼 '인사이트 파인더(Insight Finder)'를 공개하며, 거대한 AI 전환기에 유저 리서치 업무를 어떻게 새로 정의했는지를 풀어냈다.
이날 발표의 핵심은 한 문장으로 요약된다. 리서치 결과 분석에 AI를 적용한다는 것을 단순 자동화가 아니라 '표준화·자산화·접근권'이라는 세 가지 흐름으로 다시 정의했다는 것. 그는 이렇게 재정의했을 때 무엇이 달라지는지, 그리고 AI를 구체적으로 어디에 넣고 어디에 넣지 않았는지를 두 축으로 설명했다.
"설문 하나에 2~3주"… 리서치를 가로막은 세 개의 벽
유저 리서치는 거창하게 들리지만 핵심은 단순하다. 게임을 만들 때 유저에게 직접 물어보는 일이다. 이 콘텐츠가 재미있었는지, 어디서 답답했는지, 왜 이탈했는지를 추측이 아니라 유저의 목소리로 확인하는 작업이다. 넥슨 게임UX실은 넥슨이 퍼블리싱하는 게임을 대상으로 개발 초기 게임부터 라이브 서비스를 오래 이어오고 있는 게임까지 리서치를 진행하고 있다.
게임에서 리서치가 중요한 이유는 게임이 본질적으로 비선형 경험이기 때문이다. 같은 콘텐츠를 내놓아도 하루에 잠깐씩 즐기는 라이트 유저와 끝까지 파고드는 하드코어 유저는 전혀 다른 경험을 한다. 문제는 이 차이를 행동 로그만으로는 온전히 이해할 수 없다는 점이다. 특정 구간에서 유저가 대거 이탈했다면 '이탈했다'는 사실은 로그로 알 수 있지만, 그것이 조작이 불편해서인지 난이도가 높아서인지는 로그 어디에도 적혀 있지 않다. 그 '왜'를 설명해 주는 것이 바로 유저 리서치다.
이세왕 연구원은 리서치 결과를 분석하며 겪던 어려움을 세 가지로 정리했다. 첫 번째는 시간이다. 들어야 할 목소리는 계속 늘어나는데 분석할 시간은 부족하다. 설문 한 건을 받으면 노이즈를 걷어내고, 코딩하고, 교차 집계하고, 행동 로그와 결합하고, 통계를 검정하고, 보고서를 작성하는 과정을 모두 순차적으로 거쳐야 한다. 유저를 다각도로 볼수록 이 과정은 늘어날 수밖에 없는데, 매번 2~3주 안에 끝내야 하는 상황이 지속됐다.
두 번째는 판단이다. 검증 없는 수치는 의미를 파악하기 어렵다. 예컨대 하드코어 유저의 콘텐츠 만족도가 3.8점, 라이트 유저가 3.2점으로 0.6점 차이가 났다고 하자. 이 두 그룹이 정말 다르게 느낀 진짜 차이인지, 아니면 표본을 뽑다 보니 우연히 그렇게 나온 것인지는 숫자와 직관만으로 판단하기 어렵다. 제대로 확인하려면 통계 검증이 필요하지만 기획자나 담당자가 원할 때 바로 진행하기는 어렵고, 확인할 항목이 그룹별, 콘텐츠별, 기간별로 늘어날수록 검정 작업도 늘어 다시 시간 문제와 맞물린다.
세 번째는 지식 소실이다. 분석을 끝내도 그 인사이트가 조직에 남지 않고 사라질 수 있다. 분석 결과는 보통 PPT나 피드백 문서로 메신저 어딘가에 남는데, 그러다 보면 6개월 전 다른 부서가 비슷한 리서치를 진행했다는 사실을 모른 채 똑같은 질문을 다시 던지는 일이 실제로 자주 발생한다.
최근에는 과거 보고서를 LLM에 돌려보려는 시도도 있지만, 게임이라는 도메인은 고유한 맥락이 있어 그 맥락이 빠진 보고서만으로는 환각에서 자유로울 수 없다. 결국 어렵게 얻은 인사이트가 조직의 자산으로 축적되지 못한 채 개별 담당자의 기억에만 잠든다.
이세왕 연구원은 이 세 문제가 따로 떨어진 것이 아니라 서로 맞물려 있다는 점을 강조했다. 더 깊이 판단하려 할수록 시간이 부족해지고, 많은 시간을 들여 보고서를 써도 그 지식이 소실되며, 다음 판단도 다시 어려워지는 악순환이다. 그래서 세 문제를 하나씩이 아니라 함께 풀어야 한다고 봤다.
그렇다면 범용 AI에 데이터를 넣고 분석시키면 되지 않을까. 이세왕 연구원도 먼저 검토했지만 두 가지 문제가 있었다고 전했다. 첫째, 방법론이나 통계를 잘 모르는 사람이 범용 AI를 쓰면 AI는 언제나 그럴듯한 답을 내놓는다.
상황에 맞지 않는 검정 방법을 갖다 붙이거나 여러 항목을 비교할 때 필요한 보정을 빠뜨려도 결과는 멀쩡해 보인다. 틀렸을 때 그것을 알아챌 기준이 일반 사용자에게는 큰 허들이라는 것이다. 둘째, 통계를 잘 아는 전문가가 있어도 전문가마다 전처리 방식, 집계 기준, 프롬프트가 제각각이라 같은 데이터를 넣어도 결과가 달라진다. 결국 개인의 자산에 머물 뿐 조직 차원에서 쌓이지 않는다.
분석 업무의 구조 자체에도 문제는 있었다. 통계와 분석은 제대로 배워야만 다룰 수 있는 영역이라 '묻고 싶은 사람'과 '실제로 묻는 사람'이 분리됐고, 질문이 다른 사람 손에 넘어가면서 원래 알고 싶던 결이 흐려지곤 했다.
그래서 넥슨이 잡은 방향은 단순한 업무 자동화가 아니었다. 어려운 방법론은 시스템이 가져가고 사람은 판단에만 집중하게 해, 묻고 싶은 사람이 곧 묻는 사람이 되게 한다는 것이었다.
"사람이 끼면 병목이 된다"… AI에게 맡길 것과 맡기지 않을 것
이세왕 연구원은 '병목(bottleneck)'이라는 개념부터 짚었다. 일론 머스크가 "사람은 점점 더 루프에서 빠지게 될 것"이라고 말한 적이 있는데, 이는 단순한 인간 대체가 아니라 '어디에 사람이 들어가야 하는가'의 관점에서 읽어야 한다는 것. 컴퓨터는 눈 깜짝할 사이에 막대한 정보를 주고받지만 사람의 입출력 속도는 그에 비할 수 없이 느리다. 아무리 빠른 자동화 파이프라인을 만들어도 중간에 사람이 끼면 가장 느린 속도가 전체 속도가 되는 병목이 생긴다.
실제로 R이나 SPSS를 쓰는 레거시 분석에서는 판단이 필요한 시점마다 흐름이 멈췄다. 응답 척도를 분류하는 순간, 리버스 코딩을 하고 케이스별 변수에 대응하는 지점, 결과를 사람의 언어로 풀어내는 지점에서 한 번만 막혀도 파이프라인 전체가 멈춰 섰다.
여기서 넥슨이 던진 질문은 '이 멈춤을 없애려면 AI에게 무엇을 맡겨야 하는가'였다. 답은 사람이 매번 끼어들어 판단해 주는 대신, AI에게 빈틈없이 완전한 맥락과 절차를 통째로 쥐어주자는 것이었다. 판단이 필요한 작업마다 시스템이 ▲필요한 데이터 ▲처리 가이드라인 ▲관련 맥락을 미리 공급하면, AI가 멋대로 추론하지 않아도 되고 흐름도 끊기지 않을 수 있다.
역할은 이렇게 나뉘었다. AI에게 맡긴 일은 주로 언어와 가벼운 판단이 필요한 작업이다. 리버스 코딩, 오타·누락 점검, 설문 문항의 의도와 선택지 보정, 데스크 리서치를 통한 맥락 보강, 복잡한 분석 결과를 사람이 이해할 자연어로 해석·요약해 전달하는 일이다. 사람의 말을 알아듣고 사람의 말로 답하는 것은 AI가 가장 잘하는 일이기 때문이다.
반대로 전문적인 계산은 AI에게 맡기지 않았다. 100% 정확도가 상시 보장돼야 하고 학계에서 정리된 통계 검정, 유의성 판단, 데이터 정제처럼 정확히 맞아떨어져야 하는 영역은 검증된 파이프라인이 결정론적으로 처리해, 같은 데이터를 넣으면 언제나 같은 결과가 나오게 했다. 이러한 선을 그은 이유는 AI에 ▲할루시네이션 ▲정밀 수치 계산에 약한 점 ▲인과관계를 신뢰성 있게 단정하지 못하는 점이라는 세 가지 한계가 있기 때문이다.
사람의 자리는 '보고서 직전'에 있다
그렇다면 사람은 어디에 있어야 할까. 이세왕 연구원은 두 가지 전제에서 출발했다. 첫째, AI는 못 믿을 구간이 명확하다. 최신 추론 모델조차 사실 검증에서 10~33%의 오류율을 기록하고, 전문 도메인에서는 더 치솟는다. 환각을 완전히 없애는 것은 구조적으로 불가능하다는 점이 올해 나온 논문들로 확인되고 있다. 둘째, 사람에게는 AI가 가질 수 없는 것이 있다. 수백 번의 리서치와 플레이 테스트로 쌓인, 말로는 쉽게 설명되지 않는 암묵지다. AI는 이 '감'을 가질 수 없지만, 감을 가진 사람의 생산성은 수십 배로 키워줄 수 있다.
결국 핵심은 모델 성능이 아니라 사람과 AI 사이에 판단을 어떻게 배분하느냐였다. '휴먼 인 더 루프'의 진짜 핵심은 판단이 필요 없는 구간에서 사람을 빼 속도를 올리고, 사람만이 할 수 있는 판단 지점에 다시 사람을 불러들이는 것이다. 그가 찾은 대표적인 자리가 '보고서 직전'이다. AI가 최종 리포트를 정리하기 전에 리서처가 세그먼트별 결과를 먼저 보고, 어디를 더 집중해서 볼지, 어떤 세그먼트를 리포트에 담고 무엇을 더 파고들지를 직접 결정한다.
이 판단을 바탕으로 넥슨은 'Garbage In, Garbage Out(쓰레기를 넣으면 쓰레기가 나온다)'이라는 데이터 분석의 격언을 적용한 네 가지 설계 원칙을 세웠다. 첫째, 검증된 영역에는 AI를 쓰지 않고 결정론적 파이프라인에 맡긴다. 둘째, 해석은 AI가 하되 최종 판단은 사람이 한다. AI는 후보와 근거를 제시하고 결정은 사람이 내린다.
셋째, AI의 모든 해석에는 근거가 된 정형 데이터를 인용으로 담아 출처를 명기함으로써 사람이 언제든 검수할 수 있게 한다. 넷째, 들어온 데이터는 손실 없이 저장한다. 맥락부터 전처리 데이터, 결과, AI의 해석까지 모든 단계를 검색하고 연결할 수 있는 형태로 고정한다.
"숫자는 시스템이, 말은 AI가"… 표준화·자산화·접근권
'인사이트 파인더' 시스템 흐름의 핵심은 표준화, 자산화, 접근권 세 가지다. 이 셋이 맞물리면서 전문가가 며칠씩 매달리던 검증된 분석을 단 한 번의 실행으로 끝낼 수 있게 됐다. 실제 사용 흐름에서 사람이 직접 하는 일은 맨 앞과 맨 뒤뿐이다. 처음에 설문을 등록하고 무엇을 알고 싶은지 정하는 것, 그리고 나온 결과를 보고 무엇을 보고서에 담을지 결정하는 것이다. 그 사이는 시스템과 AI가 처리한다.
첫 번째 표준화는 AI가 좁은 컨텍스트 안에서 길을 잃지 않도록 정제된 정보를 깔아두는 단계다. 누가 돌리든 같은 데이터면 같은 결과가 나오는 '일관성', 같은 기준으로 처리돼 서로 다른 결과끼리도 비교·연결할 수 있는 '비교 가능성', 그리고 수천 개의 원본 응답을 통째로 넘기지 않고 통계로 압축한 핵심만 정제해 넘기는 '정보 밀도'가 핵심이다. 이 작업을 전문가가 설계한 결정론적 파이프라인이 자동으로 처리해, 예전엔 데이터 클리닝부터 며칠 걸리던 일을 한 번의 실행으로 끝낸다. 검정 결과는 모두 정형 데이터로 저장되고, AI는 그 저장된 숫자를 이해해 말로 풀어낼 뿐이다. 이세왕 연구원은 이를 "숫자는 시스템이, 말은 AI가"라는 한 문장으로 압축했다.
두 번째 자산화는 분석 과정에서 만들어지는 모든 중간 결과를 하나도 버리지 않고 보존하는 단계다. 단순 저장이 아니라 조직이 필요할 때 꺼내 쓰고 다른 부서가 연결할 수 있는 형태로 만드는 작업으로, 개인 폴더나 메신저에 갇혀 있던 지식을 조직 차원으로 꺼낸다. 바로 이 자산화가 돼 있기 때문에 다음 단계인 '누구나 질문하기'가 가능해진다.
세 번째 접근권은 이세왕 연구원이 가장 강조한 부분이다. 예전에는 쌓인 데이터를 들여다보려면 분석가라는 '통역사'가 반드시 필요해 부탁하고 기다려야 했지만, 이제는 자연어로 직접 물어볼 수 있다. 같은 데이터를 두고 기획자는 기획자의 시선으로, 디렉터는 디렉터의 시선으로, PM은 PM의 시선으로 각자 질문할 수 있다.
홍보 없이 4개월 만에 100명… "3주가 30분으로"
이어 이세왕 연구원은 '인사이트 파인더'가 현업에서 실제로 사용된 예시를 설명했다.
실제 사용 흐름은 단순하다. 유저 데이터 수집은 넥슨 공식 플랫폼인 '넥슨 퍼스트'를 통해 이뤄지고, 수집된 설문에서 '분석하기'를 누르면 원클릭으로 인사이트 파인더로 넘어간다. 어떤 각도로 분석할지 선택하면 데이터 처리와 통계 분석, AI 인사이트 추출이 시작된다. 커스텀 세그먼트 기능을 통해 인게임 로그를 붙이거나, 게임UX실이 쌓아둔 세그먼트·데이터로 이번 설문에서 수집하지 않은 데이터까지 분석할 수 있다.
그 결과 설문 종료 후 30분 안에 AI 보고서를 받아볼 수 있다. 개요와 핵심 이슈 요약, 상세 분석 순으로 큰 그림에서 세부로 내려가는 구조다. 모든 문장은 근거를 담고 있고 AI 해석에 쓰인 데이터를 항상 인용해 둬 클릭하면 팝업으로 확인할 수 있다. 문항별로 통계적으로 유의한 차이가 어디서 나왔는지 초록색과 빨간색으로 시각화돼, 통계를 잘 몰라도 어디가 중요한 지점인지 한눈에 파악할 수 있다.
그는 시스템의 진짜 힘은 쌓일수록 정교해진다는 점에 있다고 덧붙였다. 2024년에 제기됐던 이슈가 2026년 최신 설문에서 어떻게 달라졌는지 보는 '시간 추이', 디스코드 보이스 기능을 써본 유저와 안 써본 유저가 협업 콘텐츠를 어떻게 다르게 평가하는지를 매번 같은 질문 없이 분석하는 '설문 간 교차', 그리고 게임UX실이 정기적으로 대규모 수집하는 유저 트렌드 조사·게이머 성향 조사 같은 결과를 개별 설문에 붙이는 결합까지 세 가지 방식으로 연결된다. 오늘 만든 보고서 하나가 6개월 뒤 전혀 다른 분석의 재료가 되며, 일회용으로 소비되지 않고 자산으로 쌓여갈 수 있도록 한 것이다.
조직 내부에서의 반응도 주목할 만하다. 이세왕 연구원은 별도의 홍보나 사내 게시판 공지 없이도 4개월이 채 안 되는 사이에 처음 시작한 게임팀을 넘어 100명이 넘는 인원에게 자발적으로 퍼져나갔다고 밝혔다.
리서치 방식 자체도 달라졌다. 이제는 설문 하나당 평균 19개의 각도로 유저를 들여다본다. 예전에는 2~3주 안에 실수 없이 전달해야 해 서너 개 측면을 보기도 빠듯했지만, 도입 이후엔 더 자주, 더 깊게 보기 시작했다.
인사이트 파인더를 활용해 절약된 시간은 슬라이드상 4개월 기준 약 9,000시간으로 표기됐는데, 이세왕 연구원은 "발표 당일 다시 확인해 보니 누적 1만 2,000시간을 넘어 약 5년 분량에 달했다"고도 전했다. 그에 따르면 이는 레거시 워크플로우의 3주와 단순 비교한 것이 아니라, 시니어 리서처가 AI를 제한 없이 활용한다는 가정 아래 세그먼트 분석 한 건당 3시간씩만 절약된다는 보수적 기준으로 산출한 수치다.
"모델은 평준화된다, 자산은 평준화되지 않는다"
이세왕 연구원이 인사이트 파인더로 진짜 만들고 싶었던 것은 단순한 자동화나 시간 단축이 아니었다. 누구나 유저를 수십, 수백 개의 각도로 원하는 만큼 바라보고 분석하며 이해할 수 있게 하는 것이었다. 그는 한 걸음 물러서, 지금은 누구나 같은 AI 모델을 쓰고 모델 자체는 빠르게 평준화되고 있다고 짚었다.
그렇다면 진짜 경쟁력은 어디서 나올까. 그가 내린 결론은 우리 유저를 우리만의 방식으로 분석하고 이해하는 고유한 자산이 차이를 만든다는 것이다. 앞으로 AI 활용의 성과는 모델 격차나 최신 기술의 도입 여부가 아니라, 고유한 데이터를 얼마나 잘 자산화하고 고유의 맥락을 지속적으로 쌓을 수 있는 시스템을 구축했느냐에서 갈린다는 설명이다.
향후 방향은 인사이트 파인더의 확산으로 요약된다. 그는 사용 데이터를 바탕으로 설문의 시작 자체를 더 쉽게 만들어, 특정 관점에서 리서치를 해보고 싶은 사람이 설문 초안을 바로 세팅하고 응답을 확보할 수 있게 하는 것을 첫 단계로 꼽았다.
나아가 최근 리서치 업계의 화두인 'AI 패널'도 고려하고 있다. 유저를 충분히 깊게 이해하고 맥락을 갖추면 실제 유저 대신 AI 페르소나에게 물어 결과를 받을 수 있다는 개념이다. 넥슨은 보유한 거대한 유저 풀에 직접 설문을 다시 보내 받은 결과와 AI 페르소나의 응답을 비교하고, 페르소나가 실제 유저만큼 잘 응답한다면 그 페르소나에게 설문에서 미처 묻지 못한 부분을 추가로 질문하며 인터뷰까지 이어가는 파이프라인을 검토하고 있다.
이세왕 연구원은 발표를 마무리하며, 자신이 한 일은 결국 사람과 시스템, 그리고 AI에게 각자의 자리를 다시 찾아준 것이라고 정리했다. 틀리면 안 되는 검증된 통계는 시스템이 결정론적으로 맡고, 해석하고 전달하는 일은 AI가 하며, 사람은 가장 중요한 '무엇을 물을 것인가'에 집중한다는 것이다. 그렇게 표준화·자산화·접근권 세 가지가 맞물리면서 3주가 30분이 됐다.
하지만 그는 핵심이 단축된 시간이 아니라, 사라지지 않는 맥락이 차곡차곡 쌓이고 그 위에서 누구나 리서치를 이용할 수 있는 구조에 있다고 거듭 강조했다. 소수 전문가만 하던 분석이 조직 전체의 역량이 되고, 더 나아가 누가 무엇을 궁금해했는지까지 쌓이면서 시스템이 다음 리서치를 더 정확하게 제안하게 된다. 좋은 리서치가 더 좋은 질문을 부르고 그 질문이 다시 더 좋은 리서치로 이어지는 선순환이다.
마지막으로 이세왕 연구원은 "이 이야기가 각자의 자리에서 AI 파이프라인이나 AI 전환을 고민할 때 작은 힌트가 됐으면 한다"는 말로 발표를 끝맺었다.
Frann@inven.co.kr
페이지 구독하기
다른 기사 보기
기사 제보하기
