이러한 연구 성과를 복합적으로 게임에 적용하는 작업을 진행하는 곳이 있다. 바로 홍익대학교 게임학과 대학원의 EGLAB(Evolutionary Game Lab)이다. EGLAB은 학문적 수준에서 연구되고 있는 공학 기술들의 게임 개발 적용을 연구하는 곳으로 “차세대 게임 개발에 영감을 줄 수 있는 기술과 게임의 연구”이다. 현재는 감성 컴퓨팅(Affective Computing) 기반의 사용자 감성 인식 기술에 주력하고 있다.
지스타2015 BTB 관에 참가한 ‘이모션다이나믹스’는 EGLAB의 홍익대학교 강신진 교수를 중심으로 지난 2012년 설립된 컨텐츠 제작 스튜디오이다. 현장에서 알파버전이 공개된 ‘연애센서’는 자연어를 인식해 미소녀와 대화를 하는 게임이다. 플레이어가 자연스럽게 문장을 입력하면 서버의 자연어 인식 모듈이 문장을 분석, 감정을 추출해 그 감정에 대응하는 적합한 대사를 보여준다. 현장에서 체험 가능한 버전에서는 연애에 대한 질문에 대답하면 그 결과를 분석, 응답자의 ‘연애센스’를 수치화해 보여주는 방식으로 진행된다.
현장에서 만난 이모션다이나믹스 관계자는 문장에서 감정을 분석하는 것을 넘어 카메라, 키보드, 마우스, 마이크를 통해 입력된 정보까지 활용하는 것이 목표라 말했다. 그 중심에 있는 것이 고려대학교, 엔씨소프트와 산학협력을 통해 개발한 감성 인식 플랫폼 ‘이모션 트레이서’이다. BTB 관에서는 주로 얼굴 표정에서 감정을 분석하는 과정을 확인할 수 있었다. 업체 관계자는 “연애센서에 얼굴 표정과 음성 인식 기능까지 합쳐 더 정확하게 감정을 분석하는 것이 목표”라고 말했다.
아래는 현장에서 진행한 인터뷰 전문이다.
감정을 분석해 대화를 진행하는 게임이라는 것이 굉장히 독특하다. ‘연애센서’는 어떻게 진행되나.
한때 SNS에서 유행했던, 주어진 질문에 답을 해 ‘연애점수’ 평가를 받는 방식이다. 기존의 연애점수 평가가 객관식 문항을 통해 답을 내는 방식이기에 경우의 수가 정해져있던 반면, 연애센서는 주관식 문항이 있어 답변의 자연어처리를 통해 경우의 수에 제한되지 않게 결과를 도출한다.
‘자연어 처리’라는 것에 대해 더 설명해달라.
문장에는 단어나 조사 등 형태소가 존재한다. 자연어 처리라는 것은 형태소 분석을 통해 문장이 담고 있는 감정을 찾아내는 것이다. 예를 들면 사랑에 관련된 단어가 문장 안에 포함되어 있다면 사랑의 감정을 찾아내고, 욕설을 사용하면 부정적인 감정을 찾는 방식이다. 즉, 어떤 문장이 주어지면 서버에서 형태를 분석해 문장에서, 단어에서 감정을 찾아낸다. 게임 캐릭터는 그 감정을 인식해 각각에 어울리는 반응을 보여준다. 긍정적인 감정에는 긍정적인 반응을, 부정적인 감정에는 부정적인 반응이 나오는 식이다.
단어 각각의 데이터베이스가 서버에 전부 저장되어있고 문장을 서버에서 처리하는 방식이기 때문에 인터넷에 연결이 되어있어야 한다.
현재 ‘연애센서’에 준비된 질문은 몇 가지인가?
아직 프로토타입이고 알파테스트중이기에 질문이 그렇게 많지는 않다. 4지선다형 객관식은 많지 않고 주관식이 주로 있다. 문장의 경우에는 경우의 수가 없기에 부정과 긍정의 감정을 도출하는 방식이다.
감정 분석력을 높이기 위해 어떤 작업을 하나.
감정의 반응을 더 세부적으로 나누고 있다. 지금은 뉴트럴 상태 외에 인간의 기본 감정을 여섯 가지로. 현재 진행 중인 프로젝트의 하나인 ‘이모션 트레이서’를 이용, 얼굴 인식을 통해 얼굴에서 감정을 찾아내는 작업도 진행하고 있고, 이것까지 같이 적용하는 작업을 하고 있다.
표정에서 감정을 찾는 과정을 설명해줄 수 있나?
감정에 따라 표정이 바뀔 때 주요하게 봐야 하는 몇 가지 포인트를 설치된 카메라를 통해 촬영하고 확인하는 것이다. 이를테면 눈꼬리가 올라간다거나 눈썹이 올라간다거나 하는 얼굴의 포인트를 잡아서 상태의 변화를 찾아낸다. 지금은 스웨덴 연구소의 얼굴 데이터를 기준으로 6개의 감성을 분류하는데 약 78%의 정확도를 보이고 있다.
이는 외국에서도 ‘감정 디텍션(Emotion Detection)’이라 해서 이슈가 되고 있다. 우리 대학원에서 이런 연구 결과를 바탕으로 고려대와 합작해서 내놓은 것이 ‘연애센서’이다. 게임 개발과 감정 분석은 우리가 담당하고 자연어처리는 고려대에서 담당한다.
더 발전을 하면 진짜 대화상대로서의 역할도 할 수 있는건가.
조금 먼 일이지만, 그렇다. 지금은 문장을 입력해 분석하지만 앞으로는 음성을 통해 문장을 인식할 수도 있다. 그럼 그 속에서 다양한 요소를 분석해 감정을 도출해낼 수도 있을 것이다.
다른 주제도 있었을 텐데, 굳이 연애라는 요소에 결합한 이유가 있나?
인간의 본능?(웃음) 게임은 인간의 원초적 본능을 일깨워주는 산업 아닌가. 감정에도 수많은 종류가 있지만, 긍정적인 감정 중에서도 최고로 치는 것이 ‘사랑’이다. 노래에서도 많이 나오고 드라마에서도 보면 다 사랑을 주제로 하고 있지 않나. 일본 같은 경우는 연애시뮬레이션이 많이 활성화돼있고. 사랑이라는 감정이 사람을 이끌기 위해, 사람에게 저 게임 해보고 싶다는 것을 일깨워주기 위해서는 사랑이라는 감정을 선택했다.
아까부터 보는데 계속 여자친구만 나온다. 남자친구는 없나.
뇌과학을 말해보자면, 여자는 굉장히 복잡하더라. 남자는 상대적으로 단순하고.(웃음) 지금 단계에서 복잡한 것까지 할 수는 없으니, 일단 남자를 대상으로 개발을 하고 있다. 남자에 비해 여자는 굉장히 경우의 수가 많다. 남자의 경우에는 감정 분석 결과를 수긍할 수 있는데 여자는 아직까지 수긍하기 어렵다는 것이다.
나중에, 정말 누가 봐도 결과가 정확하게 나온다고 하면 그때부터는 여자를 만족시킬 수 있는 게임을 만들 것이다. 계속해서 기술은 개발 중이다. 지금은 남자가 목표이다.
익숙하지 않은, 상당히 실험적인 기능이 다수 적용되어있다.
대학원의 역할은 연구를 하는 것이다. 다른 상업용 게임 회사들은 새로운 기술을 연구할 여유가 없지 않나. 연구 결과를 바탕으로 게임, 혹은 다른 산업과 결합시키는 등 다른 가능성을 모색하는 것이 우리 역할이라고 생각한다.
언제쯤 실제로 연애센서를 만나볼 수 있나.
지금은 앱스토어에서 포커스그룹을 만들어 알파테스트를 하고 있다. 앱스토어에 올라가있다. 프로토타입이기에 버그도 많고 부족한 점도 많아 개선하고 있다.
11월 말에 앱스토어에 무료로 공개할 예정이다.
▣ 연애센서 & 이모션 트레이서 영상
desk@inven.co.kr
페이지 구독하기
다른 기사 보기
기사 제보하기
