주제: '메이플스토리 월드' 이미지생성 AI R&D, 내 딸을 메이플 캐릭터로?
강연자 : 최가운 - 넥슨코리아 / NEXON KOREA
발표분야 : 인공지능
권장 대상 : 게임 및 콘텐츠 분야에서 AI 개인화 기술을 실제로 적용/활용해보고 싶은 실무자
관심태그 : #생성형AI #메이플스토리월드 #이미지생성ai
[🚨 강연 주제] 이 세션은 '메이플스토리 월드' 이미지 생성 AI R&D 과정에서 경험한 이야기를 공유합니다. "내 딸을 메이플 캐릭터로 만들자"는 개인적인 목표에서 출발해, AI를 활용한 이미지 개인화를 시도했습니다. 이 과정에서 겪은 시행착오, 딜레마, 그리고 초기 기대와 실제 업무 적용 간의 차이를 솔직하게 들려드리고자 합니다.
자유로운 세계를 만들 수 있는 메이플스토리 월드와 그 안에서 나만의 이야기를 그려보는 메이플 토이타운. 강단에 오른 최가운 개발자는 게임 속 아바타를 가지고 딸과 함께 역할놀이를 해주는 자상한 아버지였다. 마트에서 점원과 손님이 되어 놀아주는 그였지만 '만들어진 아바타 대신 딸이 직접 게임에 그려진다면 얼마나 좋아할까'라는 생각이 머리를 스쳤다.
메이플스토리 이미지 생성 AI에 대한 연구는 그렇게 시작됐다. 아직 게임에 넣어보지는 못했지만, 그 과정과 연구, 그리고 미래가 이번 강연의 내용이 됐다.
■ 이미지 한 장으로 만드는 이미지 생성 AI, 메이플스토리 스타일로 만들어달라고 하면?
최가운 개발자는 강연의 서두에서 최근 이미지 생성 AI 기술의 발전을 짚었다. 특히 지난 3월 GPT 등 범용 이미지 생성 모델의 등장으로, 이제는 사진 한 장만으로도 지브리나 짱구 스타일 같은 다양한 만화의 모습과 가까운 변환 이미지를 생성할 수 있게 되었다. 그렇다면 메이플스토리 스타일로 만들어달라고 하면 어떨까? 생성은 됐지만, 게임 특유의 동글동글하고 귀여운 느낌을 살리기엔 범용 모델만으로는 한계가 있었다. '내 딸을 메이플 캐릭터로 만들고 싶다'는 개인적인 목표에서 출발한 이 실험은, 곧 AI 이미지 생성 기술의 실무 적용 가능성과 한계에 대한 탐구로 확장되어 갔다.
우리는 이미지 생성 AI를 하나의 툴로 바라보지만 기본 구조는 지시하기와 그리기, 둘로 구분된다. 다만, AI는 본질적으로 확률에 따라 동작하기 때문에 같은 명령을 입력해도 결과까지 똑같이 나오진 않는다. 이 결과값은 일반적으로 평균에 수렴하는 경향이 있어, 특정 스타일이나 개인화된 이미지를 얻는 데 한계가 있다. 특히 조건이 많아질수록 그 결과값은 더 모호해진다. 최 개발자는 "서울에서 김서방 찾기 같은 느낌이었다"고 비유하며 어려움을 토로했다.
이 문제를 해결하기 위한 해결 방법은 기존 모델을 개선하거나 수정하는 큰 작업 대신, 오픈소스 모델에 다양한 보조 모델을 추가하는 형태를 택했다. 대표적으로 지시하기 구간에서는 포즈나 구도를 잡는 '컨트롤넷(ControlNet)'이나 말로 표현할 수 없는 그림의 특성을 캐치하는 'IP 어댑터(IP Adapter)'를 활용해 이미지로 직접 지정할 수 있었다.
또한 '로라(LoRA)'라는 경량화된 커스텀 모델을 도입해, 메이플스토리 공식 이미지 10장 내외만으로도 해당 스타일을 효과적으로 학습시킬 수 있었다. 그는 "로라를 적용하면 메이플스토리 스타일이 평균값이 되도록 조정할 수 있었다"라며, 공식 홈페이지에 있는 직업 소개 이미지 10장 정도로도 충분히 학습할 수 있다고 전했다.
이 과정에서 그는 실제로 다양한 실험을 진행했다.메이플스토리 아바타에 여러 인기 IP를 입혀보기도 하고, 움직이는 동작, 기존 횡스크롤 배경을 쿼터뷰나 탑다운으로 변환하는 실험, 동작이 들어간 아바타, 포스터나 '짤' 같은 것들도 다양하게 만들어봤다. 게임 속 배경을 겨울로 바꾸거나 손그림 스케치만으로 그림을 완성할 수 있는지도 테스트했다.
■ 보조 프로그램 개량에도 실무 적용은 먼 길
하지만 이러한 경험을 바탕으로 실제 실무에 적용하는 과정에서는 여러 한계와 시행착오가 드러났다. 첫 번째 한계는 도메인 전문성의 부족이었다.
경기장 배경을 만들어야 하는 상황에서 AI 생성 결과물을 활용할 계획이었는데 실제 게임에 적합하지 않은 부분은 디자이너, 기획자와의 소통을 통해 해결할 계획이었다. 하지만 디자이너들이 '전장에 집중해야 한다', '톤을 단순화해야 한다' 같은 피드백을 주었을 때 이쪽 분야에 대한 기초 지식이 없어 이를 정확히 이해하고 반영하는 데 어려움이 있었다. 최 개발자는 이걸 도메인 지식의 부재라고 했는데 나중에는 서양 미술사를 공부해야 하는 자신을 발견했다.
실무용 모델도 부재했다. AI 서비스를 보면 간단하게 만드는 것처럼, 결과만 나오지만, 의도나 설계에 관한 부분을 모델과 대화하는 내용은 없다. 최 개발자는 작업 환경에 들어와있는 코파일럿 등의 AI 모델을 통해 의도와 설계를 구상할 수 있지만, 그림 부분에서는 아티스트가 참여하는 과정이 없었다.
그는 성과 상위 10%의 과학자들은 AI를 통해 생산성이 80% 증가했지만, 하위 1/3은 거의 개선이 없었다는 지표를 통해 AI 역시 그 분야 전문가가 더 잘 활용할 수 있다는 답을 내놨다.
두 번째 한계는 생산성의 함정이었다. AI 도입이 곧바로 효율 향상으로 이어질 것이라는 기대와 달리, 실제로는 데이터 수집, 전처리, 모델 학습, 워크플로우 구축 등 준비에만 몇 주가 소요됐다. 재생성 가능한 파이프라인을 만들어두고 나서야 비로소 생산성 향상을 체감할 수 있었다.
AI 도입은 기획자, 디자이너, 개발자 등 여러 직군 간의 협업 프로세스에도 변화를 가져왔다. 예를 들어, 디자이너는 기존 그림을 변형하거나 업스케일하는 데 AI를 활용하고 싶어 했고, 기획자는 세계관 용어로 프롬프트를 작성하는 데 관심을 보였다. 실제로 실무자들이 직접 AI를 실험해보면서 조직의 문제 해결력과 진짜 니즈를 찾는 과정이 중요하다는 점도 강조했다.
세 번째 한계는 기술 발전 속도였다. AI 생성 모델은 매우 빠르게 진화하고 있어, 몇 달 전 연구한 내용이 금세 구식이 될 수 있다는 점에서 피로감과 회의감도 있었다. 이에 따라 부품을 교체하듯 모델을 쉽게 바꿀 수 있는 유연한 파이프라인을 갖추는 것이 중요하다는 점이 강조됐다. 실제로 지난 3월 챗GPT의 이미지 모델이 개선되며 '작년에 연구했던 시간과 과정이 의미 없는 것 아닌가'하는 고민이 있었고 변화에 유연하게 대응할 수 있는 시스템 설계의 필요성을 실감했다고 전했다.
■ 게임 개발에서의 생성형 이미지 적용, 실무자의 의도를 파악해야
최가운 개발자는 오픈소스 환경을 활용한 실무 팁도 구체적으로 제시했다. 공식 홈페이지의 직업 소개 이미지 10장 내외만으로 로라를 빠르게 학습할 수 있고, 파이프라인은 모델 교체가 용이하도록 설계해야 한다는 점이 강조됐다.
데이터셋은 의도와 설계가 명확한 이미지를 사용해야 원하는 결과에 가까워진다. 실제로 사용하면 병목 지점이 어디인지, 또 진정으로 원하는 것이 무엇인지 명확해진다고 설명했다. 파이프라인을 한 번 만들어두면 새 모델이 나와도 쉽게 교체할 수 있어 최신 기술을 빠르게 적용할 수 있다고도 전했다.
누가 사용할지에 대해서도 명확히 파악하는 것이 중요하다. 기획을 더 잘하고 싶은 기획자는 시안 생성에, 디자이너는 새로운 그림을 그리는 것보다는 변형하고 더 좋은 화질로 업스케일할 수 있는 부분의 니즈가 컸다. 이렇게 조직의 AI 문제 해결력이 같이 성장하고, 니즈가 명확해야 무엇을 연구해야 할지도 명확해지는 셈이다. AI가 단순히 '이미지 생성기'에 그치지 않고, 실질적으로 조직의 생산성과 창의성을 높이는 도구로 자리매김하려면, 반복적인 실험과 피드백, 그리고 유연한 워크플로우 설계가 필수적이었다.
강연 마지막에는 이미지 생성 AI의 트렌드와 미래에 대한 전망도 다뤄졌다. 처음에는 이미지를 생성할 수 있냐 없냐 정도에 그쳤던 이미지 생성 기술이 최근에는 이미지 한 장을 가지고도 그걸 이해하고, 말로 수정할 수 있는지에 대한 단계에 접어들었다. 여기서 한발 더 나아가 비디오 생성까지 가능한 모델이 등장하고 있으며, 앞으로는 그림을 그리는 과정 자체를 학습하는 모델, 즉 아티스트의 설계와 의도를 이해할 수 있는 실무형 AI가 등장할 것으로 내다봤다. 선 하나를 그려도, 그리는 사람이 누구고, 어떻게 그려나갈지 추측하고 분석하는 모델이다.
끝으로 딸의 아바타가 등장했으면 하는 마음으로 시작했던 '메이플스토리 월드'의 연구는 게임 내 모든 것을 만들 수 있는 크리에이터가 키를 쥐고 있다며 더 나은 AI 모델을 활용할 수 있는 방법들을 연구하겠다고 전했다.
한편, 강연 후 현장에서는 '메이플 리소스를 AI 학습에 쓰는 것은 연구 목적은 괜찮지만, 배포는 불가능하다'라고 전했다. 아울러 자신들 역시 아직 R&D 단계에 있으며 실제 서비스 적용 논의가 더 필요하다고 덧붙였다.
Looa@inven.co.kr
페이지 구독하기
다른 기사 보기
기사 제보하기
