이번 밸패 보면서 드는 생각인데
지금 유저가 가지고 있는 직업별 딜 데이터는 제대로 통제된 데이터가 사실상 거의 없음.
1. 연무장
제일 큰 문제는 표본임.
직업별로 표본 수 차이가 너무 큼.
예전 집계 보면
메카닉, 키네는 2명 수준인데
렌은 29명, 아델은 26명씩 있었음.
2명이 친 기록이랑 20~30명이 친 기록을
같은 신뢰도로 놓고 비교하기가 어려움.
전형적인 표본 편향 문제임.
숙련도 편차도 큼.
어떤 직업은 장인들이 계속 트라이 박으면서 딜사이클 깎고 고점을 계속 갱신하는데
어떤 직업은 기록 자체를 거의 안 올림.
연무장이라는 측정 환경 자체에서 생기는 변수도 있고.
5분 30초쯤 준극을 한 번 더 넣을 수 있는 직업이 유리하다거나,
미하일처럼 허수아비 몸박 판정 때문에 로얄가드를 실전보다 안정적으로 굴릴 수 있다거나.
연무장 데이터가 의미 없다는 얘기는 아님.
다만 Raw Data를 그대로 가져다가 직업 체급표처럼 쓰기에는 노이즈가 너무 많다는 거임.
2. 환산챌
그나마 이쪽이 상대적으로 낫다고 봄.
조건도 어느 정도 맞춰져 있고 실제 보스전 기반이라 연무장보다는 실전에 가까움.
근데 이것도 특정 직업은 표본 자체가 너무 적었음.
그리고 밸패 크게 한 번 들어오면 이전 데이터 활용하기도 애매해짐.
스킬 구조나 딜사이클이 바뀌면 패치 전이랑 패치 후는 사실상 다른 데이터셋이라
과거 기록을 그대로 가져와서 지금 직업 체급 비교하기가 어려움.
3. 데티 최소컷
이쪽은 애초에 최소컷이라는 특성 자체가 있음.
평균적인 직업 성능을 보는 자료라기보다는
잘 치는 사람이 세팅 맞추고 트라이 계속 박아서
고점을 어디까지 깎을 수 있느냐에 가까움.
통계적으로 봐도 평균값보다는 상위 극단값 쪽 데이터를 보는 셈이고.
여기도 비슷한 문제가 있음.
누구는 기록을 올리고
누구는 안 올리고
어떤 직업은 영상 자체가 몇 개 없음.
그래서 참고자료로는 좋은데 직업 전체 체급을 대표한다고 보기에는 애매함.
결국 밸런스 떡밥 돌 때마다 가져오는 데이터 중에 완전히 깔끔한 게 하나도 없음.
연무장도 변수가 있고
환산챌도 표본 문제가 있고
최소컷도 극단값 위주임.
그러니 유저들이
“이 직업 딜 약함”
“얘는 너무 셈”
이라고 해도
게임사 입장에서는 그 근거 데이터를 그대로 받아들이기가 어려울 수밖에 없음.
여기서부터는 그냥 뇌피셜임.
최근 넥슨이 전사적으로 AI랑 데이터 활용을 강하게 밀고 있고
관련 인프라도 계속 구축하고 있음.
실제로 이런 데서 AI를 쓴다고 하면 AI한테 밸런스 결정을 시키는 그림보다는
수많은 전투 로그를 비슷한 스펙끼리 클러스터링하고,
이상치 걷어내고,
파티 구성이나 시너지 조건 분리하고,
직업별 분포 뽑고,
유의미한 Feature 찾는 식으로
데이터 전처리나 분석 과정에 붙이는 게 훨씬 현실적임.
그리고 챌린저스 서버가 이런 데이터 만들기 되게 좋은 환경이라고 봄.
비슷한 시기에 사람들이 캐릭터를 키우고
성장 구간도 어느 정도 비슷하고
구간별 보스 미션도 있음.
그러면 예를 들어 같은 환산 구간에서
특정 보스의 직업별 클리어율,
평균 클리어타임,
트라이 대비 성공률,
사망률,
클리어타임 편차
이런 걸 뽑기가 훨씬 쉬워짐.
본섭 전체 로그를 그냥 통으로 보는 것보다 상대적으로 데이터셋이 깔끔함.
챌섭을 이거 하려고 만들었다는 얘기는 아니고
이미 운영 중인 챌섭 자체가 밸런스 분석용 코호트로 쓰기 꽤 좋은 환경이라는 얘기임.
그리고 이번 직업 패치들 보면 어느 정도 방향성이 보이는 것 같음.
시너지를 걷어내고
게이지 구조 정리하고
조건부 요소를 줄이는 식으로
직업마다 제각각이던 변수를 계속 줄이고 있음.
이런 요소들이 플레이 측면에서는 고점 숙련도인데
데이터 입장에서는 전부 변수임.
같은 환산이어도
누구랑 파티했는지,
어떤 시너지를 받았는지,
보스 패턴이 어떻게 나왔는지,
극딜 주기가 몇 번 맞았는지,
설치기가 실제로 얼마나 적중했는지
이런 게 전부 결과에 영향을 줌.
변수가 많으면 많을수록 직업 자체의 성능만 따로 분리해서 보기가 어려워짐.
그래서 최근 패치들이 단순히 직업을 쉽게 만드는 게 아니라
직업별 데이터를 정규화하기 쉽고
성능 비교하기 편한 구조로 바꾸는 과정도
어느 정도 섞여 있는 게 아닐까 싶음.
근데 여기서 문제가 생김.
개발자 입장에서는 데이터가 깔끔하게 나오고 관리하기 쉬운 구조가 되는데
유저 입장에서는 실력 편차를 줄이고 고점을 깎는 패치처럼 느껴질 수밖에 없음.
윈브 게일 스택 같은 게 딱 그런 느낌이고.
개발팀 입장에서는 변수 하나 줄인 건데 유저 입장에서는
“개선해달랬지 삭제해달랬냐” 가 되는 거임.
그래서 요즘 구조 망가졌다고 말 나오는 직업들 보면
순수하게 그 직업을 개선하려고 손댔다기보다는
전체 직업을 비슷한 프레임에서 관리할 수 있게 구조를 정리하다가
기존 플레이 경험까지 같이 날아간 케이스가 있는 것 같음.
물론 여기까지는 전부 추측임.
내부에서 실제로 어떤 데이터 파이프라인을 쓰는지, 밸런스팀이 어떤 지표를 주요 KPI로 잡고 있는지는 밖에서는 알 수 없음.
다만
유저가 가진 데이터는 표본 편향이 심하고,
개발사는 훨씬 많은 로그를 가지고 있고,
최근 패치는 실제로 변수 자체를 줄이는 방향이고,
넥슨은 전사적으로 데이터/AI 활용을 확대하고 있음.
이걸 같이 놓고 보면
이번 밸패가 단순 수치조정만 하는 게 아니라
밸런싱에 쓰는 데이터 자체를 좀 더 깔끔하게 만들기 위한 구조 정리도 같이 하고 있는 게 아닐까 싶음.
구조 박살난 애들만 좀 정상적으로 돌려놓으면
적어도 앞으로 밸패 정확도 자체는 예전보다 나아질 여지는 있다고 봄.
수덕
