Fig 1. 상위 10% 유저들의 재생 영식 RDPS 추이, 글섭 기준, 5.4 패치 전 기간
원 글(https://www.inven.co.kr/board/ff14/4336/1065696)에 첨부하신 로그가 이상해서 제 나름대로 좀 뜯어보고 있었는데, 제가 잘못된 통계값을 들고 와 분석하다보니 음유가 약하다고 잘못 주장했네요. 개인적 호기심도 생겨서 웹페이지 내에서만 할 수 있는 방법들만 동원하여 이를 정정하는 내용을 댓글로 작성했지만, 정정 보도는 원문보다 더 많은 분들이 읽어야 바로잡을 수 있다 생각하여 게시글로도 작성합니다. 수학적인 내용이 일부 포함되어 있지만, 이해가 되지 않는 부분이 있더라고 알고만 넘어가셔도 글을 읽는데 지장은 없을 겁니다.
이미 많은 분들께서 음유의 난이도로 인해 스트레스를 받고 계시는 점을 언급하고 계시고 음유가 약하다고 평가받는 이유에 대해서는 각자의 생각이 있기 때문에 이 글에서는 다루지 않고, 제 나름의 판단 및 판단의 근거가 되는 로그 분석 방식에 대해 이야기를 드리고 유격 3인방의 딜 포텐 자체는 황금 밸런스라는 것을 보여드리려 합니다.
본론에 앞서 다른 집계 사이트와 달리 프프로그가 갖는 특징과, 파판의 딜사이클이 갖는 특징을 추리자면 다음과 같습니다.
1. 개인 스킬의 딜량보다 시너지로 인해 내가 남에게 이득을 준 수치를 나의 딜량으로 정의한다(통칭 RDPS).
2. 딜사이클은 (대부분) 프록이 없다.
3. 집계값의 수치 대비 각 구간이 매우 촘촘하다.(딜량은 만 단위에서 놀지만, 내 위와 아래의 딜과 차이는 십 단위에서 일어난다)
4. 탬렙 대비 점수를 알 수 없다.
각 특징에 대한 설명은 다음과 같습니다.
RDPS를 집계한다.
1의 특징은 사실 어지간한 dps 집계 사이트의 통계보다 더 공정한 편입니다. 그 이유는 파티 기여도라는 것을 수치로 나타내어 표시했고 이로 인해 원래라면 인비지블 썸띵이었어야 하는 지표를 눈에 보이는 값으로 변환하였기 때문이지요. 증거란 것은 눈에 보이고 이해가 쉬워야 대중이 납득하기 때문에 이 점은 시너지 직업의 존재 의의를 입증해주는 아주 좋은! 지표에요.
딜사이클은 (대부분) 프록이 없다.
사실 프록(PROC)이라는 단어부터 정의하고 가야 하는데, 놀랍게도 어원이 명확하지 않은 단어입니다. 사실 proc이라는 약자 자체는 오래전부터 컴퓨터공학에서 쓰이던 단어긴 하나, 그 의미는 게이머가 생각하는 의미와 다르거든요(컴퓨터공학에서 proc은 여전히 쓰이는 단어입니다!)기원을 찾아 구글링을 해보니 아카이브된 웹페이지(http://web.archive.org/web/20190430115428/http://www.nerfbat.com/2006/04/15/what-is-a-proc/)를 찾을 수 있었습니다. 에버퀘스트 유저들이 사용하던 단어로, Programmed Random OCcurence의 약자라고 하네요. 한국어로 직역하자면 "프로그래밍된 임의 발생"으로 할 수 있을 것 같습니다.
단어의 어원은 차치하더라도, 게임 내에서 통용되는 의미로는 "일정 확률에 따라 얻는 추가 효과"입니다. 다만 중요한 점은, 컴퓨터 내에서의 확률이란 것은 실제 세계의 확률 사건을 완벽하게 구현을 할 수 없다는 점입니다(꺼무위키에서 난수생성 문서를 읽어보세요). 이로 인해 컴퓨터 내의 15%라는 확률과, 실제 세상의 15%의 확률은 실제로 일어날 확률이 엄밀히 말해서는 다릅니다. 따라서 게임에서는 이를 실제 세계의 15%와 맞추기 위해 확률을 점진적으로 조정을 하게 되는데 구체적인 방법은 개발자의 목표 혹은 의향에 따라 다양한 방식으로 진행됩니다.
대표적인 예시로는 게임 내에서는 매 순간 지금까지의 프록 발생 유무를 기록하여 정해진 수치에 수렴하도록 하는 식으로 확률을 조정하는 것이 있습니다. 일정 시간동안 전투를 하여 프록이 뜬 횟수가 기준보다 많다면 당분간은 프록을 띄우지 않고, 기준보다 횟수가 적다면 이를 더 자주 발생시켜주는 식으로 말이죠. 보다 직관적인 예시로는, 초창기 테트리스에서는 작대기가 나올 확률이 들쭉날쭉했지만, 최근 개발되는 테트리스는 7-bag이라는 규칙을 도입하여 적어도 특정 번째 블록은 작대기가 나올 수 있도록 각 블럭의 등장 확률을 조정합니다.
Fig 2. 테트리스의 7-bag 규칙은 작대기를 못해도 13번째에는 등장하도록 설계
프록이 존재하지 않는 직업은 각 레이드는 클리어 시간에 따라 최적의 딜사이클이 존재하며 이것을 얼마나 똑같이 재현할 수 있느냐에 따라 그 전투의 이상적인 위력 계수의 합이 존재합니다. 아시다시피, 이것은 xivanalysis에서 일부 스킬에 대해 계산을 해줍니다. 물론, 클리어 시간은 시작 전에 정확히 알 수 없기 때문에 전투 전에 나의 이상적인 기술 위력의 합은 정확히 알 수 없죠. 그나마 다행인 건, 파판은 글쿨이 긴 편에 속해 이것을 예상하는 것에 다른 게임에 비해 연산량이 낮은 편입니다.
그런데 프록이 존재한다면? 프록의 설명과 볼드체로 처리한 내용에 기반하면, 이상적인 위력 계수의 합에 유의미한 변동을 줄 수 있는 건 확률적으로 무언가 일어나는 스킬들입니다. 프록으로 발생하는 스킬은 즉시 사용하지 않으면 손해입니다. 쓰지 않았다고 해서 본전을 보는 것이 아니라, 설계상 당연히 가져야 하는 딜량을 스스로 버리게 되는 셈이거든요. 특히 이러한 현상은 프록으로 뜬 스킬이 스택이 되지 않는 직업에서 크게 두드러집니다. 예를 들어 무희의 부채는 4개까지 스택이 되므로 1~3번째 부채는 모아두어도 손해가 아니지만, 바드의 사혈 화살은 즉시 쓰지 않으면 다음 초기화로 인한 사용횟수 1회를 버리는 것과 마찬가지입니다.
툴팁상에는 확률이 적혀있지만, 내가 전투하는 시간에 따라 이 확률을 정확히 지킬 수 없어지게 됩니다. 전투시간이 길 수록 정해진 확률에 수렴되긴 하지만 일찍 끝날 시에는 정해진 확률보다 적게 프록이 발생했을 수 있다는 겁니다.(물론 파판은 어떻게 프록 확률을 관리하는지 공개하지 않았습니다만, 일반적으로 이런 경우는 정해진 수치 아래에서 접근하도록 설계하는 경우가 대다수입니다. 이득을 본 상태에서 깎아내리는 식의 구현은 통제가 어려워집니다.)
각 값의 구간의 격차가 좁다.
2의 특징은 집계값들의 차이가 그리 크지 않다는 의미입니다. 쉽게 이해하실 수 있도록 옆동네 로그와 비교를 해볼게요. DPS는 서로 단위가 다르니, 정규화된 점수로 비교를 해보겠습니다. 그 전에, 우선 그래프를 읽는 법 먼저 알려드릴게요. 수학적 내용이 포함되어 있으니 볼드체로 처리한 내용만 읽고 넘어가셔도 괜찮습니다.
로그는 집계된 전체 기록을 Box Plot으로 표현합니다. 그에 대한 정의는 아래의 그림을 참조하시면 되는데, 쉽게 말해 박스의 시작점은 25점, 박스의 끝점은 75점, 박스 가운데 실선은 50점을 의미합니다. 실선의 양 끝은 이 집계 내에서 유의미하다 여겨지는 값의 양 끝을 의미합니다. (일반적으로 실선의 양 끝은 각 quartile로부터 1.5IQR을 기준으로 잡는데, 파판의 박스 플롯은 0.5IQR로 정의했습니다. IQR은 Q3 - Q1의 값이에요.)
일단은 유저의 절반은 박스 안에, 나머지 절반은 박스 밖에 있다는 점을 기억하시면 됩니다. (outlier는 이상점이라고 번역되는데, 일반적인 통계 분석에서는 참고 용도로만 사용합니다. 그 이유는 프프로그가 집계한 데이터는 실제 파판 내에서 일어난 모든 전투의 집계가 아니기 때문인데, 개발사 내부 자료라면 이상점도 충분히 의미를 가질 수 있는 지표가 되긴 합니다.)
Fig 4. Warcraft Logs(이하 WCL)의 전체 유저 기준 DPS Box Plot
옆동네의 뭔가 직업이 엄청 많은건 차치하고, 실선의 양 끝이 위치 정규화된 점수의 범위가 매우 큽니다. 물론 와우의 양 실선 끝의 범위는 파판보다 약 10% 넓게 되어있지만, 그걸 감안하더라도 범위가 꽤 넓은 편입니다. 각 박스당 유저가 100명이라 치면, 100명의 서 있는 위치가 듬성듬성하단 의미에요. 또한 박스가 실선의 중앙에 위치하지 않고 오른쪽으로 치우져쳐 있는데, 이것은 인구수 기준으로 중간 순위인 사람보다 딜을 못하는 사람은 심각하게 못하고, 중간 순위인 사람보다 딜을 잘하는 사람 간의 격차는 그것보다는 적다는 의미입니다.(박스 플롯이 저렇게 생긴 이유는 여러 가지가 있는데, ADPS만 집계하는 것과 부활을 5분당 1개를 주는 것이 큽니다. 힐러의 마나가 허용하는 만큼 부활을 땡길 수 없어서 사망시 업타임의 손실이 파판보다 더 크므로, 철저하게 개인 플레이가 로그 점수를 좌지우지하게 됩니다.)
Fig 5. 전체 유저들의 RDPS Box Plot, 글섭 기준, 5.4 패치 전 기간
반면에 파판은 그렇지 않습니다. 실선과 박스의 길이가 비교적 유사하고 중앙값 또한 박스의 정중앙에서 크게 벗어나질 않으며 고르게 있는 편입니다. 이는 집계된 값들이 큰 격차를 보이지 않으며 대부분의 직업은 숙련도별 유저의 분포가 매우 고르다는 것을 의미합니다. 이것이 가능한 이유는 여러가지가 있으나, 그 중 하나는 프록이 없기 때문에 운에 의해 발생하는 딜량의 보너스가 존재하지 않기 때문입니다. 프록이 존재하는 직업은, 미세하지만 와우로그와 유사한 모양(중앙점이 오른쪽에 치우쳐져 있으며 좌측의 실선이 더 긴 모양)을 갖는 것을 보실 수 있습니다. 물론 프록 외에도 수많은 요소들이 박스 플롯의 모양에 영향을 주기 떄문에 절대적인 이유가 되지는 못하며, 사이트에서 보여주는 수치만을 갖고는 정확히 알 수 없습니다.
iLv를 감안한 점수를 알 수 없다.
4번이 가지는 특징은 뒤에서 다시 말씀드리겠지만, 개인적으로 로그 점수의 신뢰를 떨어뜨리는 원인 중 하나라고 생각합니다. 딜량을 결정하는 3대 요소는 템, 시간(노력), 재능인데 프프로그는 이것을 세분화하여 알 수가 없습니다. 물론 간접적으로 역산을 하면 이를 예상할 수는 있지만, 로그 내에서 알 수 있는 지표는 시간x재능의 간접 지표인 Mechanics와 템의 지표인 iLv를 표시하지 않습니다. 앞서 말씀드린대로 이상적 기술 계수의 합은 존재하지만, 결국 DPS는 스탯을 곱해 산출되기 때문입니다. 이것들을 역산하려면 인게임에서의 실험과 실제 데이터를 취합하여 보다 꼼꼼한 비교 분석을 진행해야 하지만 연구비를 주는 것도 아닌데 할 사람은 몇 없겠죠.
Fig 6. WCL의 iVl에 따른 점수를 표시하는 기능
이로 인해 발생하는 문제는 '이사람의 순수한 실력은 얼마인가?'를 로그 사이트에서 바로 알 수 없단 점입니다. 물론 xivanalysis 에서는 대략적으로 나의 실수를 짚어주므로 이상적인 상황을 100이라 가정한다면 상대적인 점수를 유추할 수는 있습니다. 그러나 앞서 말씀드린 각 구간의 차이가 크지 않은 상황은 이러한 예측을 어렵게 만듭니다. 템으로 인해 상승하는 DPS의 증가폭이 전체 딜량에 비해 크지 않기 때문에 어중간한 점수대에는 다양한 유형의 유저가 혼재하게 됩니다. 더구나 RDPS는 시너지 및 파티원의 영향으로 인해 유추를 거의 불가능하게 만듭니다. 안그래도 역산하기 힘든 와중에 시너지는 대부분 곱연산으로 증가하게 됩니다. 단순히 위력을 올리는 것이면 그나마 선녀인 거고, 확률의 확률을 올리는 시너지들은 더더욱 RDPS의 인과관계를 역산하기 까다롭게 만듭니다. 시너지를 제때 올렸다는 것은 수치로 알 수 있지만, 그 순간 동안 내가 벌어먹은 딜량은 파티원의 역량에 따라 다르니까요. 나와 파티원의 상태에 따라 시너지 스킬은 문자 그대로 1+1=2가 아닌 그 이상의 딜량을 얻을 수도, 그렇지 못할 수도 있게 됩니다.
위의 4가지 특징을 이해한 상태에서 로그를 보게 된다면, 단순히 통계 화면의 첫 페이지는 많은 양의 정보를 보여주긴 하나, 이것만으로 모든 것을 설명할 수 없다는 것을 깨닫게 되실 겁니다. 사실 빅-데이터라는게 그렇긴 합니다. 현실 세계에서 수집 대상에 대한 모든 데이터를 수집한다는 것 자체가 성립할 수 없는 일이라서요. 결국 구체적인 것을 알고 싶다면 그 구체적인 조건에 맞는 표본을 다시 선정하고, 그것을 기준으로 그래프를 다시 봐야만 합니다. (요시다 밑으로 취직해서 수치해석을 하게된다면 이것보다 더 많은 흥미로운 것들을 알게 되겠지만, 그렇게 되면 회사 기밀로 취급되어 발설할 수 없겠죠?)
아무튼 위에 설명한 이유들과 타 게임에서 시뮬레이션을 돌려본 경험들을 기반으로, 저는 파판 개발자가 의도한 설계를 파악하기 위해서는 해당 시즌 말의 상위 10~15%유저의 기록을 보는 것이 가장 적합하다고 생각합니다. 이 구간의 유저들은 BiS를 대부분 갖추었으며, 시너지 타이밍과 물약의 타이밍을 알고 있으며 상황에 맞는 딜사이클의 임기 응변이 가능한 유저군이자 그런 유저들로만 이루어진 파티에서 얻은 수치라고 생각합니다. 5.4 기준 통계를 기반으로 유격대들의 기록을 한번 살펴보도록 하겠습니다.
Fig 7. 전체 유저들의 RDPS 추이, 글섭 기준, 5.4 패치 전 기간
우선 집계된 모든 유저의 딜 평균의 시계열 데이터입니다. 잘하는 사람, 못하는 사람, 신식 풀금단으로 1주차를 도전한 사람, 늦게 출발하는 이전 시즌 사람 등등 다양한 데이터가 혼재되어 있는 상황입니다. 영식을 도전하는 파판 전체 유저를 한눈에 보기에는 좋지만, 흔히 생각하는 '그래서 개발팀이 생각한 이 직업의 포텐을 다 끌어내면 얼마나 될까?'를 알기에는 그 대상이 명확하지 못한 편입니다. 각 날짜별로 유저의 유형은 다양해지며, 아이템 레벨의 대역 역시 넓어지게 되므로 이를 추측하기에는 이 그래프는 직업 설계의 이상적 수치를 분석하기에 적합하지 않습니다.
Fig 1. 상위 10% 유저들의 RDPS 추이, 글섭 기준, 5.4 패치 전 기간
글 맨 앞에 있는 그래프입니다. 매 2주마다 90~100점을 찍은 데이터만을 모아 평균을 내었습니다. 주차가 지날수록 템렙이 좋아지고, 90~100 구간의 유저수가 늘어남에 따라 각 주기 별 딜량의 상승 폭이 점차 완만해집니다. 충분한 집계수가 쌓인 시즌 말의 시점에는 그래프의 변동폭이 거의 없다시피 합니다. 마지막 주차의 그래프가 전반적으로 급상승 하는 이유는 해당 주간에 5.5 패치가 진행되었기 때문에 장비의 변화가 발생함에 따라 증가한 것으로 추측됩니다.
4월 12일 기준으로, 유격대의 RDPS 평균은 다음과 같습니다.
음: 20790.75 (0)
기: 20935.22 (+144.47)
무: 20432.99 (-357.76)
상위 10%유저의 최고 RDPS와 최저 RDPS의 차이가 1000이 채 되지 않아, 이해도가 높은(== 이상적인 위력 계수를 뽑아낼 수 있는) 상태에서 각 유격 직업군은 RDPS 상으로는 균형잡힌 설계가 되었다고 판단할 수 있다고 결론을 내릴 수 있겠습니다.
Fig 8. 전체 유저들의 직업 별 Parses, 글섭 기준, 5.4 패치 전 기간
다만, 한 가지 재미있는 점은 전체 기간 동안 집계된 유저의 수는 차이가 큽니다. 최대 인구수(3,313명)와 최저 인구수(1,824명)의 차이는 55%나 발생하여, 유저의 선호도는 차이가 있는 것으로 확인 할 수 있었습니다. 아쉽게도 Parses는 각 구간별로는 알려주지 않아 상위 10% 유저의 수를 알 수는 없었으나, 비율 자체는 약간의 차이가 있을지언정 상위 10%에서도 절대적인 인구수는 음유시인이 가장 낮을 것으로 예상됩니다. 인구수가 적은 이유에 대해서는 3직업 체감 상 가장 신경써야 할 것이 많기 때문에 기피되는 것이 아닐까 생각됩니다.
저 역시 음유에 대해 잘못 갖고 있던 인식으로 인해 떡밥을 뿌리게 된거 같아 시작한 로그 분석이지만, 의외로 파판이 얼마나 균형있게 직업 밸런스를 맞추려고 하는지 다시 한번 이해하게 된 계기가 되었습니다. 사실 올바른 그래프를 보고 이를 판단하는데는 오래 걸리진 않았는데, 이를 설명하기 위해 자료를 찾고 글을 쓰게 된 점에서 시간이 많이 걸리긴 했지만 개인적으로는 즐거움을 느끼고 있습니다.
그와는 별개로, 이렇게 분석해보니 ACT의 로그 집계 방식이 RDPS와 많이 달라 편향된 시각을 가지기 쉬운 점을 알게 되어 이 부분이 좀 불만스럽긴 합니다. 즉각적으로 얻을 수 있는 수치가 1차 판단의 근거가 될텐데, 이게 생각만큼 확실하지 않다는 점이 많이 아쉽네요. 결국 시시비비를 따질때는 로그를 올려야 정확한 분석이 가능할 거 같다는 의견을 추가하며 이만 글을 마치도록 하겠습니다. 긴 글 읽어주셔서 정말 감사합니다.
3줄 요약
1. 음유는 약하지 않다.
2. 의외로 유격대의 밸런스는 황밸이다.
3. 편견은 참 무섭다.
Nezyixian
