[게임제보] 스킬각성 에르깅 버그 검증 실험

주의사항

1. 불특정 다수의 집단에게 보이는 글이나 실제로 통계에서 활용하는 연구방법론이 쓰이므로 되도록 쉽게 이해할 수 있도록 풀어씁니다. 관련 분야를 아시는 분들은 너무 풀어쓴다 싶어도 이해바랍니다. 따라서 대학원 이상의 독자를 기준으로 할 때에는 A4 2p분량이겠으나 조금 늘어납니다.

2. 맨 아래에 요약 있습니다.

배경

 스킬 각성이 나온 이후 이전에 작성한 스킬 각성 가이드라인에서도 언급하였지만 에르깅을 할 때(Erg-ing; 에르그를 소모하여 성공확률을 올리는 과정) 그 과정이 브리닝(Brine-ing; 인챈트할 때 엘릭서를 소모하는 과정)과 유사하다는 인상을 받았습니다. 브리닝과 에르깅의 특기할만한 차이점은 최대성공확률 초과여부입니다.

 브리닝은 100Br을 넘게 되면 강제로 최저 확률로 고정되지만 에르깅은 에르그는 그대로 소모하지만 성공확률 자체는 최대 확률로 고정됩니다. 이 때문에 앞서 언급한 공략글에서도 에르그 or 골드에 여유만 있다면 걱정없이 얼마든지 10개씩 들이부어서 빠르게 에르깅할 것을 권유하기도 하였습니다.

 몇몇 분들이 잦은 각성 실패를 겪고 그 이유로 에르깅에 뭔가 버그가 있는 것 아닌가하는 의견을 보내주셔서 작성자는 이 차이가 제대로 적용되고 있는지, 표기된 확률로 적용되고 있는지 검증해보고자 이번 실험을 시작하였습니다.

가설 설정

연구에 쓰이는 독립 가설은

-최대 성공확률을 초과하도록 에르깅을 할 경우 성공확률이 브리닝과 동일하게 현저하게 떨어진다.

이와 같습니다. 에르깅할 때 한 에르그당 성공 확률은 1~3%로 랜덤으로 채워줍니다.

 최대 성공 확률이 40%인 B랭크 스각돌을 쓴다고 하였을 때 31%까지 채운 상태에서 10개 사용을 누르면 최소 10%가 증가하기 때문에 41%가 되지만 표기상으로는 최대 성공 확률인 40%가 됩니다. 만약, 에르깅이 겉보기에만 이렇고 브리닝과 동일하게 최대 성공률에 초과할 정도로 에르그를 소모할 때 성공률이 현저하게  떨어진다고 가정하는 것입니다.

이에 대한 대립 가설은

-어떤 방식으로 에르깅을 하든 최대 성공확률은 표기상 확률과 동일하게 적용된다.

가 됩니다. 통계학적 연구방법론은 A와 B에 대하여 유의미한 차이를 보이고자 할 때 A와 B가 같다는 가설을(대립 가설=0가설) 기각하는 것으로 ‘A와 B는 같지 않으니 따라서 A와 B는 다르다’는 식으로 증명합니다. 그래서 0가설을 만들고 0가설을 증명하는 실험을 하여서 0가설과 상이한 결과가 나온다면 0가설을 기각하고 0가설에 반대되는 독립가설이 맞다는 것을 증명하게 됩니다. 다만, 본 실험에서는 성공률이 떨어질 것으로 예측하고 있기 때문에 단순히 다르다만 검정하는 양측 검정이 아닌 단측 검정(A가 B에 비하여 명확히 떨어진다고 가정)으로 진행합니다.

 α값은 0.05로 합니다. 이는 제가 설계한 프로토콜로 동일한 실험을 하였을 때 실제로는 별 차이가 없는데 우연히 차이가 있다고 발생했다고 판정하는 기준을 5% 미만으로 잡는 것입니다. 따라서 최종 산출된 값(본 실험 결과가 그저 우연이었을 확률)이 0.05보다 작은 값이라면 이 실험은 믿을 만하다고 볼 수 있습니다. (0.05는 학계에서 일반적으로 쓰이는 수치입니다. 보건의료 환경이나 정밀 기계와 관련된 경우처럼 정밀해야 한다면 이 값보다 더 낮게 잡기도 합니다.)

 표본 집단 설정

 따라서 두 표본 집단을 만들어서 집단간 차이를 살펴보아야 합니다. 두 집단은 동일하게 F랭크 스각돌을 사용합니다. 따라서 최대 성공 확률은 60%가 됩니다.

실험군 : 51% 이상까지 에르깅한 상태에서 에르그 10개 사용. 최소증가율인 10%p를 포함하면 최대 성공 확률을 초과하게 됨

대조군 : 58-60%까지 조심스럽게 올려서 되도록 최대 성공률을 넘지 않는 선에서 각성을 진행. (정확히 60%를 맞추기에는 에르그의 확률이 랜덤이기 때문에 불가능하다.)

 엄밀히 따지면 실험군과 대조군의 표기 확률상 대조군이 실험군보다 성공률이 낮습니다. 따라서 0가설에 완벽히 부합하는 조건이 아니지만 독립가설은 실험군이 대조군보다 성공 확률이 낮다는 것을 가정하고 있으므로 그대로 진행합니다. 

 표본 집단 크기 설정

 통계학적으로 그 차이를 검증할 때에는 표본집단의 크기를 잘 설정해야 합니다. 너무 많은 수를 체크하면 불필요하게 시간과 노력이 소모되며 우연히 일어날 수 있는 매우 작은 차이도 의미있게 보일 수 있습니다(작성자 주; 대학원생들이 졸업논문 쓸 때 억지로 차이가 있다고 할 때 쓰는 방법이 표본 N 크기 확장이며 논문에 대한 주요 공격도 바로 이 부분이라 할 수 있습니다). 반면에 너무 작게 설정하게 되면 통계적으로 유의미한 차이는 검증할 수 없고 해당 결과에 대하여 단순히 우연히 일어났다고 결론지을 수도 있습니다.

 따라서 본 실험의 신뢰도를 높이고자 적절한 표본 집단의 크기를 설정할 필요가 있습니다. 

그래서 쓰이는 프로그램이 바로 G-power입니다. 

G-power로 t-test, 단측 검정을 기준으로 두 집단의 통계학적 유의미한 차이를 알아낼 수 있는 최적의 표본수를 알아본 결과 45로 나타났습니다.(이 부분은 이해 못하셔도 됩니다.)

따라서 두 표본 집단에 대하여 45회 실험을 하고 그 결과값을 비교하면 가설검증을 할 수 있습니다.

 또한, 이 실험의 신뢰성을 추가적으로 확보하고자 인터넷 방송으로 진행하면서 실험 과정을 기록하였습니다.

 

 실험 결과 및 고찰

http://live.afreeca.com:8079/app/index.cgi?szType=read_ucc_bbs&szPart=REVIEW&szBjId=keeperhouse&nTitleNo=33866758&isAfreeca=true&nStationNo=14807625&szCategory=00010000&autoPlay=true&nBbsNo=16395399

인벤이 아프리카 플레이어는 지원하지 않아서 링크로 둡니다. 40분간 실험한 영상인데 별로 재미는 없을 것입니다.

실험군의 raw data는 다음과 같습니다.

대조군의 raw data는 다음과 같습니다.

이를 토대로 평균값(mean)과 표준편차(S.D.)를 정리하면 다음과 같습니다.

이 결과를 토대로 t-test를 시행하면 다음과 같습니다.

실험군의 평균 성공율은 53.3%이고 대조군의 평균 성공율은 57.8%입니다.

p값은 0.338로 α값인 0.05보다 높으므로 0가설은 기각되지 않습니다. 평균값의 차이가 매우 근소하게 나는 것으로 보아 에르깅이 과다하게 되었다고 하더라도 그 자체로 성공율이 현저하게 떨어진다고 볼 수는 없습니다.

따라서 0가설 즉, 에르깅을 어떻게 하든 성공율에는 큰 차이가 없다는 가설이 맞다고 볼 수 있습니다.

 다만, 대조군은 에르깅을 58~60%일 때 진행하여 실제와 매우 근사한 평균값을 보였습니다만

 실험군은 성공율을 60%로 고정하였음에도 53.3%로 낮게 나왔기 때문에 현저하게 확률이 떨어지지는 않더라도 근소하게 떨어질 가능성을 배제하기 힘든 것도 사실입니다. 단순히 통계적 결과로 독립가설을 채택하지 못 했다고 하더라도 성공율이 낮았어야 할 대조군이 실험군보다 더 높은 성공율을 보인 것이 사실이기 때문입니다.

 따라서 본 글에 대하여 홈페이지 건의사항 게시판에도 글을 남겼습니다.

 스킬 각성도 확률인 이상 버그가 있다는 것을 검증하기 매우 어려운 특성을 보이기 때문에 버그라고 단정할 수는 없습니다만 결과가 찜찜한 것도 사살이기에 스각 관련 코드에 브리닝처럼 과다 에르깅을 했을 경우 확률이 감소할 여지는 없는지 데브캣에서 체크를 한다면 별 문제는 없을 것입니다.

요약 :

To. 유저 : 별 차이 없어보이니 스킬 각성에 실패했다고 과다하게 에르깅한 것이 원인은 아닌가하는 의심은 현시점에서는 놓아두셔도 될 듯합니다.

To. 데브캣 : 통계적으로 유의미한 차이는 보이지 않았으나 과다 에르깅을 한 실험군의 성공율이 낮게 나온 것은 사실이니 해당 시스템에 대하여 혹시나 이상은 없는지 확인바랍니다.