저희는 게임 전후 채팅로그에 대해 많은 조사를 해 봤습니다. 저희가 물어본 질문들 중 몇가지는 다음과 같았습니다:
1) 우리가 만약 게임 전후 채팅 로그를 포함시킨다면, 얼마나 더 많은 트롤러들을 트리뷰널에서 확인할 수 있을까?
게임 시작과 이후에 트롤링하는 유저들은 게임 내에서도 트롤러인 경우가 대다수였고, 다양한 시스템에 의해 처벌받았습니다. 과연 게임 시작 전과 후에만 트롤링을 하고 게임 내에선 예의범절을 지키는 유저들이 있을까요? 네. 하지만 그들은여러분이 생각하는 것보다 훨씬 적습니다.
2) 트리뷰널은 게임 내에서 최악질의 플레이어들을 재활시키는데 (혹은 제거하는데) 굉장한 효율을 발휘한다. 하지만 북미 서버의 경우, 이들은 플레이어들의 2%를 차지한다. 라이엇이 과연 최악질의 2%를 처벌하는데 자원을 계속 집중해야 할까?
트리뷰널 같은 시스템에서 일하다 보면 수확 체감의 법칙을 실감하게 됩니다. 80%의 악성 유저들을 걸러내는데는 별로 큰 노력이 필요치 않았습니다. 하지만 나머지 5%를 찾아내는 건 10배의 시간과 노력을 필요로 합니다. 가장 밑바닥 유저들을 찾아낼려면 개발 자원의 100배를 더 필요로 할 지도 모릅니다.
3) 트리뷰널 유지의 기회 비용은 뭘까?
트리뷰널은 높은 정확도와 낮은 잘못된 처벌율을 가지고 있습니다. 이것은 채팅 내에서의 인신 공격을 상당히 잘 해결하지만 고의적 피딩과 교묘한 게임 내에서의 트롤링에 관해서는 별 효력을 발휘하지 못합니다. 몇주동안 (사실 몇달입니다) 의 조사를 통해 저희는 게임 내에서의 모든 상상 가능한 행동 문제를 살펴봤고 보다 더 많은 플레이어들에게 영향을 끼칠 수 있는 문제들의 해결에 착수하고, 그리고 더욱더 큰 문제들을 해결하고 수확체감의 법칙을 체감조차 하지 않았습니다.
현재 저희가 직면한 문제중 하나는 밴 말고 다른 대안을 찾는 일입니다. 이건 굉장히 크고 중요한 문제입니다. 저희는 플레이어들을 밴하는 게 완벽한 해결책이 아니라는 걸 알고 있습니다. 어떤 이들은 밴을 당한 후 계정을 새로 만들어 트롤링을 계속하곤 하죠. 이건 트리뷰널의 효율성을 저희가 개선하는만큼 커져만가는 문제입니다. 이게 바로 저희가 PBE에서 채팅 차단 모드를 실행하는데 하나의 팀 전부를 쏟아붇고 있는 이유입니다.