[수다] 경매장 하루 검색 100회 크롤링도 문제인 이유.txt

100회 크롤링 한걸로 뭔 부하가 오냐 라는 의견이 있어서 정리해줌

현재 메이플 웹 경매장 시스템은 " 하루 100회 " 라는 검색 횟수를 제공 해주고 있음

그럼 단순하게 생각하면 이게 100개 검색하면 끝 아니야? 라고 생각할수 있는데

절대 그렇지 않음

검색 후 ' 페이지를 넘기는 것 ' 에 대해서는 제한이 없음

이게 무슨 말이냐면 

1회 검색시 총 10000개까지의 결과 까지 조회 할수 있는 상황이 되어버림

이론상 100만개의 아이템 정보를 수집 할 수 있다는것

일반적으로 정상적인 사용을 하는 유저는 절대 저렇게 검색 할일도 없고

보통 필터를 사용해서 최소한의 검색만 하는게 일반적인 이용수준임

근데 거기서 몇만건 몇십만건 이렇게 수집해가면 

일반적인 유저의 몇백배 몇천배에 해당하는 조회를 하게 되는것이고

이게 당연히 정상적인 트래픽을 만들어낼리도 없음

이렇게 되면 경매장 서버에 부하를 주는건 일단 당연한 첫번째 문제임

그리고 저런 크롤링을 이용하는 개발물이 과연 저게 끝일지

이번에 만든게 문제가 없다는 등 넘어가서 또 다른 제2 제3의 비슷한 개발물들이 생기고 그게 쌓이면 과연 가벼운 문제일까 의문

만약 넥슨이 이걸 막겠다고 갑자기 페이지 조회 제한을 두거나 검색 방식 횟수를 주는 방식을 더

타이트 하게 잡아버리면 " 정상적인 유저 "들까지 불편함이 더 생길수도 있는 상황도 가능성이 있음