기업들이 AI 활용을 확대하면서 토큰 종량제 비용이 예상보다 급증해 AI 전환의 핵심 부담으로 떠오르고 있습니다.
우버는 AI 코딩 도구 사용량이 폭증해 연간 AI 예산을 4개월 만에 소진했고, 토큰 사용 제한 조치를 시행했습니다.
AI 활용 범위가 빠르게 넓어지면서 기업들은 사용량과 비용을 예측하기 어려워 예산 관리에 어려움을 겪고 있습니다.
비용 절감을 위해 기업들은 중국산 오픈소스 AI와 작업 난이도에 따라 모델을 자동 선택하는 AI 라우팅 서비스를 적극 도입하고 있습니다.
오픈 라우터에서는 오픈소스 AI 토큰 처리 비중이 1월 34%에서 6월 65%로 증가했으며, 인기 모델 상위권은 모두 중국산 AI가 차지했습니다.
중국산 AI는 미국 프리미엄 AI보다 최대 20배 이상 저렴하면서도 성능 격차가 크게 줄어 비용 효율성이 높다는 평가를 받고 있습니다.
다만 보안과 데이터 유출 우려가 있어, 단순 업무는 저가 AI를 쓰고 핵심 업무는 고성능 AI를 사용하는 하이브리드 전략이 대안으로 주목받고 있습니다.