[이슈] PS5가 로컬 AI 서버로? 탈옥 콘솔서 큐원 27B 초당 20토큰 기록

▲ PS5LM 프로젝트 페이지 (출처: PS5LM)

탈옥한 플레이스테이션 5(PS5)에서 대규모 언어 모델(LLM)을 직접 구동하는 오픈소스 프로젝트 PS5LM이 화제가 되고 있다. 개발자 메르트 초바노프가 10월 공개한 이 프로젝트는 AI 추론 엔진 llama.cpp를 PS5로 옮긴 것으로, 콘솔 자체 CPU에서 AI 모델을 실행하고 PS5 브라우저와 듀얼센스로 채팅할 수 있다.

공식 프로젝트 페이지에 따르면 대상은 펌웨어 7.00~13.60에서 브라우저 취약점으로 탈옥한 PS5다. 현재 공개된 v0.1은 '페이로드' 방식으로 동작해 1.6GB 이하의 작은 모델만 다룰 수 있다. 라이선스는 GPL-3.0이다.

화제가 된 것은 다른 개발자가 제출한 개선판이다. 네이티브 앱 방식으로 약 11.4GB의 메모리와 GPU를 쓰게 하면서, 2비트 수준으로 양자화한 큐원 3.8 27B 모델이 초당 약 20토큰을 기록했다. 더 가벼운 라마 3.2 3B는 초당 124토큰까지 나왔다. 다만 이 개선판은 아직 PS5LM 본체에 합쳐지지 않았다.

모델을 크게 압축해야 해 답변 품질이 떨어질 수 있고, 탈옥은 보증 무효와 온라인 이용 제재로 이어질 수 있다. 한편 같은 시기 탈옥 PS5용 불법 게임 배포 앱도 등장해 논란이 일었으며, 소니의 법적 대응 여부를 두고는 엇갈린 이야기가 나오고 있다.

출처: PS5LM

참고: WCCFTech