[지식] 구글 TPU 아직 쨉 안됨

엔비디아 주식 5년넘게 하다 AI 약간 전문가된 AI 아저씨입니다.

최근 구글 제미나이 3.0이 너무 좋아 구글 TPU가 뜨고 있고 엔비디아는 죽고 구글이 역전한다는 소리가 자주 들려 실상을 그렇지 않다고 알려드리려 합니다. 저번 글에 욕을 많이 먹어 슬프기도 합니다. ㅜ.ㅜ

1. 구글 TPU는 엔비디아의 대항마가 아니고 엔비디아 매출의 최대 10%를 대체한다는게 목표입니다(구글이 한말임). 엔비디아가 현재 시장의 90% 이상을 먹고 있으니 구글이 아무리 노력해도 엔비는 80%로밖에 안떨어지기에 단기간내에는 큰 경쟁자가 아닙니다.

2. AI 메인 개발 프레임웍은 CUDA이고 엔비디아 GPU에서만 작동.

  하지만 CUDA는 C++로 되어있고 사용하기가 좀 어려워 보통은 좀더 대중적인 고수준 프레임웍인 Pytorch, 텐서플로우 등을 이용해서 간접적으로 접근합니다. 

  - 이 중 Pytorch로 거의 일원화가 되어 있는데 Pytorch는 CUDA 네이티브가능해 성능 손해 거의 없음.

  - 구글TPU는 점유율 매우 적고 기능이 부족한 텐서플로우와 JAX/XLA 프레임웍을 사용해야만 해서 성능과 기능면에서 10~20% 손해를 안고 시작.

저 같아도 Pytorch와 CUDA를 쓰지 점유율로 작고 기능도 부족한 텐서플로우와 JAX/XNA로는 안하고 싶을듯 싶습니다.

3. 구글 TPU가 엔비디아보다 50%이상 가격이 싸다는 말도 있던데 사실과 다릅니다. 사실 엔비디아 장비가 다른회사 장비보다 훨씬 비싸지만 성능이 훨씬 좋다면 어느것을 살까요? 그래서 엔비디아 장비가 가성비 장비가 됩니다.

루머이지만 엔비디아 1대 성능을 구글TPU 3대 썼다는 말도 있습니다. 그만큼 엔비디아 장비가 아직 월등하다는 말이지요.

4. AI는 학습(훈련)과 추론 2가지 분야가 있는데 학습 단계는 고성능이 필요하며 학습데이터를 만든다음 그데이터를 이용해 소비자에게 서비스하는 추론이 있습니다. 추론은 학습만큼 고성능이 필요하지 않으며 그로 인해 전력도 휠씬 적게 먹습니다. TPU가 엔비디아의 1/10 ~ 1/15정도 된다고 호들갑 떠는데 현재도 추론은 학습의 1/10정도 전력밖에 안먹습니다.

5. 하지만 구글TPU가 요번에 충격을 줬던 이유는 기존에는 학습에는 무조건 엔비디아 장비로 해야 했는데 최근에는 TPU로도 학습을 했다는 것때문입니다. 하지만 TPU3개를 붙여 엔비디아 1대 성능을 냈다고 해도 어쨌든 해냈다는 것때문에 높은 평가를 받는 것입니다. 애초부터 TPU는 추론목적으로 개발된것인데 점점 업그레이드하여 학습쪽도 적용해보고 어 되네.. 라는 정도입니다.

6. 다른 회사에서도 구글 TPU를 쓴다는 것은 당장은 큰 효과를 없을 것입니다. 여전히 학습은 엔비디아로 할것이고 그나마 추론 분야에서도 구글업무에 특화된 TPU가 그 회사에서도 맞을지 확인해보는 단계가 필요하기 때문입니다. TPU는 구글에 특화된 업무(검색 등등)위주로 개발된 반도체(ASIC)이고 그 장비를 가지고 자기 회사 환경에 맞게 또 커스터마이징(nvlink, network등등)하는데 쉽지는 않을거 같습니다. AMD도 nvlink를 구현못해서 그동안 빌빌댔던거였습니다.

ASIC은 원래 특화된 분야에 맞게 개발하는 반도체입니다. 

하지만 장기적으로 엔비디아에 가격 협상 카드는 충분히 될것이고 테스트해보다가 잘 조정되면 호박이 넝쿨째 굴러 들어오는것이기에 충분히 시도해볼만 할것입니다. 

 

7. 사실 빅테크 회사들은 다 자체칩 개발중인데 굳이 구글 TPU를 왜 도입할려고 하는가 하면 엔비디아 이외의 자체칩 준비중인 회사들은 아직 업무 도입 완성도가 안되기에 과도기적으로 할려는 목적도 있습니다.

8. 앞으로 학습과 추론은 2:8 정도로 추론이 압도적으로 커질 예정이며 성능이 좀 떨어져도 되는 추론이다 보니 엔비디아와 경쟁할 분야는 거의 추론쪽입니다. 내년 이후에는 구글 TPU말고 다른 회사의 자체 AI칩들이 하나둘씩 나올것이고 그 때되면 제글을 기억해주세요.

엔비디아 주주지만 제가 억지로 엔비 감싼다고 뭐 효과가 있겠습니까. 다른분들께 보다 올바른 정보를 알려드리려 글을 쓰는것이지요. 시간들여서 썼는데 욕먹으면 가슴아픕니다. 비난은 자제좀요.