[지식] 구글 TPU 아직 쨉 안됨 Ver2

저의 이전글 구글TPU아직쨉안됨(https://www.inven.co.kr/board/webzine/2097/2573910?cmt=43768003)에 관해 반박과 비난이 많아 추가글 입니다.

칭찬과 비난 모두 감사드립니다. 관심이 있으니까 해주신것으로 압니다.

이해를 돕기 위해 약간의 왜곡과 생략은 있습니다. 반박시 님말이 맞음.

반박하신 분들의 여러가지 의견이 있지만 큰 틀에서 5가지만 얘기하려합니다.

각자 의견 반박해도 똑같은 말 계속 올라옴. 개별 반박 포기.

1. 구글 TPU가 엔비디아보다 10배 더 좋아도 생산을 그만큼 할수 없음.

  TSMC가 엔비디아와 TPU를 모두 생산하는데 5대고객(애플, 엔비디아, 브로드컴, AMD, 미디어텍)꺼를 우선 생산. 구글조차도 TSMC 입장에서는 쩌리 고객임. 게다가 TPU는 또 브로드컴을 통해 우회 생산하므로 원하는만큼 늘릴수가 없음.

  TSMC의 최근 2~3년대 생산량은 이미 정해져있고 엔비디아조차 추가 생산요청해도 들어줄까 말까. 생산공장 단기간내 증설 불가 때문. 또한 공장 증설을 완료했다고 해도 엔비디아껄 먼저 만들어주지 쩌리 TPU를 만들어줄까요?

2. TPU는 ASIC입니다. ASIC은 특정한 업무에 최적화한 반도체입니다. 

   TPU   : 본인회사 특정업무(예:검색)에서 맞게 개발되어졌고 해당 업무에 100% 효율. 제미나이도 이것에 최적화.

   엔비디아 : 범용. 세상 대부분 업무에 80~90% 효율. 하지만 호환성 좋음

   다른 회사들이 TPU를 가지고 와도 본인 회사 업무에 최적화한 반도체가 아니라서 또 시행착오를 겪어야 하므로 대체로 범용인 엔비디아 꺼가 유리하지 않을까요?

   당장 얼마전 우리나라에서 엔비디아 26만장 때문에 난리난적이 있었는데 그게 아니고 TPU 26만장이라고 바꿔 말해 봅시다. TPU인 ASIC을 우리나라에 맞게 최적화할수 있는지 검증하고 하는 데 상당시간 소비할것이기에 일선 AI개발자, 연구자들도 엥? 하지 않을까요?

3. AI개발은 Pytorch-> CUDA -> 엔비디아 GPU 를 이용하는게 대부분.

   반면에 구글꺼는 텐서플로우/JAX -> TLA -> TPU 를 사용해야 하는데 개발자가 소수.

   구글 TPU를 도입해도 개발자의 역량을 키우는데 시간이 필요한 만큼 개발환경도 불리합니다.

4. 그럼 왜 TPU를 다른 회사들이 도입함? 모든 회사들은 엔비디아의 비싼 가격을 피하고 싶은 바람이 존재.

  대부분 빅테크 회사들은 자체 칩을 생산하고 있어서 사실 TPU조차 직접적인 경쟁상대이지만 도입하려는 몇가지 이유가 있습니다.

  - 메타 : 본인회사 MTIA 칩이 아직 완성도가 부족해 과도기적으로 훈련은 엔비디아 / 추론은 구글TPU를 사용.

  - 엔트로픽 : 대부분 회사는 파이토치 위주인데 여기는 JAX와 파이토치 2개의 하이브리드 환경임. 그래서 훈련은 아마존꺼, 추론은 TPU를 사용하려는 의도이기에 TPU도입해도 다른 회사와 상황이 틀림.

   

5. 엔비디아 점유율은 현재 90%이상인데 경쟁상대들의 자체칩들이 비리비리해서 현재까지는 효과가 없었습니다. 하지만 앞으로는 점유율이 계속 내려가는것은 기정사실. 엔비디아도 알고 있고 몇년전부터 준비해왔습니다. 특히 추론시장 약점이 커 계속 대비하고 있습니다. 전력효율, 가격, 케파 등등

요약

TPU는 엔비디아의 당장의 대체제가 아니고 수많은 자체칩 대항마들이 첫번째 주자. 몇년안에 TPU이외의 수많은 자체칩들이 나와 엔비디아의 경쟁자들이 될것이며 점유율은 계속 내려갈거임. 하지만 근 2~3년내에서는 힘들지 않을까 생각됨.

비난과 악플대신 반박의견만 부탁드립니다.

감사합니다.