세계 최고의 반도체 회사는 왜 '엑셀 대신 AI'로 부품을 나눴나
엔비디아는 지금 지구에서 가장 몸값 비싼 회사다. 그런데 이 회사의 골칫거리는 의외로 초등학교 산수에 가깝다. "부족한 부품을 어느 공장에 얼마씩 나눠줄까."
AI 서버 한 대(엔비디아 GB200 랙)를 만들려면 부품 수백만 개가 필요하다. 그중 하나라도 늦게 도착하면, 먼저 온 값비싼 부품들은 창고에서 하염없이 기다린다. 문제는 어떤 부품이 부족한지가 매주 바뀐다는 것이다. 이번 주엔 GPU가 모자라고, 다음 주엔 메모리가, 그다음 주엔 특정 나라 공장의 여력이 없다. 그래서 엔비디아 직원들은 매주 손으로 이 배분을 다시 짠다. 마치 매주 새로 짜는 좌석 배치표처럼.
이 지루하고 거대한 문제를, 엔비디아는 데이터 분석 회사 **팔란티어(Palantir)**와 손잡고 AI에게 맡기기 시작했다. 지난 9월 10일 양사가 공동 발표한 내용이다. 낯선 이름들이 나오니 하나씩 풀어보자.
1단계: 흩어진 정보를 한 지도에 모은다
첫 번째 문제는 정보가 사방에 흩어져 있다는 것이었다. 재고 현황은 이 시스템에, 공장 여력은 저 파일에, 공급업체와 주고받은 이메일은 또 누군가의 메일함에.
팔란티어가 만든 것은 이 모든 걸 하나로 잇는 **'디지털 지휘본부'**다. 팔란티어는 이 구조를 온톨로지(Ontology)라고 부르는데, 쉽게 말하면 회사의 현실을 그대로 본뜬 디지털 쌍둥이 지도다. 부품·공장·주문·재고가 표의 칸이 아니라 서로 연결된 점과 선으로 그려져 있어, "이 부품이 늦으면 어느 공장이 멈추는가"를 한눈에 따라갈 수 있다.
2단계: 계산기로 최적의 답을 뽑는다
그다음은 순수한 계산 문제다. 부품이 이만큼 있을 때 어디에 얼마씩 보내야 전체 대기 시간이 가장 짧아질까. 엔비디아는 자사의 계산 엔진(cuOpt)으로 이 방정식을 푼다.
흥미로운 건, 이 계산기가 답만 주지 않는다는 점이다. **"이번 주 발목을 잡은 건 메모리 부족이 아니라 대만 공장의 여력"**이라는 식으로, 무엇이 진짜 병목인지까지 짚어준다. 덕분에 직원은 "메모리가 10% 줄면?", "새 공장이 문을 열면?" 같은 가정을 즉석에서 돌려볼 수 있다.
3단계: 그런데 사람이 계산기를 이겼다
여기서 반전이 나온다. 엔비디아가 과거 기록을 되짚어보니, 베테랑 직원의 직감이 정밀한 계산기보다 더 나은 결정을 내리고 있었다.
이유는 단순하다. 계산기는 숫자만 본다. 하지만 사람은 그날 공급업체와 주고받은 이메일, 태풍 예보, 지정학적 뉴스, 통화에서 느낀 낌새까지 종합해서 판단한다. 계산기가 볼 수 없는 '맥락'을 사람이 읽고 있었던 것이다.
그래서 엔비디아는 마지막 단계로, 이 베테랑의 판단 자체를 AI에게 가르쳤다. 직원이 어떤 결정을, 왜 내렸고, 결과가 어땠는지를 전부 기록해 자사의 AI 모델(Nemotron)을 훈련시켰다. 그 결과 이 특화 모델은 훨씬 덩치 큰 범용 AI보다 배분 결정을 잘 맞혔다고 한다(자체 시험 기준 정확도 86.7% 대 55.5%).
그래서 무엇이 새로운가 — 그리고 무엇을 의심해야 하나
이 사례의 진짜 메시지는 '작은 전문 AI가 큰 범용 AI를 이겼다'가 아니다. 회사 안에 흩어져 있던 베테랑의 암묵지(暗默知)를, 사라지지 않고 계속 쌓이는 자산으로 바꿨다는 점이다. 직원이 퇴사해도 그 판단의 노하우는 남고, 신입은 그 위에서 시작한다.
다만 냉정하게 볼 대목도 있다.
첫째, 이건 검증된 연구가 아니라 두 회사의 공동 홍보물이다. 엔비디아는 외부에 팔기 전 자기 회사에 먼저 써본 것이고, 팔란티어에겐 "세계 최고 반도체 회사도 우리 걸 쓴다"는 최고의 광고다. 양사는 계약 규모도, 실제로 대기 시간이 얼마나 줄었는지도 공개하지 않았다.
둘째, 86.7%라는 숫자는 실전 성적이 아니라 개발 단계의 시험 점수다. 게다가 결정 종류별로 고르게 따지면 점수가 절반 수준으로 떨어진다. 자주 나오는 '감축' 결정은 잘 맞히지만 드문 결정은 못 맞힌다는 뜻이다. 정작 값어치가 큰 '미래 생산 위험 예측'은 여전히 어렵다고 그들 스스로 인정했다.
셋째, 핵심 성과 지표가 빠졌다. 제목은 '웨이퍼에서 첫 토큰까지의 시간 단축'인데, 정작 그 시간이 며칠에서 며칠로 줄었다는 숫자는 글 어디에도 없다. AI 정확도만 자랑할 뿐이다.
정리하면, 방향은 옳고 틀은 매력적이다. 사람의 판단을 데이터로 붙잡아 조직의 자산으로 만드는 접근은 반도체를 넘어 물류·제약·행정 어디에나 적용될 수 있다. 하지만 "그래서 실제로 얼마나 빨라졌는가"라는 가장 중요한 질문에는, 아직 두 회사 모두 답하지 않았다.
https://developer.nvidia.com/blog/from-wafer-out-to-first-token-codifying-supply-chain-expertise-with-nemotron-and-palantir-foundry/#이런 고빈도 반복 의사결정하는곳은 다음과 같다
• 자재 배분·생산 계획 — 엔비디아 사례 그대로. 매주 어느 공장에 얼마를 보낼지, 출하 실적이 결과.
• 수율 관리·불량 판정 — 반도체·디스플레이 라인의 검사 판정. 초고빈도이고 후속 공정에서 진짜 불량 여부가 확인됨. 검사원의 "이건 찝찝한 패턴"이라는 감각이 정성 신호.
• 설비 예지정비 — 언제 멈추고 부품을 갈지. 실제 고장 여부가 결과. 현장 기술자의 소음·진동 감각을 코드화하는 전형적 사례.
• 공급업체 리스크 평가 — 어느 협력사에 발주를 몰아줄지. 납기 준수율이 결과, 업체와의 통화·현장 방문 인상이 정성 신호.
물류·운송
• 항공기 정비·기재 배정, 선박 항로·기항 순서 — 지연·결항이 결과.
• 택배 라우팅·기사 배차 — 하루 수백만 건, 배송 완료 시간이 결과.
• 항만 야드 배치 — 컨테이너를 어디 쌓을지, 반출 시 재취급 횟수가 결과.
에너지
• 전력 급전(給電) 순위·발전기 기동 결정 — 15분~1시간 단위 반복, 수급 균형과 비용이 결과. 계통운영자의 "이 날씨엔 태양광 예측이 어긋난다"는 감이 정성 신호.
금융·유통
• 트레이딩 리스크 한도 배분, 사기거래 탐지 — 초고빈도, 손익·확정 사기 여부가 결과.
• 수요예측·발주·가격 책정 — 소매 매장 단위 매일, 판매·폐기가 결과. 팔란티어가 로우스(Lowe's)와 이미 하는 일.
• 매장 인력 배치 — 시간대별 매출·대기시간이 결과.
농업·의료
• 관개·시비·수확 시점 결정 — 작황이 결과. 팔란티어가 공급망 스택 적용 대상으로 농업을 명시한 이유.
• 병원 병상·수술실 배정, 응급실 트리아지 — 대기시간·재입원율이 결과.