엔비디아, 단순 칩 제조사 넘어 AI 인프라 기업으로 변모

지난 19일 젠슨 황 엔비디아 CEO는 오전에는 투자 애널리스트, 오후에는 기자들을 만나서 Q&A의 시간을 가졌다. 젠슨 황 CEO는 이날 엔비디아는 더 이상 칩 기업이 아니라고 말했다. 사실 그가 이런 말을 하기 시작한 것은 몇 년 전 부터였다. 황 CEO는 이렇게 말했다.

 

 

 

“엔비디아는 더 이상 칩을 만들지 않는다. 옛날에는 그랬다. 옛날에는 칩을 만들면 누군가 칩을 사서 컴퓨터에 넣고 컴퓨터를 팔았다. 좋은 시절이었다. 그러나 지금은 한 번에 수천억 달러가 투입되는 AI 인프라를 구축한다. 따라서 계획을 잘 세워야 한다.”

 

 

 

“AI 인프라는 오늘 구매를 결정하고 내일 배포하는 것이 아니다. AI 인프라는 2년전에 미리 투자하고 2년 동안 계획을 세워야 하는 것이다. 모든 국가가 협력해야 하고 전 세계에 인프라를 구축하기 위한 계획을 세워야한다.”

 

 

 

“엔비디아는 이제 칩이 아니라 AI 인프라 회사다. 우리는 AI 공장 회사다. 공장은 고객이 돈을 벌 수 있도록 돕는다는 뜻이다. 우리 공장은 고객의 수익으로 직접 연결된다.”

 

 

 

 

젠슨 황 CEO가 이런 얘기를 하는 것은 지금의 AI 연산이 커다란 데이터 센터 차원에서 이뤄지기 때문이다. 우리가 사용하는 랩탑 컴퓨터를 예로 들어보자. 랩탑에 탑재되어있는 CPU에서 AI를 작동시킨다고 해보자. 보통 AI 모델은 너무 크고 처리해야 하는 데이터도 많아서 일반적인 PC용 CPU에서는 돌아가지 않는다. 그래서 AI 연산에 특화된 GPU가 필요하고 이 GPU 하나가 아닌 여러 개의 GPU를 연결해서 쓰게 된다. 또, GPU만으로 되는 것도 아니어서 짝을 이룬 CPU가 필요하다. 게임을 하는데 그래픽카드만 있다고 되는 것이 아닌 것과 동일한 원리이다.

 

 

 

하지만 무작정 연결한다고 연산이 이뤄지는 것이 아니고 이 GPU에 데이터를 공급해줄 메모리가 있어야 하고, 우리의 랩탑이 뜨거워지는 것처럼 GPU도 뜨거워질 것이기 때문에 이를 냉각하는 장치도 필요하다. GPU와 GPU를 연결하는 케이블이 필요하고, 데이터 처리속도를 높여주는 DPU라는 반도체가 또 필요하다. 이렇게 AI 연산이 이뤄지는 하나의 독립적인 컴퓨터가 구성되는데 이것을 ‘랙’이나 ‘트레이’ 등으로 부른다.

 

 

 

이 랙을 모아서 수직으로 쌓으면 천장까지 닿는 길쭉한 모양의 컴퓨터가 만들어진다. 현재 판매되고 있는 블랙웰 GPU가 탑재된 엔비디아의 대표 컴퓨터의 이름이 ‘GB200 NVL72’ 이다. 랙 하나에 2개의 GPU가 들어가고 36개의 랙이 NV링크라는 케이블로 연결되기 때문에 NVL72라는 이름이 붙는다.

 

 

 

엔비디아가 직접 설계하고 판매하는 ‘GB200 NVL72’

 

 

 

하지만 AI 연산은 NVL72 한 대로도 끝나지 않는다. 여러 대의 서버컴퓨터를 모아서 거대한 데이터센터에 집어넣는다. 엔비디아의 경우 데이터센터에 총 3만2000개의 GPU가 들어간다. 일론 머스크의 AI 회사 xAI는 테네시주 멤피스의 자신들을 위한 데이터센터를 세웠는데, 여기에는 10만개의 H200 GPU를 사용한 것으로 알려져 있다.

 

 

 

이런 점에서 빅테크 기업이 엔비디아로부터 GPU를 10만장을 샀다고 하면 작은 GPU 칩 하나만 산 것이 아니라 10만장의 GPU를 샀고 이 10만장의 GPU가 탑재된 컴퓨터를 샀고, 데이터센터를 이 컴퓨터로 채워넣었다는 의미가 된다. 이러한 데이터센터 구축에는 엄청난 비용이 소모된다.

 

 

 

데이터센터를 구축하는 것은 과거 인텔이 CPU로 컴퓨터 업계를 호령했을 때와는 차원이 다른 큰 그림을 그려야 한다. 단순히 하나의 칩과 이것이 작동되는 PC를 고려해야 하는 것이 아니라, 컴퓨터들을 연결하고, 컴퓨터들을 데이터센터에 집어넣고, 여기에 들어가는 전력도 고려해야 한다는 뜻이다.

 

 

 

AI 연산을 위해 사용되는 데이터센터용 컴퓨터의 가상 일러스트

 

 

 

이런 점에서 엔비디아는 모든 기술 스택을 직접 만들지만 누구와도 경쟁하지 않는다는 뜻이다. 그렇다면 데이터센터에 들어가는 컴퓨터 누가 만들까? 우리가 사용하는 PC의 경우 수많은 PC 브랜드가 있다. 델, HP, 레노버, 삼성전자, LG전자 등. 하지만 이 회사들은 직접 공장을 운영하는 것이 아니고 PC 제조 전문 회사에게 위탁생산을 맡긴다. AI 데이터센터용 서버컴퓨터도 동일하다.

 

 

 

델, HPE, 레노버 같은 회사들은 AI서버컴퓨터의 최종 수요자, 예를 들자면 AWS, 마이크로소프트, 애저 같은 하이퍼스케일러의 주문을 받아서 이를 회사에 납품한다. 하지만 이들이 직접 미국에 제조시설을 가진 경우는 드물고 중국 기업에 위탁생산을 맡기는 경우가 대부분이다. 하이퍼스케일러들이 필요한 것은 결국 엔비디아 GPU이다. 이런 서버컴퓨터 제조회사들에게 엔비디아는 엄청난 갑이 될 수 밖에 없다.

 

 

 

그런데 PC의 OS 윈도우를 만드는 마이크로소프트도 직접 경쟁 제품을 만든다. 바로 서피스이다. 마이크로소프트는 서피스를 설계하지만 이를 직접 제조하지는 않는다. 엔비디아도 비슷한 방식으로 자신들이 직접 설계한 AI서버를 제조한다. 앞서 예기한 ‘GB200 NVL72’가 그런 제품이다. 이 제조를 맡기는 기업은 바로 에플 아이폰을 만드는 폭스콘이다.

 

 

 

델, HPE, 레노버 등 서버컴 회사가 만들 때 거기에 들어가는 네트워크나 냉각장치 등은 제조회사나 고객이 결정한다. 반면 엔비디아의 자체 제조 서버의 스펙은 엔비디아가 결정한다. 여기에 엔비디아가 만든 네트워크 장비와 DPU 등이 들어가게 된다. 엔비디아는 엔비디아가 직접 설계하고 모든 것을 만든 ‘NVL72’ 가 가장 뛰어난 성능의 GPU라고 주장한다.

 

 

 

 

 

GTC2025에서 공개되는 엔비디아 신제품의 모든 숫자는 이렇게 수직통합된 NVL 제품군을 기준으로 만들어졌다고 봐야 한다. 이렇다 보니 엔비디아는 경쟁자들이 많다. 먼저 자체 서버인 NVL이 협력사인 델, HPE, 슈퍼마이크로 같은 회사의 서버와 경쟁한다. 엔비디아는 이 회사들을 통해서 고객들에게 GPU를 팔아야하지만, 자체 서버를 팔수록 더 많은 돈이 남는다.

 

 

 

엔비디아는 고객들과도 경쟁한다. 가장 큰 고객인 빅테크 클라우드 회사들이 제각각 자신들만의 GPU, CPU를 만들고 자신들만의 방식으로 서버를 만들고 데이터센터를 만들고 싶어한다. 특히 올해 출시되는 블랙웰 GPU와 블랙웰 기반 데이터센터들은 여전히 일부 고객들의 신뢰를 얻지 못하고 있다.

 

 

 

이 고객들에게 엔비디아는 증명해야한다. 너희들이 직접 만든 것 말고 내가 만든 걸 쓰는 것이 사실은 남는 장사라는 것을 말이다. 다음은 젠슨 황 CEO의 말이다.

 

 

 

“엔비디아는 빅테크 기업에 비하면 직원이 3만6000명밖에 되지 않은 작은 기업이다. 그래서 우리가 해야 할 필요만 있는 것만 한다. 우리가 모든 기술영역(stack)에 진출해 있는 것은 그것이 필요하기 때문이다. 우리는 고객에게 제공할 수 있는 것을 모두 준비해놓고 거기서 나오는 가치를 얼마나 가져갈지는 고객이 선택하게 한다. 우리는 시장점유율을 빼앗기 위해 어느 기업과도 경쟁하지 않는다.”