엔비디아 대표 상품 ‘H100’이 여전히 잘 팔리는 이유🔥

당신의 클라우드 ‘원픽’ 뉴스레터, 베스픽입니다 🙂
매주 새로운 소식으로 찾아뵙겠습니다.

👍 베스픽의 원픽

엔비디아 대표 상품 ‘H100’이 여전히 잘 팔리는 이유🔥

안녕하세요, 구독자 여러분.
기업의 AI 도입과 활용, 어플리케이션 개발 등 AI 비즈니스의 A부터 Z까지 지원하는 베스핀글로벌은 AI 산업에 대한 이슈를 계속해서 전해드리고 있습니다. 지난 2월 베스픽에서는 AI 열풍의 가장 큰 수혜주로 AI 반도체를 소개했었는데요. AI 반도체의 열기는 식기는커녕, 더 뜨거워졌습니다.

상승을 거듭한 엔비디아 주식은 4달 사이 2배 가까이 올랐고요. 시가총액 1위인 MS와 3위인 엔비디아의 차액이 크지 않은 데다(현지 시각 6/17 기준 1,110억 달러) 연일 무서운 상승세로 급등하고 있어 시가총액 1위도 거뜬할 것으로 예상하고 있습니다.

이 배경에는 엔비디아의 대표 GPU ‘H100’이 있습니다. 출시된 지 2년이 된 H100 GPU는 여전히 글로벌 AI 반도체 시장을 주도하고 있는데요. AI 기업들이 H100을 얼마나 보유하고 있는지가 경쟁력의 척도로 여겨질 정도입니다. 올해 초 메타의 CEO 저커버그는 2024년 말까지 우리 돈으로 약 14.5조 원을 들여 35만 개의 H100을 구입할 것이라고 선언했고, 일론 머스크는 지난 4월 실적 발표에서 올해 활용할 H100을 3만 5000개에서 8만 5000개로 늘릴 것이라고 밝혀 화제를 모았습니다.

이렇게 내로라하는 빅테크 기업들이 앞다투어 대량 주문을 하는 것에서 알 수 있듯, H100은 없어서 못 판다는 말이 나올 정도로 폭발적인 수요를 자랑하는데요. 오늘은 엔비디아의 주력 AI 반도체, H100에 대해 알아보겠습니다.

2022년 처음 등장했을 당시 H100은 동급 최고의 GPU로 평가되었습니다. 이전 세대와 달리, 앰페어(Ampere)가 아닌 호퍼(Hopper) 아키텍처 기반으로 설계되어 딥 러닝 모델의 훈련 및 추론을 가속화할 수 있는 Tensor Core(텐서 코어)의 성능이 더욱 향상된 것이 특징입니다. 이는 대규모 언어 모델(LLM)과 같은 작업에서 특히 역량을 발휘하는데요. H100은 이전 칩인 A100보다 LLM을 훈련할 때 4배 빠르고 사용자의 프롬프트에 응답할 때는 30배 더 빠르거든요.

하지만 엔비디아의 강점은 기술적 우위만이 아닙니다. ‘생태계’라는 단어로 요약할 수 있을 듯한데요. H100과 같은 AI GPU와 CUDA와 같은 강력한 소프트웨어 플랫폼을 결합시켜 개발자들이 엔비디아 GPU(그래픽카드)를 쉽게 활용할 수 있도록 지원하고 있기 때문입니다. 엔비디아는 반도체를 제조하고 판매하는 것만이 아니라 AI 반도체 생태계를 이룩한 것이죠.

그 결과, 출시 후 2년이 지난 지금도 H100의 파워는 여전히 유효합니다. 올 초에 H100과 동일한 GPU를 탑재하고 메모리 용량은 3배 더 큰 ‘GH200’이 나왔지만 H100은 주로 고성능 AI 모델 훈련과 추론에 집중된 반면, GH200은 다양한 데이터 집약적 작업에 적합하도록 설계되었기 때문에 LLM과 같은 대규모 모델의 훈련과 실시간 추론에는 H100이 더 유리할 수 있습니다. 

그리고 H100의 후속 세대로, 같은 호퍼 아키텍처 기반의 ‘H200’이 최근 출시되었는데요. H100보다 향상된 메모리 대역폭과 성능을 제공하는 것으로 알려졌지만 H100의 수요는 여전히 공급을 넘어서고 있습니다. 2023년 H100의 연 생산량이 55만 개였는데 올해 메타의 구입 희망 수량이 35만 개인 것만 생각해 봐도 그 수요가 얼마나 폭발적인지 단번에 알 수 있죠. 그 이유로는 일단 이미 검증된 성능과 구축된 인프라와의 호환성, 비교적 안정적인 공급망 등을 꼽을 수 있겠습니다. 그리고 H100의 가격이 H200보다 더 저렴한 것으로 알려져 있기도 하고요.그 결과, 출시 후 2년이 지난 지금도 H100의 파워는 여전히 유효합니다. 올 초에 H100과 동일한 GPU를 탑재하고 메모리 용량은 3배 더 큰 ‘GH200’이 나왔지만 H100은 주로 고성능 AI 모델 훈련과 추론에 집중된 반면, GH200은 다양한 데이터 집약적 작업에 적합하도록 설계되었기 때문에 LLM과 같은 대규모 모델의 훈련과 실시간 추론에는 H100이 더 유리할 수 있습니다.

그리고 H100의 후속 세대로, 같은 호퍼 아키텍처 기반의 ‘H200’이 최근 출시되었는데요. H100보다 향상된 메모리 대역폭과 성능을 제공하는 것으로 알려졌지만 H100의 수요는 여전히 공급을 넘어서고 있습니다. 2023년 H100의 연 생산량이 55만 개였는데 올해 메타의 구입 희망 수량이 35만 개인 것만 생각해 봐도 그 수요가 얼마나 폭발적인지 단번에 알 수 있죠. 그 이유로는 일단 이미 검증된 성능과 구축된 인프라와의 호환성, 비교적 안정적인 공급망 등을 꼽을 수 있겠습니다. 그리고 H100의 가격이 H200보다 더 저렴한 것으로 알려져 있기도 하고요.

하지만 H100만이 생성형 AI 시장을 뒷받침하는 유일한 수단일까요? 전혀 그렇지 않습니다. 정통(?)의 라이벌인 인텔이나 AMD뿐 아니라 2019년 설립된 D-Matrix(디 매트릭스) 같은 스타트업 그리고 MS, 메타, 구글, 아마존 등 엔비디아의 가장 중요한 고객사들마저 엔비디아의 독점을 깨고 AI 반도체 시장의 한 축을 차지하기 위해 치열한 경쟁을 벌이고 있는데요.

인텔은 4월에 발표한 라마2 모델로 테스트했을 때, 자사 제품인 Gaudi 3(가우디 3)가 H100보다 추론 성능은 50% 높고 전력 효율은 40% 더 우수했다고 설명했고요. AMD도 마찬가지로, Instinct MI300X(인스팅트 MI300X)가 H100보다 더 많은 메모리를 제공하고 가격도 더 저렴하다고 주장했습니다. 어느 곳이든 자사의 AI 반도체를 설명할 때 H100을 비교군으로 두고 있으니, H100이 지금 현재 가장 대표적인 AI 반도체라는 사실을 부인할 수 없을 것 같습니다. 

오늘은 이렇게 AI 산업 중에서도 가장 치열한 경쟁을 벌이고 있는 AI 반도체 분야와 그 중심에 있는 엔비디아의 AI 칩 ‘H100’에 대해서 알아보았습니다. 얼마 전 젠슨 황이 그의 시그니처인 톰 포드 가죽 재킷을 입고 참석한 ‘컴퓨텍스 2024’가 국내에서도 많은 화제를 모았죠.

이 자리에서 젠슨 황은 호퍼 이후의 아키텍처인 블랙웰 기반의 플랫폼을 공개하며, 향후 1년 단위로 계속해서 기술을 확장시켜 나갈 것이라고 말했습니다. 올 하반기에 출시될 B200은 더욱 강력한 성능을 자랑한다고 하는데요. 엔비디아의 거센 질주가 언제까지 이어질지 궁금해지는 대목이네요. 

  Sources​​

• 엔비디아 MS와 시총차 450억달러 불과, 추월 ‘카운트다운’
• What is the H100 GPU chip and why is it so important for AI?
• This microchip has cornered the generative AI market
• Nvidia’s H100 – What It Is, What It Does, and Why It Matters
• Nvidia (NVDA) H100 Chip Powers Generative AI and Lifts Stock Price
• What Is the H100 GPU Chip and Why Is It So Important for Advancements in AI?
• NVIDIA DGX™ GH200 vs DGX™ H100 for Large-Scale AI Deployments
• This microchip has cornered the generative AI market
• Nvidia dominates the AI chip market, but there’s more competition than ever

⛅ 안쓰면 클나우

기업들마다 사내 AI 교육을 어떻게 진행해야 할지 고민이 많으신데요. 베스핀글로벌 아카데미에서는 이런 기업들에게 도움이 되고자 ‘AI시대, 리더의 역할과 생성형 AI 실전 활용법’ 교육을 진행합니다.

베스핀글로벌의 AI 교육은 ‘리더 특화’ AI 과정으로 AX시대 리더의 역할과 AI 활용 스킬을 알려드리는데요. 실제 비즈니스 상황에 기반한 실습 위주의 수업으로 이루어져 현업에서 바로 적용할 수 있다는 장점이 있습니다. 함께 활용하실 수 있는 생성형 AI Toolkit도 제공됩니다.

우리 회사의 AI 역량 향상, 베스핀글로벌의 생성형 AI 교육과 함께하시면 어떨까요? 

교육 문의
academy_bgk@bespinglobal.com
070-7931-2339