젠슨 황 엔비디아 CEO는 SK 가 주최한 ‘AI 서밋 2024’ 행사에서, 사전 녹화 대담을 통해 이렇게 의견을 밝혔다.
“AI 가 발전하려면, 미래에는 더 큰 메모리 칩이 필요하다”
최근까지만 해도 AI 는 텍스트 생성 수준이었다.
그러나 이제는 방대한 문서를 분석하는 일이 많아지다보니 AI가 무엇인가 기억해 분석해야 할 일이 많아져 고대역폭 메모리인 HBM(High Bandwidth Memory)에 대한 수요가 늘어나고 있다. 특히 젠슨 황 CEO는 대담에서도 SK하이닉스를 향해 “좀 더 차세대 모델을 빨리 만들라”고 재촉하는 모습도 보였다.
Q. 새로운 메모리 기술에 대한 연구가 있나요?
A. 네, 새로운 메모리 기술 개발은 매우 활발합니다. 특히 SK하이닉스와의 파트너십에서 상당한 혁신이 이루어졌습니다. 이제 컴퓨팅의 본질이 코딩에서 머신러닝으로 크게 전환된 만큼, 이에 따라 새로운 메모리 기술이 필요해졌습니다. 과거 코딩을 통해 작성된 소프트웨어가 대부분 직렬적으로 작동했던 반면, 이제는 머신러닝 알고리즘이 다중 병렬 처리가 필요하죠. 이런 변화는 메모리 구조와 효율성에서 많은 혁신을 요구합니다.
Q. HBM이 중요한 기술인가요?
A. 그렇습니다. HBM은 현대 컴퓨팅에서 아주 중요한 기술입니다. 코딩 중심에서 머신러닝 중심으로 넘어가면서 메모리 대역폭의 중요성이 더욱 커졌는데, 이는 컴퓨팅 아키텍처의 근본적인 변화를 의미합니다. 특히 SK하이닉스와 함께한 HBM 메모리는 무어의 법칙을 뛰어넘는 중요한 진보를 만들어냈습니다. 더 적은 메모리로도 높은 에너지 효율성을 달성했으며, 컴퓨팅 처리 능력도 비약적으로 향상되었습니다.
# 무어의 법칙
반도체 집적 회로의 성능이 약 18개월마다 두 배로 증가한다는 법칙.
1965년 인텔의 공동 창업자 고든 무어가 처음 제안했다.
Q. 앞으로 메모리 기술에는 어떤 점이 더 필요할까요?
A. HBM 메모리의 개발과 출시 속도는 지금도 매우 중요하지만, 앞으로는 더 많은 대역폭과 더 큰 에너지 효율성이 요구될 것입니다. 특히 방대한 양의 데이터를 처리하는 인공지능 시스템에서는 컨텍스트 메모리가 필수적이죠. 초기 AI 모델은 주로 텍스트 생성에 집중했기에 상대적으로 메모리 요구량이 적었지만, 요즘은 검색과 학습 능력을 높이면서, 관련 정보를 실시간으로 처리하는 기술이 필요해졌습니다. 이와 같은 이유로 MoE(Mixture of Experts)나 RAG(Retrieval-Augmented Generation) 모델들이 등장하게 되었습니다. 현재 AI 컨텍스트 메모리는 점점 더 거대해지고 있는 추세입니다.
# MoE/Mixture of Experts
MoE는 여러 개의 전문가 모델 중 특정 입력에 가장 적합한 모델을 선택하여 학습과 추론을 수행하는 기법. 모든 AI가 동시에 활성화되지 않기 때문에, 연산비용을 낮추는데 적합하다.
# RAG/Retrieval-Augmented Generation
RAG는 정보를 검색해 답변을 생성하는 AI 모델. 질문을 받으면 먼저 외부 지식베이스나 문서에서 관련 정보를 찾아오고, 그 정보를 바탕으로 답변을 생성하는데, 학습하지 않은 정보도 실시간으로 활용할 수 있는 장점이 있다.
Q. 구체적으로 어떤 의미인가요?
A. 간단히 말해, AI가 모든 정보를 미리 학습해 두는 대신, 필요한 정보를 추론 시점에서 바로 불러오는 구조로 바뀌고 있다는 뜻입니다. 이를 위해 방대한 양의 데이터를 다룰 수 있는 메모리가 필요합니다. 이렇게 확보된 데이터와 지식은 시스템 메모리에 저장되어 있어, 사용자가 원하는 정보를 실시간으로 AI와 소통하며 불러올 수 있게 됩니다. 이제는 AI 모델이 대화나 사고의 맥락을 이해하고 연결 지을 수 있는 방식으로 점점 확장되고 있는데, 이러한 변화를 실현하려면 훨씬 더 많은 메모리가 필요합니다.
Q. 엔비디아한테 파트너십은 어떤 의미를 갖고 있나요?
A. 엔비디아는 컴퓨팅 플랫폼 기업으로서, 우리가 직접 제품을 설계하고 개발하는 것에 큰 강점이 있습니다. 이를 위해 구글과 같은 기업과도 협력하여 GCO에 통합되도록 하고 있죠. 특히 SK하이닉스는 여러 세대의 컴퓨팅 아키텍처와 고대역폭 메모리를 구축하는 데 있어 중요한 파트너입니다. 시스템 아키텍처 레벨에서 엔비디아와 SK하이닉스는 긴밀하게 협력하고 있습니다. 또한, 우리는 어떤 회사보다도 많은 인력을 텐서플로우에 투입하여 GPU에서 효율적으로 작동하도록 지원했습니다.
Q. 서비스 측면에서는 어떤 기업들과의 협업이 효과적인가요?
A. AI 생태계에서 API는 단독으로 만들기 어렵습니다. 스파크(Spark)와 같은 솔루션이 생태계 내 협업을 촉진하는 데 큰 역할을 했습니다. 엔터프라이즈 AI 측면에서는 서비스나우(ServiceNow)와 SAP 같은 기업들이 실제적인 변화를 이끌어가고 있습니다. 생태계 파트너와의 협력은 엔비디아 플랫폼의 강점을 최대한으로 끌어올리는 데 매우 중요한 역할을 합니다.
'돈이 되는 경제 이야기' 카테고리의 다른 글
미국 과학기술계와 AI 업계는 트럼프 재선을 어떻게 평가할까? (22) | 2024.11.27 |
---|---|
비트코인 등 가상자산 세금 부과, 한번에 정리~! (20) | 2024.11.25 |
엔비디아의 적수는 누구일까? 정답은? 바로 고객들~! (16) | 2024.11.22 |
TSMC 가 추진중인 오픈 이노베이션 플랫폼(OIP), TSMC도 이제 플랫폼 기업이다. (1) | 2024.11.21 |
소형 모듈 원자로 선도기업 테라파워, AI 전력 공급 우리가 해결하겠다! 크리스 레베스크 CEO 연설 요약 (10) | 2024.11.19 |
AI 투자, 피크아웃은 아직 오지 않았다? (9) | 2024.11.18 |
AI 다음으로 세상을 변화시킬 기술은 바로 양자컴퓨터 (11) | 2024.11.16 |
TSMC 모리스 창, 반도체 자유무역은 죽었다. TSMC 엄중한 도전에 직면하다 (2) | 2024.11.14 |
댓글