“AI 슈퍼컴퓨팅이 GPU를 넘어선 가속 컴퓨팅 플랫폼으로서 새로운 산업혁명의 핵심 인프라가 될 것”

10일 서울 롯데호텔에서 열린 ‘2025 인공지능반도체 미래기술 컨퍼런스’에서 정소영 엔비디아코리아 대표는 ‘AI Supercomputing for New Industrial Revolution’을 주제로 기조 발표를 진행했다.

정소영 대표는 엔비디아가 단순한 GPU 제조사를 넘어 ‘가속 컴퓨팅 플랫폼 기업’으로 자리매김하고 있음을 강조하며, AI 슈퍼컴퓨팅이 다가올 산업혁명의 핵심 인프라가 될 것이라고 전망했다.

정소영 대표는 “많은 사람들이 엔비디아를 GPU 회사로만 알고 있지만, 실제로는 GPU·CPU·네트워킹·소프트웨어까지 아우르는 가속 컴퓨팅 플랫폼 기업”이라며 “데이터가 폭발적으로 증가하는 시대에 기존 레거시 데이터센터만으로는 한계가 있으며, 이를 해결하기 위해 엔비디아는 AI와 HPC(고성능 컴퓨팅) 등 난제를 풀 수 있는 새로운 플랫폼을 구축하고 있다”고 밝혔다.

그는 특히 AI를 단순한 알고리즘 연산 가속기가 아닌 새로운 소프트웨어 개발 방법론으로 규정했다.

기존 소프트웨어가 알고리즘 정의와 프로그래밍을 통해 구현됐다면, AI는 데이터 수집·모델 학습·최적화·서비스 제공이라는 전혀 다른 개발 패러다임을 따른다는 점을 강조했다.

정소영 대표는 AI를 ‘새로운 가치 창출 산업’으로 정의하며, 엔비디아가 제시하는 ‘AI 팩토리’ 개념을 소개했다.

전통적인 공장이 원자재와 노동력을 통해 제품을 생산했다면, AI 팩토리는 전기와 데이터를 통해 ‘지능(Intelligence)’을 생산하고 이를 산업 전반에 접목해 부가가치를 창출한다는 것이다.

이를 뒷받침하는 대표적 사례로 그는 GB200 NVL72 슈퍼컴퓨터를 언급했다.

이 시스템은 72개의 GPU를 NV링크와 인피니밴드 네트워크로 연결해 하나의 거대한 가상 컴퓨팅 자원처럼 동작한다.

단순한 하드웨어 집합이 아니라, 각 산업 도메인별로 최적화된 CUDA-X 라이브러리를 제공해 AI·양자컴퓨팅·EDA·통신·미디어 등 다양한 분야에서 활용될 수 있도록 설계됐다.

정소영 대표는 AI 발전의 핵심 원리로 스케일링 법칙을 꼽았다.

많은 데이터, 큰 모델, 강력한 컴퓨팅 자원이 결합할수록 AI 성능은 비약적으로 향상된다는 것이다.

초기에는 대규모 인프라 투자가 주로 파운데이션 모델 학습에 집중됐지만, 최근에는 프리트레이닝뿐 아니라 파인튜닝·디스틸레이션·퀀타이제이션 등 포스트 트레이닝 단계에서도 막대한 컴퓨팅 자원이 요구되고 있다고 설명했다.

또한 생성형 AI가 단순 질의응답을 넘어 추론(reasoning) 기반 문제 해결로 진화하면서 인퍼런스 단계에서도 막대한 자원이 필요해졌다고 지적했다.

정소영 대표는 “인퍼런스는 더 이상 가벼운 작업이 아니다. 서비스 규모와 복잡성이 커지면서 오히려 트레이닝보다 더 복잡한 인프라 문제를 야기한다”고 강조했다.

최근 AI 연구의 핵심 트렌드로 그는 MoE(Mixture of Experts) 모델을 꼽았다.

MoE는 수십억∼수천억 개 파라미터를 가진 초대형 모델임에도, 실제 인퍼런스 단계에서는 필요한 전문가 모듈만 활성화해 효율성을 높일 수 있는 구조다.

반면에 이러한 장점에도 불구하고 MOE 모델은 분산 서빙과 메모리 레이턴시 문제 등 새로운 기술적 도전을 안고 있다.

정소영 대표는 NVL72 슈퍼컴퓨터가 이러한 문제 해결에 최적화된 플랫폼임을 강조했다.

NV링크 기반의 초고속 인터커넥트가 MOE 모델의 분산 서빙에서 발생하는 병목을 최소화해 기존 H200 대비 최대 10배 성능을 제공한다는 것이다.

실제로 엔비디아는 라마(LLaMA) 3.1 모델을 NVL72 기반으로 서빙해 성능을 50% 이상 향상시킨 결과를 공개했다.

정소영 대표는 “강력한 AI 컴퓨팅 플랫폼을 통해 인퍼런스 비용은 점점 낮아지고 있으며, 이는 더 복잡하고 고도화된 AI 서비스 개발을 촉진하는 선순환 구조를 만든다”고 말했다.

최근에는 단순 텍스트 생성에서 벗어나 고해상도 영상·이미지 생성, 대규모 코드 작성 등 훨씬 무거운 워크로드가 등장하고 있으며, 이에 맞는 최적화 기법이 필수적이라고 덧붙였다.

정소영 대표는 “AI 슈퍼컴퓨팅은 단순히 기술적 진보를 넘어 새로운 산업혁명의 기반”이라며, 한국 기업들도 이러한 패러다임 전환에 적극적으로 참여해야 한다고 강조했다.