생성형 AI 붐의 전반부는 GPU가 주도했다. 대규모 모델을 학습시키는 데이터센터 경쟁이 격화되면서 ‘AI=GPU’라는 공식이 굳어졌다. 반면에 최근 AI 산업의 무게중심이 학습(training)에서 추론(inference)으로 옮겨가고, 더 나아가 에이전트(Agentic) AI가 부상하면서 한동안 AI 반도체 시장에서 상대적으로 소외됐던 CPU가 다시 ‘핵심 자원’으로 재평가받고 있다.

AI 반도체 업계 관계자들에 따르면, 모델 성능이 일정 수준에 올라선 뒤 기업들이 관심을 두는 지점은 “누가 더 큰 모델을 학습시키느냐”가 아니라 “학습된 모델을 어떻게 현업에 배포해 지속적으로 가치를 만들 것인가”로 바뀌고 있다.

실제로 한 국내 업계 발표에서도 “작년 기준 추론 시장과 학습 시장이 거의 동일해졌고, 내년에는 추론이 더 큰 시장이 될 것”이라는 전망이 제시됐다.

이러한 흐름은 서버 시장에서도 확인된다.

AI 학습이 ‘대규모 연산’에 초점을 맞춘 반면, AI 추론은 24시간 실시간 응대, 저지연, I/O 병목 제거가 핵심이 되면서 인프라 설계의 우선순위가 달라지고 있다는 분석이 나온다.

CPU 재부상의 촉매는 ‘에이전트 AI’다.

단순한 챗봇형 생성형 AI가 ‘입력 정리(CPU)→답변 생성(GPU)→후처리(CPU)’ 흐름에 가까웠다면, 에이전트 AI는 ‘계획 수립→도구 선택→웹/DB 조회→API 호출→코드 실행→결과 검증·재시도’를 반복하며 업무를 완성하는 구조에 가깝다.

이 과정에서 작업 순서 조율과 도구 호출, 데이터 이동을 담당하는 오케스트레이션 역할이 CPU로 집중되면서 병목 지점이 GPU에서 CPU로 이동할 수 있다는 관측이 확산되고 있다.

실제로 일부 보고서는 에이전틱 워크로드가 확산될수록 데이터센터의 CPU:GPU 배치 비율이 기존(챗봇 시대) 1:4∼1:8에서 에이전트 시대 1:1∼1:2 수준으로 좁혀질 가능성을 언급하며, 같은 GPU 수를 기준으로 더 많은 CPU가 필요해질 수 있다고 지적한다.

이 같은 변화는 제품 전략에도 반영되고 있다.

넷앱(NetApp)은 인텔과 협력해 ‘인텔 제온 6 기반 NetApp AIPod Mini with Intel’을 국내에 출시하며, “과도한 인프라 투자 없이 AI를 효율적으로 활용”하고 “불필요한 기술 복잡성 없이 로컬 AI 추론 환경을 간소화”하는 데 초점을 맞췄다고 밝혔다.

해당 솔루션은 인텔 제온 6 프로세서와 인텔 AMX(Advanced Matrix Extensions)를 넷앱의 올플래시 스토리지 및 데이터 관리 기술, 쿠버네티스 통합과 결합해 AI 추론을 처리하도록 설계됐다.

현장에서 공유된 기술 설명에서도 “벡터 DB·벡터 서치 등은 CPU와 궁합이 좋고, 7B∼8B급 소형 언어모델(SLLM)은 GPU 도움 없이 CPU만으로도 프로덕션 환경에서 수행 가능”하다는 취지의 발언이 나왔다.

시장조사업체들도 ‘CPU 중요도 상승’을 별도 주제로 다룬다.

TrendForce는 2026년 4월 공개한 리서치 소개에서 에이전틱 AI 확산과 함께 AI 데이터센터에서 CPU의 중요성이 커지고 수요 구조가 변하고 있다고 언급하며, CPU 수급이 타이트해지는 현상과 경쟁 구도의 변화를 분석하겠다고 밝혔다.

또한 업계 기사들은 AI 워크로드가 추론·에이전틱으로 이동하면서 CPU:GPU 비율이 1:8→1:4로 이미 타이트해졌고, 1:1에 가까워질 수 있다는 전망을 소개하고 있다.

다만 ‘CPU 부활’이 GPU의 퇴장을 의미하는 것은 아니다.

AI 학습과 대규모 추론에서 GPU가 담당하는 행렬 연산은 여전히 핵심이며, 추론 인프라는 오히려 CPU·GPU·스토리지·네트워크를 함께 최적화하는 시스템 경쟁으로 확장되는 분위기다.

그럼에도 에이전트 AI가 본격화될수록 CPU가 AI 서비스의 지휘자(오케스트레이터)로서 수행해야 할 일이 늘어나는 만큼, 그동안 AI 반도체 시장의 스포트라이트에서 비켜나 있던 CPU가 다시 주목받는 흐름은 당분간 이어질 것으로 보인다.