“자율주행, 국방 및 다양한 산업에서 사용되는 온디바이스 AI는 우리나라 중소 팹리스에게는 기회다. 정부도 개발을 지원하고, 기업 간 협업이 강화되는 이 분야에서 산업 경쟁력을 높여야 한다”

황태호 한국전자기술연구원(KETI) 본부장은 9일 ‘2025 e4ds Tech Day’ 기조연설을 통해 온디바이스 AI는 한국 기업에게 기회라며, 한국의 기업들이 이 기회의 흐름에 올라타 경쟁력을 확보해야 한다고 주장했다.

클라우드 연결 없이 로컬 디바이스에서 AI 기능을 수행하는 이 기술은 자동차, 가전, 방산 등 다양한 산업에 적용 가능하다.

특히 고장 예측 시스템(PHM)이나 자율주행차, 국방 분야에서 높은 수요가 예상된다.

정부도 이에 발맞춰 온디바이스 AI 반도체 개발을 지원하고 있으며, 앵커 기업과 팹리스 기업 간의 협업을 통해 산업 경쟁력을 높이려는 전략을 추진 중이다.

기조연설에서 황태호 본부장은 AI 반도체의 현재와 미래를 조망하며, 이제는 예전으로 돌아갈 수 없는 AI 기술이 산업 전반에 깊숙이 침투한 현실을 강조했다.

황 본부장은 최근 AI 기술의 중심축이 트랜스포머 기반의 자연어 처리 모델로 이동하고 있다고 설명했다.

과거 CNN 기반의 영상 처리에서 벗어나, 이제는 언어 데이터를 중심으로 한 시퀀스 처리 기술이 주류가 됐다.

특히 ‘Attention is all you need’ 논문 이후 트랜스포머 구조는 인코더-디코더 방식과 셀프 어텐션 메커니즘을 통해 고도화된 언어 이해와 생성 능력을 보여주고 있다.

이러한 기술 발전은 단순한 알고리즘의 진화에 그치지 않는다.

황 본부장은 “AI 반도체는 더 이상 범용 칩으로는 감당할 수 없는 수준에 도달했다”며, 고속 연산과 대규모 데이터 처리를 위한 특화된 하드웨어의 필요성을 역설했다.

AI 반도체의 핵심으로 떠오른 것은 고대역폭 메모리(HBM)다.

황 본부장은 “디코드 단계에서 전체 연산의 90%가 메모리 바운드로 이뤄진다”며 HBM의 중요성을 강조했다.

엔비디아는 GPU와 HBM을 패키징한 DGX 서버를 통해 시장을 선도하고 있으며, 삼성전자와 SK하이닉스도 HBM4 개발에 박차를 가하고 있다.

또한 학습과 추론을 분리한 반도체 구조도 주목받고 있다.

학습은 여전히 엔비디아의 CUDA 생태계에 의존하지만, 추론은 다양한 기업들이 자체 칩을 개발하며 시장에 도전장을 내밀고 있다.

미국의 브로드컴, 마벨, 이스라엘의 헤일로, 중국의 캠브리콘 등이 대표적이다.

AI 반도체의 경량화와 효율화를 위한 최적화 기술도 눈에 띈다.

퀀타이제이션(Quantization), 프루닝(Pruning), 네트워크 경량화 등 다양한 방식으로 연산량을 줄이고, 소형 칩에서도 LLM을 구동할 수 있는 기반을 마련하고 있다.

뉴로모픽 반도체는 낮은 전력으로 높은 패턴 인식 성능을 제공하며, 향후 온디바이스 AI의 대안으로 주목받고 있다.

황 본부장은 연설을 마무리하며 “앞으로는 범용 칩이 아닌, 응용에 특화된 커스텀 AI 반도체가 시장을 주도할 것”이라고 강조했다.

또한 “고속 인터페이스, 첨단 패키징, 고대역폭 메모리, 멀티다이 시스템 등 다양한 기술이 융합된 반도체가 AI 시대의 핵심 인프라로 자리 잡고 있다”고 전했다.