“AI는 데이터 중심에서 인간 중심으로, 소프트웨어 중심에서 하드웨어 중심으로 진화하고 있다. 뉴로모픽 칩과 같은 기술이 상용화되면, 인간의 뇌를 모방한 하드웨어 기반 AI가 등장할 것이며, 이는 온디바이스 AI의 새로운 전환점이 될 수 있다”

김경기 대구대학교 교수는 지난 9월9일 개최된 ‘2025 e4ds Tech Day’ 행사에서 ‘온디바이스 AI 기술 트렌드 및 미래 전망’에 대해 발표하며, AI가 클라우드에서 디바이스로 변화하고 있다며 하드웨어와 소형 모델의 중요성에 대해 강조했다.

디지털 전환이 가속화되는 가운데, 인공지능(AI)의 진화는 새로운 국면을 맞이하고 있다.

특히 클라우드 중심의 중앙집중형 AI에서 벗어나, 디바이스 자체에서 학습과 추론이 가능한 ‘온디바이스 AI’가 주목받고 있다.

김경기 교수는 AI 기술의 발전 흐름을 되짚으며 2012년 딥러닝의 본격적인 시작과 알파고의 등장, 그리고 최근의 대형 언어모델(LLM)까지 언급했다.

김 교수는 “이제는 단순한 생성형 AI를 넘어, 에이전트 기반의 AI로 수익 모델이 형성될 것”이라며, 온디바이스 AI가 그 핵심 역할을 담당할 것이라고 강조했다.

온디바이스 AI는 서버를 거치지 않고 디바이스 자체에서 데이터를 처리하기 때문에, 빠른 응답성과 높은 보안성을 갖춘다.

김 교수는 “개인의 데이터를 보호하면서도 실시간으로 반응할 수 있는 AI가 필요하다”며, 자율주행차와 같은 분야에서 클라우드 의존도를 줄이는 것이 필수적이라고 설명했다.

발표 중 소개된 영상에서는 푸드 사이언티스트가 자신의 업무 스타일과 데이터를 기반으로 AI가 맞춤형 지원을 제공하는 모습을 보여주었다.

김 교수는 이를 예로 들며 “AI가 나를 이해하고, 나만의 데이터를 기반으로 작동하는 시대가 왔다”고 말했다.

구글의 ‘노트북 LM’처럼 개인 파일을 기반으로 학습하고 콘텐츠를 생성하는 서비스가 그 대표적인 사례다.

이러한 흐름은 ‘초개인화 AI’로 이어진다.

사용자의 습관과 선호도를 학습해 맞춤형 서비스를 제공하는 AI는, 향후 보안과 프라이버시 문제를 해결하는 데도 중요한 역할을 할 것으로 기대된다.

온디바이스 AI의 구현을 위해서는 하드웨어의 발전이 필수적이다.

김 교수는 “MPU나 뉴로모픽 칩 같은 저전력 고효율 칩이 뒷받침되어야 한다”며 국내 중소기업들이 상용화 수준의 칩을 개발하는 데 어려움을 겪고 있다고 지적했다.

그는 “성능뿐 아니라 전력 효율성과 피크 전력 관리가 중요하다”고 덧붙였다.

온디바이스 AI에는 대형 모델이 아닌 ‘소형 언어모델(SLM)’이 필요하다.

SLM은 80억 개 이하의 매개변수를 가진 모델로, 추론 비용이 낮고 디바이스에서 구동하기에 적합하다.

김 교수는 “SLM을 통해 온디바이스 AI가 현실화될 수 있다”고 강조했다.

김 교수는 미국과 중국이 막대한 자본을 투입해 AI 기술을 선도하고 있는 현실을 언급하며, “한국은 머니게임에서 이기기 어렵다”고 진단했다.

반면에 특정 분야에서 특화된 에이전트나 온디바이스 AI를 개발한다면, 충분히 경쟁력을 가질 수 있다고 전망했다.

그는 “온디바이스 AI는 실시간 처리, 낮은 지연, 인터넷 의존도 감소, 운영 비용 절감 등 다양한 장점을 갖고 있다”며 “장기적인 비용 효율성과 자율성 확보를 위해 반드시 주목해야 할 기술”이라고 강조했다.