“TinyML과 생성 플랫폼의 발전은 MCU 기반 AI 개발의 문턱을 크게 낮추고 있다”

MDS Tech 박태준 대리는 지난 9월9일 개최된 ‘2025 e4ds Tech Day’ 행사에서 ‘온디바이스 AI 진입 장벽을 허무는 개발 솔루션’에 대해 발표하며, 온디바이스 AI의 정의, 장점, 시장 전망, 그리고 개발 환경의 변화에 대해 상세히 설명했다.

클라우드 기반 AI는 디바이스에서 수집된 데이터를 클라우드 서버로 전송해 처리한 후 결과를 다시 디바이스로 전달하는 방식으로, 대규모 연산에 적합하지만 안정적인 네트워크 연결이 필수이며 실시간성과 개인정보 보호 측면에서 한계가 있다.

반면 온디바이스 AI는 AI 모델이 디바이스 내부에 탑재되어 데이터를 외부로 보내지 않고 로컬에서 분석과 추론을 수행한다.

박태준 대리는 “온디바이스 AI는 인터넷 연결 없이도 실시간 분석이 가능하며, 저전력·저비용으로 구동되어 배터리 기반 장치에 최적화되어 있다”고 강조했다.

특히 MPU(Machine Processing Unit)나 DSP(Digital Signal Processor) 같은 전용 하드웨어를 활용해 실시간 처리에 강점을 보이며, 보안성과 전략성 측면에서 클라우드 기반 AI보다 경쟁력이 높다고 설명했다.

시장 전망도 밝다.

박태준 대리는 “2033년까지 온디바이스 AI 시장은 연평균 20% 이상 성장해 약 395억 달러 규모에 이를 것”이라며 “클라우드 중심의 AI에서 온디바이스 중심으로 전환되는 흐름이 가속화되고 있다”고 말했다.

실제로 삼성의 갤럭시 S25, 인천공항의 안내 로봇 등 다양한 제품에 온디바이스 AI가 적용되고 있으며, 애플의 AI 기능 탑재 지연 사례는 기술 경쟁력의 중요성을 보여주는 단적인 예다.

반면에 온디바이스 AI 개발에는 높은 진입장벽이 존재한다.

박태준 대리는 복잡하고 분리된 개발 환경, 경량화 모델 제작의 어려움, 하드웨어별 코드 최적화 부담, 모델 업데이트의 복잡성 등을 주요 과제로 꼽았다.

특히 기존에는 고성능 하드웨어와 대규모 인프라가 필수라는 인식이 강했지만, 최근에는 32비트 MCU(Microcontroller Unit)에서도 온디바이스 AI 구현이 가능해졌다는 점이 주목할 만하다.

그 중심에는 ‘타이니ML(TinyML)’이 있다. TinyML은 수십 ㎅∼수 ㎆ 수준의 메모리와 ㎽ 단위의 전력으로 AI 모델을 실행할 수 있는 초소형 머신러닝 기술이다. 정수 연산 기반으로 메모리 사용량을 줄이고, 인터넷 연결 없이 로컬에서 추론이 가능하다는 점에서 MCU 환경에 적합하다.

박 대리는 Edge Impulse, SensiML, Neuton, DeepCraft 등 주요 TinyML 생성 플랫폼을 소개하며, 이들이 칩 제조사에 인수된 배경을 통해 시장의 관심도를 강조했다.

이들 플랫폼은 데이터 수집부터 라벨링, 특징 추출, 학습, 검증, 최적화, 배포까지 원스톱으로 처리할 수 있어 AI 전문 지식 없이도 손쉽게 모델을 개발할 수 있다.

특히 ARM의 개발 환경인 ‘Keil MDK’는 1만1,000개 이상의 Cortex-M 기반 MCU를 지원하며, CMSIS-NN 신경망 라이브러리와 고성능 ARM 컴파일러를 통해 효율적인 개발이 가능하다.

박태준 대리는 “GCC 대비 ARM 컴파일러는 실행 속도가 20% 빠르고 코드 사이즈도 5% 작아 양산 단가 절감 효과도 기대할 수 있다”고 설명했다.

또한 “이제는 복잡한 알고리즘을 직접 구현할 필요 없이, 데이터 수집만 정의하면 자동으로 모델이 생성되고 배포까지 가능하다”며 “개발자들이 보다 빠르고 효율적으로 AI를 구현할 수 있는 시대가 열렸다”고 말했다.