“메모리 및 계산 성능이 제한된 로봇에 AI를 담기 위해서는 경량화된 AI 모델, 시스템 소프트웨어 스택, AI 하드웨어의 세 가지 요소가 유기적으로 맞물려야 한다”

권진세 한국전자통신연구원(ETRI) 온디바이스 AI 연구본부 연구원은 지난 16일 한국컨퍼런스센터 대강당에서 임베디드소프트웨어·시스템산업협회(회장 이창열, 이하 KESSIA) 주최로 개최된 ‘2025 임베디드 AI 트렌드 포럼’에서 ‘사족로봇 가이드독 사례로 살펴보는 온디바이스AI 최적화 기술’에 대해 발표하며, 로봇과 온디바이스 AI 기술을 융합한 피지컬 AI 기술의 실제 사례에 대해 발표했다.

권진세 연구원은 “ETRI 온디바이스 AI 연구본부는 지난 2월 AI 반도체와 디바이스 중심의 정부 정책을 기반으로 본격적인 기술 연구에 착수했다”며 “연구의 초점은 클라우드에 의존하지 않고 로봇 자체에서 AI 모델이 추론을 수행하는 온디바이스 환경 구축에 있다. 이는 외부 네트워크 접속이 어려운 장소에서도 로봇이 안정적으로 작동해야 하는 장애인 지원 환경에 필수적인 요소”라고 밝혔다.

이어 “온디바이스 AI의 실현에는 △경량화된 AI 모델 △시스템 소프트웨어 스택 △AI 하드웨어의 세 가지 요소가 유기적으로 맞물려야 한다”며 “특히 LLM과 VLM 등 대형 모델의 성능을 유지하면서도 디바이스에 적합한 형태로 최적화하는 것은 기술적 난제”라고 언급했다.

이를 위해 ETRI 연구진은 양자화 및 가지치기(pruning)와 같은 경량화 기법을 통해 모델 사이즈를 줄이는 한편, 메모리와 계산 성능이 제한된 로봇 플랫폼에서도 효율적으로 동작할 수 있도록 컴파일러와 런타임 최적화를 시도했다.

예컨대 GPU 기반 서버에서 1초에 추론되던 모델이 로봇 제슨 Orin AGX 플랫폼에서는 16초가 걸리며 성능 차가 발생했으나, 추론 엔진을 라마 CPP로 변경하고 시스템 소프트웨어를 조정함으로써 처리 시간을 6초 수준까지 줄였다.

권진세 연구원은 “한국 내 시각장애인은 약 4만5,000명에 달하지만 안내견 수는 80마리뿐이며 매년 1억원의 양성비용과 2년의 훈련 기간이 필요하다. 이러한 현실을 극복하기 위해 ETRI는 로봇 안내견 개발 프로젝트에 착수했고, 그 일환으로 온디바이스 AI를 탑재한 로봇이 처음 공개됐다”고 밝혔다.

이어 “이 로봇은 시각장애인과의 자연스러운 대화를 위해 음성 인식(STT), 음성 합성(TTS), 비전 기반 장면 인식 등 다중 AI 기능을 탑재하고 있으며, 복잡한 거리 환경을 실시간으로 분석해 음성으로 설명한다”며 ““좌측에는 사람이 있습니다, 우측에는 완전한 보행로가 있습니다”와 같이, 사용자가 주변 상황을 시각화할 수 있도록 돕는 설명이 로봇을 통해 자동 발화된다”고 말했다.

권진세 연구원은 사족보행 로봇이 가진 전력 한계와 처리 능력 또한 문제였다며 130와트 배터리 용량 중 90와트가 모터에 소모되며, AI 기능이 사용할 수 있는 범위는 극히 제한적이었다고 밝혔다.

로봇에 여러 개의 모델을 동시에 탑재할 경우 16분 정도밖에 작동하지 않아, 배터리 효율과 처리 속도의 균형을 맞추는 것이 핵심 과제가 됐다.

이를 해결하기 위해 ETRI는 Q-form 기반 성능 예측 모델, 양자화 자동화 툴, 다중 추론 엔진 서베이와 같은 연구도 병행했다.

다양한 모델과 하드웨어에 대한 성능 벤치마크 분석을 통해 최적의 선택 기준을 제시하며 로봇 기술 발전에 기여했다.

이와 같은 노력의 결실로 ETRI는 지난 6월 자체 컨퍼런스에서 온디바이스 기반 로봇 데모를 선보였다.

기존 로봇이 네트워크 문제로 구동에 어려움을 겪는 가운데, 온디바이스 로봇만이 안정적으로 작동해 관람객의 이목을 집중시켰다.

향후에는 360도 카메라와 MPU 기반의 깊이 추정 모델을 활용해 라이다를 대체하는 기술, 다자간 협업을 통한 MP 시스템 확대 등 보다 정밀한 환경 인식 기술을 추가할 예정이다.

권진세 연구원은 “ETRI의 로봇 안내 시스템은 단순한 기술 구현을 넘어, 사회적 약자를 위한 포용적 기술 개발의 대표적인 사례”라며 “온디바이스 AI 기술 발전을 위해 국내 다양한 기업과 협력하고, 기술 발전을 위해 노력하겠다”고 전했다.