[편집자주]기존의 AI가 디지털 데이터 속에서 추론과 생성에 집중했다면 피지컬 AI(Physical AI)는 센서, 엣지 컴퓨팅, 로봇, 제어 시스템 등을 통해 현실 세계에서 직접 행동하고 반응한다. 피지컬 AI의 구현은 현실 세계에서 AI가 직접 행동하고 문제를 해결하기 때문에 산업 혁신과 자동화를 크게 진화 시킬 수 있으며, 현실 세계와 직접 상호작용한다. 이에 따라 엔비디아, 테슬라, 구글을 비롯해 글로벌 기업들은 피지컬 AI에 막대한 투자를 진행 중이며, 관련 시장도 폭발적으로 증가할 전망이다. 이러한 피지컬 AI를 구현하기 위해서는 센서 등 인식 기술을 비롯해서 실시간 데이터 처리를 위한 로컬 연산 등 엣지 컴퓨팅 및 임베디드 시스템, 로보틱스 및 제어기술이 필수다. 이에 e4ds news는 연재 기획을 통해 피지컬 AI의 개념에서부터 시장 전망, 관련 기술, 실제 사례 등 핵심 기술과 구현 전략을 살펴보는 자리를 마련했다.
 

인공지능(AI)이 단순히 데이터를 분석하고 언어를 처리하는 단계를 넘어, 물리적 세계와 직접 상호작용하는 피지컬 AI(Physical AI) 시대로 진입하고 있다.

로봇이 센서를 통해 세상을 인지하고, 액추에이터로 움직이며, 실제 환경에서 자율적으로 과업을 수행하는 이 흐름은 ‘생각하는 AI’에서 ‘행동하는 AI’로의 전환을 상징한다.

이 과정에서 가장 핵심적인 기술로 부상한 것이 바로 멀티모달 AI(Multi-modal AI)다.

멀티모달 AI란 텍스트, 이미지, 영상, 행동 데이터 등 서로 다른 형태의 정보를 동시에 학습하고 이해하는 인공지능을 말한다.

기존의 언어 모델이 텍스트만을 처리했다면, 멀티모달 AI는 시각·언어·행동을 통합적으로 인식해 로봇이 보다 인간적인 방식으로 명령을 이해하고 수행할 수 있게 한다.

예컨대 “사과를 집어줘”라는 단순 지시뿐 아니라 “배고픈데 건강한 간식을 찾아줘”와 같은 추상적이고 의미론적인 명령도 처리할 수 있다.

이는 로봇이 단순 반복 작업을 넘어, 예측 불가능한 상황에 대응할 수 있는 일반화된 지능을 갖추게 하는 핵심 열쇠다.

피지컬 AI 구현에서 멀티모달 AI가 중요한 이유는 명확하다.

로봇은 현실 세계에서 다양한 감각 데이터를 동시에 받아들인다.

카메라가 제공하는 시각 정보, LiDAR가 생성하는 공간 데이터, 촉각 센서가 감지하는 압력과 질감, 그리고 사용자가 전달하는 언어적 지시가 모두 결합돼야 한다.

멀티모달 AI는 이러한 이질적인 데이터를 하나의 통합된 지능으로 연결해, 로봇이 실제 환경에서 자연스럽게 행동할 수 있도록 한다.

결국 멀티모달 AI는 피지컬 AI의 ‘두뇌’ 역할을 담당하는 셈이다.

글로벌 기업들은 이미 멀티모달 AI를 중심으로 치열한 경쟁을 벌이고 있다.

구글 딥마인드는 ‘RT-2(Robotic Transformer 2)’를 통해 웹 스케일 데이터와 로보틱스 데이터를 결합한 비전-언어-행동(VLA) 모델을 선보였다.

RT-2는 기존 훈련 데이터에 없던 새로운 물체를 인식하고 추상적 명령을 해석하는 등 ‘창발적 능력’을 보여주며, 로봇 지능의 새로운 가능성을 열었다.

엔비디아(NVIDIA)는 하드웨어와 시뮬레이션 생태계를 기반으로 ‘GR00T’라는 범용 휴머노이드 파운데이션 모델을 개발 중이다.

GR00T는 엔비디아의 시뮬레이션 플랫폼 Isaac Sim에서 생성된 방대한 합성 데이터를 학습하며, 텍스트·이미지 프롬프트를 통해 다양한 행동을 습득한다.

이는 멀티모달 AI가 단순히 소프트웨어에 머무르지 않고, 하드웨어·시뮬레이션·데이터 파이프라인을 아우르는 플랫폼 경쟁의 중심에 있음을 보여준다.

스타트업 피규어 AI(Figure AI) 역시 멀티모달 AI를 활용해 범용 휴머노이드 로봇을 개발하고 있다.

이들은 한때 OpenAI와 협력해 비전-언어 모델(VLM)을 로봇 두뇌로 탑재, 인간과 자연어로 대화하며 주변 상황을 인식하고 행동하는 로봇을 선보였다.

비록 협력은 단기간에 종료됐지만, ‘최고의 AI 두뇌 + 민첩한 하드웨어’라는 조합이 피지컬 AI의 미래를 상징적으로 보여준 사례로 평가된다.
 

향후 멀티모달 AI의 발전은 피지컬 AI 상용화의 성패를 좌우할 전망이다.

첫째, 시뮬레이션을 통한 합성 데이터 생성이 더욱 중요해질 것이다.

현실 세계에서 방대한 행동 데이터를 수집하는 것은 비용과 안전 문제로 제약이 크다.

따라서 고충실도의 디지털 트윈 환경에서 멀티모달 데이터를 대량으로 생산하고 학습하는 방식이 주류가 될 가능성이 높다.

둘째, 크로스 임바디먼트(Cross-embodiment) 기술이 발전하면서 하나의 멀티모달 AI 모델을 다양한 로봇 플랫폼에 적용할 수 있게 될 것이다.

이는 로봇 산업의 범용성을 크게 높여, 스마트 팩토리부터 가정용 서비스 로봇까지 광범위한 응용을 가능하게 한다.

셋째, 통신 인프라의 진화도 멀티모달 AI의 확산을 가속할 것이다.

5G와 6G 네트워크는 로봇과 클라우드 두뇌 간의 초저지연 연결을 지원해, 멀티모달 AI가 실시간으로 작동할 수 있는 기반을 제공한다.

결국 멀티모달 AI는 피지컬 AI 시대의 ‘두뇌’이자 ‘언어’다.

로봇이 인간과 같은 방식으로 세상을 보고, 듣고, 이해하며 행동하기 위해서는 멀티모달 AI가 필수적이다.

글로벌 기업들의 전략은 단순히 기술 경쟁을 넘어, 하드웨어·소프트웨어·데이터·통신을 통합하는 플랫폼 경쟁으로 확장되고 있다.

피지컬 AI의 미래는 멀티모달 AI가 얼마나 빠르게, 그리고 얼마나 정교하게 현실 세계와 융합할 수 있는지에 달려 있다.