[편집자주]휴머노이드 로봇이 현실 공간에서 작동하기 위해 가장 먼저 해결해야 할 문제는 ‘보는 것’이다. 반면에 피지컬 AI 시대의 인식 기술은 해상도나 정확도보다, 오판을 얼마나 줄일 수 있는지가 핵심 경쟁력으로 떠오르고 있다. 이러한 변화는 환경 인식 센서와 엣지에서 판단이 결합되는 구조가 왜 중요한지를 분명히 보여준다.


휴머노이드 로봇이 사람의 공간으로 들어오면서, ‘보기’는 해상도 경쟁이 아니라 ‘오판을 얼마나 줄이느냐’의 문제로 재정의되고 있다.

카메라는 폭우·폭설·짙은 안개처럼 광원 조건이 나쁘면 성능이 떨어질 수 있다는 지적이 이어져 왔다.

이에 업계는 카메라 단일 인식에서 벗어나, 레이더·라이다·IMU 등 서로 다른 물리 원리의 센서를 융합해 신뢰도를 끌어올리는 방향으로 움직이고 있다.

대표적인 흐름이 TI와 엔비디아의 협력이다.

e4ds news 3월9일 자 ‘TI·엔비디아, 피지컬 AI 협력 휴머노이드 로봇 상용화 가속’ 기사를 살펴보면 TI는 mmWave 레이더를 엔비디아 Jetson Thor 플랫폼과 연동한 센서 융합 솔루션을 설계했고, NVIDIA Holoscan Sensor Bridge를 활용해 저지연 3차원 인식과 안전 감지를 구현했다.

카메라와 레이더 데이터를 결합해 객체 인식 정확도를 높이고 오탐을 줄이며, 투명 장애물이나 조명이 불리한 환경에서도 안정적인 인식을 제공해 휴머노이드의 실내외 활용 범위를 확장한다는 설명이다.

mmWave 레이더가 주목받는 이유는 ‘보조 센서’ 이상의 역할 때문이다.

산업 현장에서 mmWave 센서는 3D 물체 검출과 투명 물체 감지 특성을 바탕으로 로봇의 충돌 회피를 돕고, 센서 입력으로 로봇의 동작 속도를 늦추거나 멈추는 등 실시간 결정을 내리도록 한다.

비·먼지·연기·조명 조건의 영향을 덜 받는 특성과 필요시 시타라(Sitara) 같은 산업용 프로세서와 결합해 추가 인텔리전스를 제공할 수 있다.

이 같은 ‘환경 인식 센서’의 진화가 의미하는 바는 명확하다.

휴머노이드는 예측 불가능한 공간에서 사람과 함께 움직여야 하며, 안전한 내비게이션과 작업 수행이 가능해야 한다.

TI·엔비디아는 실시간 센서 융합이 복잡한 환경에서 로봇이 더 인간에 가까운 판단을 내리도록 지원하고, 상용화의 걸림돌이었던 안전 문제 해소에 기여할 것으로 기대된다고 밝혔다.

반면에 ‘잘 보는 눈’만으로는 충분하지 않다.

판단이 중앙 서버나 외부 연산에 의존하면 지연은 구조적으로 발생한다. 그래서 변화의 다음 축은 ‘엣지(Edge)’다.

센서 데이터가 생성되는 지점에서 곧바로 추론하고 제어로 넘기는 구조가 휴머노이드의 반응 방식을 바꾸고 있다.

이 흐름을 가장 직관적으로 보여준 사례가 ST의 휴머노이드 데모 ‘카이(Kai)’다.
 

본지 3월9일 ‘[르포] ST 휴머노이드 로봇 ‘카이’, 산업 자동화의 미래를 현실로 끌어오다‘ 기사를 살펴보면 카이는 MCU·센서·모터 드라이버·전력 관리 IC 등 500개 이상 ST 부품으로 구성됐고, 모든 연산을 엣지에서 처리해 외부 서버나 추가 장치 없이도 실시간 AI 추론이 가능하다.

카이는 카메라로 사람의 움직임을 실시간 인식한 뒤 17개 관절 랜드마크 데이터를 분석해 동작을 파악하고, 이를 듀얼 암 제어로 즉시 연결한다.

현장에서 ST 엔지니어는 “휴머노이드는 지연 시간이 곧 안전과 직결된다”며 엣지 AI 성능 자체가 핵심 경쟁력이라고 강조했다.

엣지화는 ‘더 빠른 칩’만의 문제가 아니다.

ST는 별도 인터뷰에서 복잡해지는 비전·음성 AI 모델을 엣지에서 실시간으로 처리할 수 있는 성능 요구가 증가하고 있으며, 고성능 연산을 유지하면서 소비 전력을 최소화하는 기술과 다양한 인터페이스·강력한 보안 기능 요구가 커지고 있다고 설명했다.

즉, 휴머노이드의 ‘신경계’는 연산 성능뿐 아니라 전력·연결·보안을 함께 묶어 설계되는 방향으로 확장되고 있다.

카이가 던진 메시지는 ‘센서는 데이터 발생 장치’가 아니라는 점이다.

ST는 센싱 데이터 처리와 모터 제어를 병렬로 수행하는 제어 구성과 함께, 산업 설비 연동을 고려한 기가비트 이더넷·CAN·RS-485 지원, 그리고 기능 안전 인증 MCU·보안 솔루션 적용을 언급하며 ‘현장 투입’을 전제로 한 구조를 제시했다.

‘눈’과 ‘신경’을 모듈 단에서 묶어 개발 부담을 줄이려는 시도도 나온다.

ST와 레오파드 이미징은 카메라·거리 측정·모션 센서를 한데 묶은 멀티센서 비전 모듈을 공개했다.

이 모듈은 Holoscan Sensor Bridge를 통해 Jetson 플랫폼과 플러그앤플레이 방식으로 연결되고, NVIDIA Isaac 로봇 개발 플랫폼과도 연동된다고 밝혔다.

또한 RGB-IR 이미지 센서, 6축 IMU, dToF 라이다 모듈을 함께 탑재해 2D 인식·3D 심도·동작 감지를 하나의 모듈에서 처리하도록 설계됐다는 점이 강조됐다.

이 변화는 센서 자체의 지능화와도 맞물린다.

ETRI 동향 보고서에 따르면 센서에 신호처리·저장·통신·판단 기능을 결합한 ‘지능형 센서’가 원시 데이터 잡음을 줄이고 의미 있는 정보를 추출해 필요할 때만 전송하는 분산 구조를 가능하게 한다고 설명한다.

중앙 처리의 부담과 전력 소모를 줄이면서도, 현장 반응성을 높이는 설계가 가능해진다는 것이다.

결국 휴머노이드의 판단과 반응 공식은 ‘센서→서버→제어’에서 ‘센서(퓨전)→엣지 추론→즉시 제어’로 이동하고 있다.

카메라와 mmWave 레이더를 Holoscan 기반으로 묶어 오탐을 줄이는 환경 인식 축과 카이처럼 연산을 엣지에서 끝내 지연을 안전 이슈로 키우지 않는 엣지 축이 동시에 진화하는 셈이다.

휴머노이드의 ‘눈’과 ‘신경’이 분리되지 않을 때, 피지컬 AI는 비로소 사람의 공간에서 작동 가능한 시스템이 된다.