“성능만으로는 부족하다. 피지컬 AI 시대, 안전은 ‘기능’ 아닌 ‘설계 기준’이다”

지난 3월6일 서울 코엑스에서 열린 ‘e4ds Physical AI Frontier 2026’ 행사에서 세이프틱스 김휘연 CSO는 ‘로봇 및 피지컬 AI에서의 안전 확보를 위한 기술적 대응’을 주제로 발표하며, 피지컬 AI 시대의 핵심 경쟁력이 더 이상 성능만이 아니라 사람과 함께 작동할 수 있도록 보장된 안전 기준에 있다고 강조했다.

김휘연 CSO는 로봇 기술이 산업용 로봇, 협동로봇, 모바일 로봇, 모바일 매니퓰레이터, 휴머노이드로 진화해 왔지만, 그 변화의 본질은 단순한 기계 고도화가 아니라 사람과 로봇의 물리적 거리가 점점 가까워지고 있다는 데 있다고 설명했다.

과거 산업용 로봇은 위험하지만 효율적인 장비로서 펜스 안에 격리해 사용하는 방식이 일반적이었고, 안전 기준 또한 ‘분리’ 자체에 맞춰져 있었다.

반면에 최근의 피지컬 AI는 사람의 생활 공간과 작업 환경 안으로 직접 들어와 상황을 인지하고 스스로 판단해 움직이는 방향으로 발전하고 있어, 기존처럼 단순히 펜스를 설치하는 방식만으로는 안전을 설명하기 어려워졌다는 것이다.

그가 제시한 첫 번째 기준은 안전의 출발점을 사람에게 두어야 한다는 점이다.

김휘연 CSO는 AI가 로봇에 다양성과 자율성을 부여하면서 예측하기 어려운 행동이 늘어나고 있지만, 사실 원래 가장 예측 불가능한 존재는 사람이라고 짚었다.

같은 공장에 들어간 작업자들도 각기 다른 방식으로 판단하고 움직이기 때문에, 로봇 안전은 기술 자체보다 먼저 사람의 행동 다양성을 전제로 설계돼야 한다는 설명이다.

두 번째 기준은 HRC(Human-Robot Collaboration), 즉 사람과 로봇의 협업 환경에서 어떤 방식으로 안전을 확보할 것인가에 대한 명확한 구분이다.

발표에 따르면 사람과 로봇이 함께 작업하는 방식은 물리적 분리, 센서 기반 정지, 그리고 가까운 거리에서 실제 협업하는 형태로 나뉘는데, 앞의 두 방식은 사람이 접근하면 로봇이 멈춰야 하므로 엄밀한 의미의 협업이라기보다 공존에 가깝다.

반면 진정한 협업은 로봇이 계속 동작하는 상태에서도 사람이 가까이 접근할 수 있어야 하며, 이때 필요한 핵심 기준이 바로 PFL(Power and Force Limiting)이라고 그는 설명했다.

PFL은 사람과 로봇이 가까운 거리에서 일어날 수 있는 충돌 시나리오를 전제로, 그 충돌이 발생하더라도 인체에 전달되는 힘과 압력이 표준상 허용치 이내임을 검증하는 개념이다.

김휘연 CSO는 특히 이 기준이 단순히 “부딪히면 멈춘다”는 수준에 머물러서는 안 된다고 강조했다.

기존 협동로봇에 주로 적용된 반응형 PFL은 충돌 이후 더 큰 사고를 막기 위해 정지하는 방식이지만, 처음 충돌 자체가 안전했는지는 보장하지 못한다는 한계가 있다.

따라서 실제 피지컬 AI 시대에는 충돌 전부터 위험을 예측하는 예측형 PFL이 함께 구현돼야 하며, 반응과 예측이 결합될 때 비로소 협업 가능한 안전 상태가 성립한다는 것이 그의 주장이다.

세 번째 기준은 시뮬레이션 기반 검증의 의무화다.

사람과 로봇의 상호작용은 작업자 수, 자세, 위치, 공정 변화에 따라 경우의 수가 지나치게 많아 실제 시험만으로는 모든 위험을 확인할 수 없기 때문이다.

김휘연 CSO는 건축, 자동차, 항공 등 여러 산업이 이미 구조 안전과 충돌 안전을 검증하기 위해 시뮬레이션을 필수 절차로 활용하고 있으며, 로봇 분야 역시 같은 수준의 접근이 필요하다고 말했다.

다만 방대한 경우의 수를 모두 계산하기에는 시간이 오래 걸리기 때문에, 세이프틱스는 AI를 적용해 안전 검증 시간을 줄이는 방향의 소프트웨어를 개발하고 있다고 소개했다.

네 번째 기준은 AI와 안전 판정을 구조적으로 분리해야 한다는 원칙이다.

김휘연 CSO는 AI가 최적화에는 강하지만 할루시네이션과 오차 가능성을 본질적으로 안고 있기 때문에, 사람의 생명과 직결되는 안전 판단까지 AI에 그대로 맡겨서는 안 된다고 선을 그었다.

그는 안전에 적용되는 계산값은 반드시 결과의 경계가 명확한 결정론적 변수로 관리돼야 하며, AI는 효율과 최적화를 담당하되 최종 안전 판정은 물리식과 규격에 근거한 별도 체계가 맡아야 한다고 설명했다.

즉 피지컬 AI의 안전 기준은 “AI를 잘 쓰는 법”이 아니라, “AI가 틀려도 사고로 이어지지 않는 구조를 만드는 법”에 가깝다는 의미다.

다섯 번째 기준은 운영 단계의 런타임 거버넌스다.

설계 단계에서 안전성을 검증했다고 끝나는 것이 아니라, 실제 운용 중에도 이상 징후를 감지하고, 학습 데이터의 범위를 벗어나는 입력을 포착하며, 필요시 페일세이프가 작동하는 체계를 갖춰야 완전한 안전 구조가 된다는 것이다.

그는 피지컬 AI의 안전은 설계 단계의 검증과 운용 단계의 지속 감시가 결합될 때 확보된다고 강조했다.

이날 질의응답에서도 현행 규정 아래 사람과 로봇의 동시 작업이 어렵다는 지적이 나왔지만, 김휘연 CSO는 산업 현장 규제가 산업용 로봇 중심으로 출발했기 때문에 펜스 설치가 강하게 요구돼 왔을 뿐, 현재는 표준을 만족할 경우 펜스를 설치하지 않을 수도 있도록 제도와 기준이 바뀌고 있다고 설명했다.

결국 피지컬 AI 시대의 안전은 “멈추게 할 것인가”의 문제가 아니라 “어떤 조건에서 움직여도 안전하다고 입증할 것인가”의 문제로 옮겨가고 있는 셈이다.

김휘연 CSO는 “사람이 있는 곳에 로봇이 들어오는 순간, 안전은 부가 기능이 아니라 시스템 전체를 지배하는 기준이 된다”며 “성능과 자율성이 피지컬 AI의 미래를 이끈다면, 그 미래가 산업 현장과 일상으로 확장될 수 있는지 여부는 결국 얼마나 정교한 안전 기준과 검증 구조를 갖추느냐에 달려 있다”고 밝혔다.