“AI 전환의 성패는 기술이 아니라 현실 이해에 달려 있다”

지난 3일 웨스틴 서울 파르나스에서 열린 ‘NetApp INSIGHT Xtra’ 행사에서는 ‘현장에서 답을 찾다: AI 전환의 현실과 리스크 관리’를 주제로 국내 AI 산업 현장의 고민과 해법을 짚는 패널 토론이 진행됐다.

패널 토론에서는 김은섭 넷앱(NetApp) 상무가 좌장을 맡고, 서영민 DS&G 전무, 김자현 업스테이지 AI 이사가 패널로 참여해 기업들의 AI 도입 과정에서 마주하는 오해와 한계를 짚었다.

패널들은 공통적으로 “AI 전환은 단순히 최신 모델이나 GPU를 도입한다고 해결되지 않는다”고 강조했다.

김자현 이사는 “많은 기업들이 ‘잘 만든 LLM 하나면 내부 문제를 모두 해결할 수 있다’고 착각한다”며 “모델은 인간의 뇌에 해당할 뿐, 실제 업무를 수행하는 손발 역할의 시스템과 데이터, 프로세스가 함께 갖춰져야 한다”고 말했다.

그는 특히 RAG 기반 플랫폼만으로는 기업이 기대하는 99% 이상의 정확도를 달성하기 어렵다며, 실제 업무 흐름과 데이터를 연결하는 에이전트 AI의 중요성을 강조했다.

서영민 전무는 AI 전환의 출발점으로 ‘데이터 현실’을 꼽았다.

그는 “고객들은 GPU 구매부터 고민하지만, 정작 데이터는 산재 돼 있고 포맷도 제각각인 경우가 대부분”이라며 “데이터 품질과 거버넌스가 준비되지 않으면 GPU를 아무리 빨리 도입해도 프로젝트는 지연될 수밖에 없다”고 지적했다.

AI 성공의 핵심은 인프라보다 데이터 전략을 먼저 세우는 데 있다는 설명이다.

문서 자동화와 OCR 프로젝트의 리스크에 대해서도 현실적인 진단이 이어졌다.
 

김자현 이사는 “기존 OCR 방식은 문서별 모델 학습에 따른 비용 부담과 확장성 한계가 컸다”며 “비전·언어 모델을 결합한 차세대 문서 AI는 별도 학습 없이도 다양한 문서를 처리하고, 단순 추출을 넘어 추론까지 가능하게 한다”고 설명했다.

이는 비용과 정확도, 확장성 문제를 동시에 해결할 수 있는 대안으로 제시됐다.

파일럿(PoC)은 성공했지만 운영 단계에서 흔들리는 사례에 대해 서영민 전무는 “파일럿과 운영 환경의 토폴로지가 다르기 때문”이라고 진단했다.

단일 GPU 기반 테스트와 멀티 노드 운영 환경의 차이를 고려하지 않으면 성능 저하와 장애가 발생할 수 있다는 것이다.

그는 “처음부터 운영을 전제로 한 인프라 설계와 명확한 운영 절차가 필요하다”고 강조했다.

AI 전환을 빠르게 추진하면서도 리스크를 줄이기 위한 전략으로는 ‘집중과 선택’이 제시됐다.

김자현 이사는 “모든 문제를 한 번에 해결하려 하면 실패 확률이 높다”며 “해결 가능한 핵심 문제 하나를 정해 단기간에 성과를 만들고, 이를 기반으로 확장하는 방식이 가장 현실적”이라고 말했다.

패널들은 실패하는 AI 전환의 공통 패턴으로 GPU 중심 사고, PoC와 운영의 분리, 책임자 부재를 꼽았다.

반대로 성공 사례는 작게 시작해 운영까지 고려한 설계와 명확한 책임 구조를 갖추고 있다는 점에서 차이를 보였다.