인사이트 리포트

현재 AI 시장은 주어진 질문에 답하는 생성형 챗봇 단계를 지나, 스스로 목표를 설정하고 행동을 연쇄적으로 실행하는 ‘에이전틱 AI(Agentic AI)’ 패러다임으로 빠르게 넘어가고 있다.

시장 규모는 2025년 76억 달러에서 2026년 108억 달러로 확대될 전망이다. 초기 클라우드 도입 속도를 앞지르는 가파른 성장세다. 가트너(Gartner)에 따르면 멀티 에이전트 시스템에 대한 기업의 문의는 2024년 1분기부터 2025년 2분기 사이에 1,445% 급증했다.

하지만 폭발적인 관심과 성장 지표가 곧바로 비즈니스 성과로 이어지지는 않는다. 과거 클라우드 도입 초기 10년이 그러했듯, 새로운 기술 패러다임의 등장과 실제 가치 창출 사이에는 깊은 간극이 존재한다. 철저한 준비 없는 AI 도입은 시장 선도자의 지위를 안겨주기보다, 조직의 귀중한 자원을 소진하고 내부 신뢰를 훼손할 위험이 훨씬 크다.

그래서 AI가 단순 보조를 넘어 자율적으로 판단하고 행동하는 단계에 들어선 지금, 기업 IT 현장에서는 오히려 더 근본적인 질문이 제기된다. 막대한 자원을 들여 구축하려는 AI가 과연 비즈니스 핵심 문제를 해결하고 있는가 하는 물음이다. IT 기획 담당자라면 시장의 열풍 속에서 이 질문을 냉철하게 마주해야 한다.

기업이 AI 도입의 환상에서 벗어나 실질적인 성과를 내려면 세 가지 장벽을 넘어야 한다. 첫째, 화려한 성공 사례와 실용화 단계의 실제 성공률을 구분해 기술의 가능성과 한계를 명확히 가려내야 한다. 둘째, AI 모델의 성능보다 성과를 좌우하는 데이터 자산화 수준을 끌어올리고 보안 리스크를 통제해야 한다. 셋째, 구독료 너머의 총소유비용(TCO) 구조를 파악하고, 실패 확률을 낮추는 위험 통제 아키텍처를 설계해야 한다. 이 세 가지 과제를 면밀히 검토하는 일이 에이전틱 AI 도입의 실질적인 첫걸음이다.

에이전틱 AI의 실체와 한계

에이전틱 AI는 복합적인 목표를 단계별 과제로 나누어 실행한다는 점에서 기존 AI와 구조적으로 다르다. 필요한 도구와 데이터를 스스로 찾아 활용하고, 그 결과를 검토해 다음 행동을 결정하는 순환 구조로 작동한다. 최근에는 MCP(Model Context Protocol)와 A2A(Agent-to-Agent) 같은 표준 프로토콜이 에이전트 간 협업의 기반으로 자리 잡으면서, 여러 에이전트가 분업하고 협력하는 멀티 에이전트 체계도 실용화 단계에 접어들었다.

도입 성공 사례도 분명히 존재한다. 한 대형 병원은 에이전틱 AI 기반의 임상 보조 시스템을 도입해 의사 1인당 하루 약 66분의 문서 작성 시간을 줄였다. 포춘(Fortune) 500대 기업 중 한 곳은 15일이 걸리던 보고서 작성을 35분으로 단축했고, 건당 비용도 2,200달러에서 9달러로 낮췄다. 이러한 수치는 조건만 갖춰지면 에이전틱 AI가 얼마나 강력한 업무 효율화 수단이 되는지를 보여준다.

그러나 성공 사례 이면에 숨은 함정을 간과해서는 안 된다. 이러한 성과는 명확하게 정의된 반복 업무, 잘 정제된 데이터, 충분한 검증 기간이라는 까다로운 조건이 전제될 때만 성립한다. PwC의 2026년 최고경영자 설문조사에 따르면, AI로 매출 증가와 비용 절감을 동시에 달성한 기업은 전체의 12%에 그쳤다. 가트너는 나아가 2027년 말까지 에이전틱 AI 프로젝트의 40% 이상이 비용 상승, 불명확한 사업 가치, 불충분한 위험 관리를 이유로 보류되거나 취소될 것으로 내다봤다.

이 지표들이 가리키는 것은 기술 자체의 한계가 아니라 도입 방식의 문제다. 에이전틱 AI가 과연 실현될 것인가라는 질문은 이미 답을 얻었다. 이제 IT 기획자가 답해야 할 질문은 우리 조직의 어떤 업무에, 어떤 순서로, 어떤 조건을 갖추어 도입할 것인가이다.

데이터 자산화와 보안 아키텍처의 중요성

에이전틱 AI를 논할 때는 주로 모델의 뛰어난 성능이 부각되지만, 실제 성과를 좌우하는 것은 모델이 접근하는 데이터의 품질과 보안 수준이다. AI는 조직이 보유한 데이터의 품질을 뛰어넘는 결과물을 만들어낼 수 없다. 실무 현장에서 가장 자주 간과되는 기본 원칙이다.

현장의 최고정보책임자(CIO)들은 이미 AI 도입 자체보다 데이터 인프라 구축에 평균 4배 많은 비용을 투입하고 있다. 그럼에도 자사의 데이터 인프라가 AI 성공을 뒷받침할 수 있다고 확신하는 IT 책임자는 절반에 불과하다. 투자 규모와 확신 사이의 이 격차야말로 데이터 기반이 아직 미완성이라는 사실을 보여준다. 따라서 기업은 AI 구축 예산을 논의하기에 앞서, AI가 사내 데이터를 온전히 읽고 활용할 수 있는 상태인지부터 점검해야 한다.

보안 위협은 더욱 구체적이고 즉각적인 리스크로 다가오고 있다. 2025년 6월, 이스라엘 보안 기업 에임 시큐리티(Aim Security)는 마이크로소프트 365 코파일럿(Microsoft 365 Copilot)에서 클릭 한 번 없이 데이터가 유출될 수 있는 취약점을 공개했다. ‘에코리크(EchoLeak, CVE-2025-32711)’로 명명된 이 취약점은, 공격자가 조작된 이메일을 보내면 수신자가 코파일럿에 그 이메일에 관해 질문하는 것만으로 대화 내용이 외부 서버로 빠져나가는 방식이었다. 사건이 남긴 교훈은 분명하다. 보안 취약점은 AI 모델 자체가 아니라, AI와 조직 내부 데이터가 만나는 경계면에서 발생한다는 것이다.

내부 직원에 의한 위협도 함께 통제해야 한다. 직원이 회사의 허가 없이 외부 AI 도구를 사내 데이터와 연동해 쓰는 이른바 섀도 AI(Shadow AI)는 이미 예외적인 현상이 아니다. 클라우드 시큐리티 얼라이언스(Cloud Security Alliance)와 토큰 시큐리티(Token Security)의 공동 조사에 따르면, 기업의 82%가 자사 환경에서 존재조차 파악하지 못하던 AI 에이전트를 발견했고, 65%는 지난 1년 사이 AI 에이전트와 관련된 보안 사고를 겪었다. 그럼에도 에이전트의 목적 자체를 제한할 수단이 없다고 답한 기업은 63%에 이른다. 에이전틱 AI는 본질적으로 ‘행동하는 AI’다. 그 행동을 기록하고 제한하는 장치가 반드시 함께 설계되어야 한다. 도입을 끝낸 뒤에야 보안을 고민하는 것은, 집을 다 짓고 나서 현관에 자물쇠를 달 자리를 찾는 일과 같다.

총소유비용(TCO)을 고려한 구축 설계

에이전틱 AI의 도입 비용을 소프트웨어 구독료 수준으로 산정해서는 안 된다. 실제로 기업의 전체 클라우드 지출에서 AI 관련 작업이 차지하는 비중은 2023년 7%에서 현재 18%로 급증했다. 기존 모델을 기업 목적에 맞게 파인튜닝하고 운영 인프라를 구축하는 데에만 통상 수억 원이 든다. 여기에 데이터 정제, 보안 통제, 임직원 교육, 운영 인력 인건비를 더하면 실질 총비용은 초기에 눈에 보이는 비용의 3~5배에 이른다. 기획 단계에서 이 숨은 비용 구조를 예산에 반영하지 않으면, 구축 이후의 비용 압박이 거버넌스를 희생시키는 악순환으로 이어진다.

아이비엠(IBM)이 2025년 4분기 싱크 서클(Think Circle)에서 정리한 논의는 AI 투자의 실질적인 장애물이 기술이 아니라 조직 내부에 있다고 강조한다. 미흡한 거버넌스 체계, 업무 프로세스 재설계 부족, 명확한 데이터 전략 부재, 변화를 수용하지 못하는 조직 문화가 핵심 걸림돌이다. AI 투자 효과를 명확히 측정할 수 있다고 답한 경영진도 29%에 그쳤다. 포레스터 리서치(Forrester Research) 역시 기업들이 AI 도입 효과를 검증하는 단계에 진입했다고 진단한다. 인상적인 시연보다 비용 통제와 거버넌스 확립, 운영 신뢰성 확보가 훨씬 중요해진 시기라는 것이다. 투자 대비 수익률(ROI) 압박에 시달리는 최고재무책임자(CFO)들이 2026년에 계획된 AI 관련 지출의 25%를 2027년으로 미룰 것이라는 전망도 이를 뒷받침한다.

결국 에이전틱 AI 구축 비용은 단순한 기술 도입비가 아니라, 인프라와 조직 프로세스 전반의 재설계를 포함하는 장기 투자로 접근해야 한다. IT 기획자는 화려한 시연에 현혹되지 않고, 기획 단계부터 데이터 정제와 보안 통제, 운영 인건비까지 포함한 실질 총소유비용을 산출해 예산에 반영해야 한다. 비용에 대한 엄밀한 통제력과 현실적인 ROI 측정 체계를 갖추지 못하면, AI 구축 프로젝트는 경영진을 설득하지 못한 채 비용 압박 속에서 성과 없이 표류하게 된다.

IT 기획자의 본질적 역할 – 기술을 숫자로 번역하는 일

에이전틱 AI는 기술적 가능성을 넘어 이미 기업이 당면한 전략적 현실이다. 관건은 언제 도입할 것인가가 아니라, 우리 조직이 얼마나 튼튼하게 준비되어 있는가다.

제이피모건(JPMorgan)은 900명 규모의 분석 인력과 데이터 인프라에 투자해 20억 달러의 비즈니스 가치를 창출했다. 아이비엠(IBM) 역시 사내 70개 이상의 업무 흐름에 AI를 내재화해 45억 달러의 생산성 향상 효과를 거두었다. 데이터를 핵심 경영 자산으로 공식화하고 수익화 전략을 채택한 기업 비율도 2023년 16%에서 2025년 65%로 급증했다. 이들의 공통점은 뛰어난 AI 모델을 먼저 채택했다는 데 있지 않다. AI가 제대로 작동할 수 있는 구체적인 업무 조건과 데이터·보안 인프라, TCO 기반의 거버넌스 구조를 선제적으로 갖추었다는 데 있다.

이러한 흐름 속에서 IT 기획 담당자의 역할은 재정의되어야 한다. AI 모델의 성능 지표나 인상적인 시연은 성공의 필요조건일 뿐, 충분조건이 되지 못한다. IT 기획자의 본질은 비즈니스 현장을 반영한 세 가지 설계를 수행하는 데 있다. 첫째, 기술 도입의 환상에서 벗어나 조직 내 어떤 업무가 에이전틱 AI에 적합한지 그 실체와 한계를 가려내는 기술 적합성 설계다. 둘째, 성과를 좌우하는 사내 데이터의 자산화 상태를 정비하고 섀도 AI를 비롯한 보안 취약점을 선제적으로 통제하는 인프라·보안 설계다. 셋째, 눈앞의 구독료 너머에 있는 숨은 TCO 구조를 직시하고, 경영진과 현업 부서를 설득할 ROI와 거버넌스 체계를 만드는 투자 설계다.

AI 기술이 가져올 가능성을 탐색하는 일이 기술의 영역이라면, 그것을 기업의 실질적인 수익과 생산성이라는 숫자로 번역하고 실행 경로를 만드는 일은 설계의 영역이다. 비즈니스와 기술을 잇는 이 설계를 책임지는 것이 바로 IT 기획자의 본질이며, 에이전틱 AI 시대에 그 역할의 무게는 어느 때보다 무겁다.