인사이트 리포트

AI 전환(AX)은 이제 일부 기업의 실험이 아니라 보편적 현상이 되었다. 맥킨지 조사에 따르면 생성형 AI를 업무에 활용하는 기업 구성원 비율은 2023년 33%에서 2025년 79%로 두 배 이상 늘어났다. 또한 적어도 한 가지 업무에서 정기적으로 AI를 활용하는 기업 구성원의 비율은 2023년 55%에서 2025년 88%로 늘어났다. 국내에서도 AI기술이 적극 활용되고 있다. 대외경제정책연구원(KIEP)은 Anthropic 데이터를 분석하였는데, 한국의 AI 사용 비중은 3.06%로 인구 대비 매우 높다. 그리고 업무에서의 AI 활용 비중은 51.1%로 동아시아 4개국 중 가장 높다.

그러나 문제는 AI 도입 속도가 통제 능력을 앞섰다는 것이다. 맥킨지 조사에서는 데이터/기술 역량에 비해 거버넌스와 Agent AI에 대한 통제 및 조직 대응이 뒤처진다고 진단했다. 스탠퍼드 HAI(Human-Centered AI) 역시 조직의 AI 사용은 높아지지만, 그만큼 AI 관련 사고도 증가하는 추세라고 보고했다. 이에 따라 여러 기업과 조직들은 내부적으로 AI 사용에 대한 책임을 강조하고 있지만, 전문성과 예산 격차로 인해 도입이 더디게 진행되고 있다. AI 기술은 이미 조직 깊숙이 들어왔지만, 이를 통제할 수 있는 규범과 절차가 부재 중인 거버넌스 공백의 시대다.

2026년 1월 22일, 한국은 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」(이하 AI 기본법)을 전면 시행하였다. EU에 이은 세계 두 번째 포괄 법제이지만, EU가 고위험 규제의 적용 시점을 단계적으로 미룬 탓에 실질적인 전면 적용은 한국이 가장 앞서게 되었다. 2024년부터 2025년까지 전 세계적으로 70건이 넘는 입법과 행정지침이 새로 발효되며 규제 환경이 빠르게 재편되고 있다. 거버넌스는 더 이상 권고가 아니라 법적 의무가 되었다.

AI기본법이 시행되고, AI 사용에 대한 문제점이 들어나는 이 시점에서 기업의 생존을 가르는 변수는 기술 수준이 아니라 거버넌스가 되었다. 기업과 조직은 AI를 ‘스스로 통제하거나, 규제와 사고에 의해 통제당하거나’라는 두 가지 갈림길에 놓여져 있다.

AI 기본법은 거버넌스를 의무로 바꾼다

기업의 관점에서 AI기본법의 핵심은 거버넌스의 의무화다. 법은 투명성 확보, 안전성 확보, 고영향 AI 사업자의 책무, AI 영향평가, 국내 대리인 지정 등을 규정한다. 특히 사람의 생명·신체의 안전이나 기본권에 중대한 영향을 미칠 우려가 있는 고영향 AI에 해당하면, 위험관리 방안의 수립·운영, 학습데이터와 모델에 대한 설명가능성 확보, 이용자 보호 체계 운영 등의 의무가 부과된다. 영향평가는 처벌이 아니라 선제적 점검에 가깝지만, 공공부문 도입 시 우선 고려 대상이 되면서 시장에서 사실상 기본 요건으로 작동할 전망이다.

다만 법의 존재가 곧 안전을 보장하지는 않는다. 제도가 기술 발전 속도를 따라가지 못해 안전 공백이 생길 수 있다. 그리고 법 준수를 위한 관리체계가 없는 상태에서는 법이 또 다른 리스크 요인으로 작용한다. 요컨대 기업에게 기본법은 의무인 동시에 리스크이며, 거버넌스를 갖추지 못한 기업은 규제 비용과 법적 책임이라는 형태로 통제당하는 위치에 놓이게 된다.

통제당한 자 Vs. 통제한 자

통제당한 자: 거버넌스 공백의 대가

거버넌스 공백의 대가는 결코 가볍지 않다. 2025년 7월, 코딩 보조 AI 서비스인 레플릿(Replit)은 운영 코드를 수정하지 말라는 반복된 지시를 무시한 채 운영 DB를 삭제했고, 가짜 사용자 4,000명을 생성한 뒤 보고까지 조작했다. 통제 절차가 부재할 때 자율형 AI가 어떻게 조직을 통제당하게 만드는지 단적으로 보여준 사건이다. 책임 또한 온전히 기업의 몫이다. 캐나다 항공사 에어캐나다는 챗봇의 잘못된 안내에 대해 챗봇은 별개의 법인이라고 항변했으나, 법원은 이를 기각하고 기업의 배상 책임을 인정했다. 국내에서도 챗봇 ‘이루다’가 비식별 조치 없이 수집한 대화 데이터로 학습해 개인정보 유출과 혐오 발언 논란을 빚었고, 결국 제재를 받았다.

통제한 자: 거버넌스를 경쟁력으로 바꾼 기업

반면, AI를 통제한 성공적인 사례는 거버넌스가 조직의 경쟁력이라는 사실을 입증한다. 호주 최대 은행 커먼웰스은행(CommBank)은 2026년 2월 호주 은행 최초로 전사 차원의 책임 있는 AI 운영 보고서를 공개했다. 이 은행은 AI를 기존 위험관리 프레임워크(RMF)와 모델 위험관리 체계(Model Risk Framework) 아래에서 관리하였다. 또한 AI 시스템마다 책임자를 지정하고 인간의 감독(Human Oversight)을 요구하는 등 AI의 책임성을 제도화했다. 2024년부터는 임직원을 대상으로 AI Learning Series를 운영해 2025년 말 기준 27,600명 이상이 교육에 참여했다. 이러한 노력을 통해 커먼웰스 은행은 핵심 업무 전반에 AI를 적극 도입할 수 있었다. 대표적인 사례로, AI 기반 사기탐지 시스템이 있다. AI를 통해 하루 평균 2천만 건 이상의 결제를 분석하여 고객에게 사전 경고를 제공하는 시스템이다. 이를 통해 2026년 회계연도 상반기에 고객 사기 피해액은 전년 동기 대비 20% 이상 감소라는 결실을 맺었다.

글로벌 컨설팅 기업인 Infosys는 책임감 있는 AI 사용을 위해 AI 관리 시스템(이하 AIMS)를 구축했다. AIMS는 ISO 42001 표준에 따라 AI 모델을 평가·승인·관리 전 과정을 지원하는 AI 거버넌스 플랫폼이다. 자동화된 워크플로우와 동적 위험평가를 통해 AI 사용 현황을 관리한다. 국제표준과 EU AI법에 따라 AI 위험을 자동으로 분류하고, 사전 입력된 규정 준수 설문지를 활용해 평가 과정을 간소화한다. 또한 중단 없는 운영 체계를 통해 지속적인 규정 준수를 보장한다. 이를 통해 2,700건 이상의 AI Uses Case를 체계적으로 관리하고, AI 거버넌스 운영 효율성을 150% 향상시켰다.

두 사례는 AI에 대한 통제가 성장의 제약이 아니라 성장을 가능하게 하는 기반임을 보여준다. AI 도입의 성패를 가르는 것은 모델의 성능만이 아니다. AI를 안전하게 관리하고 확산시키는 거버넌스의 깊이와 실행력이 AI 도입의 지속적인 성과를 좌우한다.

기업은 어떻게 해야 하는가?

그렇다면 기업은 무엇을 해야 하는가? 첫째, AI 거버넌스를 경영의 의제로 격상해야 한다. CEO와 이사회가 AI 리스크를 직접 관장하고, 기술·데이터·법무·보안 등을 잇는 교차 기능 거버넌스 체계를 구축해야 한다. 둘째, 국제 표준에 기반한 운영 틀을 도입해야 한다. NIST AI RMF와 인증 가능한 국제표준 ISO/IEC 42001을 결합하면, 기본법이 요구하는 영향평가와 위험관리를 감사 가능한 절차로 전환할 수 있다. 셋째, 전사 AI 자산을 목록화해 고영향·생성형 AI 해당 여부를 점검하고, 생성물 표시와 이용 고지 같은 투명성 의무를 서비스 화면 단계에서 구현해야 한다. 넷째, 자율형 AI에는 사람의 개입 지점(human-in-the-loop)과 권한·롤백 통제를 설계해 레플릿 사례와 같은 사고를 사전에 차단해야 한다.

통제하거나, 통제당하거나

지금까지의 논의를 요약하면, AI 기본법 시대의 본질은 단순한 규제 준수가 아니라 통제의 문제다. 거버넌스를 갖춘 기업에게 법은 신뢰라는 경쟁력으로 돌아오지만, 그렇지 못한 기업에게는 과징금과 소송, 평판 훼손으로 돌아온다. 커먼웰스은행과 Infosys이 전자의 증거라면, 레플릿과 에어캐나다는 후자의 증거다. 따라서 기업은 거버넌스를 비용이 아니라 투자로 인식하고, 표준과 규정에 기반한 통제 체계를 구축해야 한다. 정부 역시 명확한 가이드라인과 검·인증 지원을 통해 기업의 자율적 통제를 뒷받침할 필요가 있다. 기술을 다스리는 일은 비용이 아니라 투자다. 통제하거나, 통제당하거나! 선택의 시간은 이미 시작되었다.