기업 AI, 이제 ‘개발’보다 ‘운영’이 문제다

요즘 거의 모든 기업이 AI 도입에 속도를 내고 있습니다. LLM 적용 사례는 빠르게 늘어나고 있고, AI 에이전트가 가져올 변화에 대한 기대도 점차 실제 성과로 이어지고 있습니다.

AI 도입 초기에는 “어떤 모델을 개발할 것인가”, “어떤 AI로 비즈니스 가치를 만들 것인가” 가 가장 중요한 관심사였습니다. 그러나 AI가 실제 업무와 운영 환경에 본격적으로 적용되면서 기업의 고민은 달라지고 있습니다. 이제 중요한 질문은 단순히 무엇을 개발할 것인가를 넘어, 개발한 AI를 어떻게 안정적으로 운영하고 지속 가능하게 확장할 것인가로 이동하고 있습니다.

기업 AI의 중심축이 빠르게 ‘개발’에서 ‘운영’으로 옮겨가고 있는 것입니다.

기업들이 AI를 실제 운영 단계로 가져갈 때 공통적으로 마주하는 고민들이 있습니다.

• 여러 팀이 만든 AI 모델을 어떻게 일관된 기준으로 운영할 것인가
• 고가의 GPU 인프라를 어떻게 효율적으로 배분하고 관리할 것인가
• 보안 정책과 접근 권한을 어떻게 통합적으로 관리할 것인가
• 외부 오픈소스든 자체 개발이든, 필요한 AI 앱을 자유롭게 가져와 업무에 맞게 조합하고 확장할 수 있는가
• 폐쇄망이나 온프레미스 환경에서도 클라우드처럼 유연하게 개발·배포할 수 있을 것인가

이 고민들의 핵심은 두 가지로 압축됩니다.

하나는 인증·자원·보안 같은 공통 기반을 매번 새로 구성해야 한다는 것, 다른 하나는 그 위에서 원하는 앱을 자유롭게 올리고 조합하기 어렵다는 것입니다.

공통 기반을 추상화해 제공하면서, 동시에 앱은 자유롭게 올리되 통제는 중앙에서 유지할 수 있는 구조. 이 흐름 속에서 자연스럽게 주목받는 개념이 바로 AI 운영체제, 즉 AI OS입니다.

 

AI OS란 무엇인가

PC나 스마트폰처럼, AI 인프라(GPU·서버·스토리지·네트워크 같은 물리 컴퓨팅 자원)에도 OS가 필요합니다.

스마트폰을 처음 켰을 때를 떠올려 보세요. 아무것도 설치하지 않았는데 이미 전화, 메시지, 카메라 앱이 깔려 있습니다. 사용자는 앱스토어에서 원하는 앱을 골라 설치할 수 있고, 어떤 앱이든 저장소, 네트워크, 인증 같은 기능은 OS가 공통으로 처리해 줍니다. 앱 개발자는 그 위에서 자신이 만들고 싶은 기능에만 집중하면 됩니다.

 

기업 AI도 마찬가지입니다. GPU와 스토리지로 AI 인프라를 구성했다고 해서 바로 AI를 쓸 수 있는 것이 아닙니다. 인프라 위에는 자원을 관리하고, 접근 권한을 제어하고, 그 위에서 다양한 AI 앱이 안정적으로 실행될 수 있도록 하는 운영 체계가 필요합니다. 그것이 바로 AI Operating System, 즉 AI OS입니다.

AI OS는 구체적으로 다음 역할을 합니다.

• AI 인프라 관리 — Windows가 CPU, 메모리를 관리하듯 AI OS는 GPU, 스토리지, 네트워크를 관리합니다. 어떤 팀이 자원을 얼마나 쓰는지, 유휴 자원은 없는지를 통합적으로 관리합니다.
• AI 접근 권한 관리 — AI 모델, 데이터, 실험 환경은 아무나 접근할 수 없어야 합니다. SSO, RBAC, 감사 로그 같은 기능은 AI OS로서 갖춰야 할 필수 기능에 가깝습니다.
• AI 실행 환경 제공 — 모델 설정, 런타임, 서빙 환경, 벡터 데이터베이스, 워크플로우 도구를 플랫폼 안에서 연결해 모델 실험, 배포, 운영이 하나의 흐름으로 이어지게 합니다.
• 폐쇄망·온프레미스 환경 지원 — 제조, 국방, 공공, 금융처럼 외부 네트워크 연결이 제한된 환경에서도 AI 애플리케이션이 안정적으로 운영되도록 합니다.

즉 AI OS는 ‘AI를 하나씩 잘 만드는 도구’라기보다, 공통 기반 위에서 여러 AI 앱을 자유롭게 올리고 조합하며 기업 안에서 계속 잘 돌아가게 만드는 체계입니다.

기본 앱부터 직접 만든 앱까지, 자유롭게 구성

앞서 말한 기업의 고민들 즉 일관된 운영 기준, 자원 관리, 보안 정책, 반복 개발의 비효율은 사실 하나의 문제로 귀결됩니다. AI 앱을 올릴 때마다 인프라, 인증, 보안을 매번 새로 구성해야 한다는 것입니다. 한두 번은 괜찮지만 앱이 여러 팀과 업무로 퍼지는 순간 감당하기 어려워집니다.

Runway는 인증, 권한, 자원 관리, 보안 같은 공통 기반을 플랫폼이 한 번만 처리하고, 그 위에서 필요한 도구와 서비스를 자유롭게 올려 쓸 수 있는 구조로 설계되어 있습니다. 여기서 ‘올려 쓰는 것들’이 바로 Runway에서 말하는 앱입니다. 개발 환경, 데이터 인프라, 모델 서빙 API, AI 챗봇까지, Runway 위에서 실행되는 모든 워크로드가 앱 단위로 배포되고 관리됩니다. 그 위에서 팀은 필요한 AI 앱을 골라 조립하기만 하면 됩니다.

 

• 플랫폼 앱: 스마트폰 기본 탑재 앱

아이폰을 처음 사서 부팅하면 Safari, 메일, 캘린더가 이미 설치되어 있고, 별도 설정 없이 Apple 계정 하나로 모든 앱이 연동됩니다.

Runway도 같습니다. 처음 설치하면 코드 버전 관리를 위한 Gitea, 모델 실험 추적을 위한 MLflow, 워크플로우 자동화를 위한 Airflow, 배포 관리를 위한 Argo CD, LLM을 통합 관리하는 LLM Playground, AI 챗 인터페이스인 Chat까지 즉시 사용 가능한 상태로 제공됩니다. 폐쇄망 환경에서도 마찬가지입니다. 이 앱들은 Keycloak 기반 SSO로 통합 인증되어 있어, Runway에 한 번 로그인하면 모든 플랫폼 앱에 별도 로그인 없이 접근할 수 있습니다.

 

• 앱 카탈로그: 앱스토어에서 앱을 골라 설치하듯

App Store에는 Apple이 검수한 앱들이 올라와 있고, 사용자는 그 중에서 필요한 것을 골라 설치합니다. Runway의 앱 카탈로그도 같은 구조입니다. 엔지니어들이 이미 익숙하게 쓰던 오픈소스 도구들이 Runway에서 바로 쓸 수 있는 형태로 준비되어 있습니다. JupyterLab, Code Server 같은 개발 환경부터 Milvus, Qdrant, Chroma DB 같은 벡터 데이터베이스, 노코드로 RAG·에이전트 파이프라인을 구성할 수 있는 Langflow까지, 복잡한 설정 없이 필요한 옵션만 선택하면 바로 배포됩니다.

• 직접 배포: 앱스토어 밖의 앱, 혹은 내가 직접 만든 앱

스마트폰에서 앱스토어에 없는 앱을 직접 설치하거나, 개발자가 자신이 만든 앱을 올리는 것처럼, Runway에서도 카탈로그에 없는 외부 오픈소스 도구나 기업이 직접 개발한 모델 서빙 API, 분석 대시보드, 내부 어드민 툴을 Helm 차트만 있으면 올릴 수 있습니다. 벤더가 정의한 카탈로그 안에 워크로드를 가두는 것이 아니라, 기업이 필요한 것을 직접 가져와 쓸 수 있는 구조입니다. 마키나락스와 함께 개발한 산업 특화 AI 앱도 같은 방식으로 배포됩니다. 그리고 어떤 출처의 앱이든 플랫폼 앱과 동일한 인증·권한·자원 관리 체계가 그대로 적용됩니다.

앱은 자유롭게, 권한은 중앙에서 — AI OS의 거버넌스

스마트폰에서 앱을 자유롭게 설치할 수 있다고 해서 아무 앱이나 무제한으로 허용되는 건 아닙니다. 설정 앱에 들어가면 각 앱이 카메라, 위치, 마이크, 연락처에 접근할 수 있는지를 하나하나 제어할 수 있습니다. 어떤 앱이 어떤 권한을 갖는지는 OS가 중앙에서 관리합니다.

Runway의 거버넌스도 같은 구조입니다. 앱을 자유롭게 올리고 조립할 수 있되, 누가 어떤 앱과 데이터에 접근할 수 있는지는 중앙에서 통제합니다.

AI가 여러 부서로 확산될수록 중요한 것은 누가 어떤 데이터와 모델에 접근할 수 있는지, 어떤 작업을 수행했는지, 운영 과정이 추적 가능한지가 중요해집니다.

Runway 2.0은 SSO, RBAC, 세밀한 권한 설정, 감사 로그를 통해 AI 운영에 필요한 보안과 거버넌스를 중앙에서 관리할 수 있도록 지원합니다. 기본으로 제공하는 역할은 물론 기업의 상황에 맞춰 세밀하게 맞춤 권한을 만들 수도 있습니다. 특히 이 인증·권한 체계는 모델과 데이터에만 국한되지 않습니다. Runway 2.0 위에서 구동되는 AI 애플리케이션까지 동일한 거버넌스 정책이 적용되기 때문에, 여러 팀이 다양한 AI를 활용하더라도 일관된 보안 기준과 운영 정책이 유지됩니다.

앱을 자유롭게 올릴 수 있는 만큼, 그 앱들이 기업 안에서 안전하게 돌아갈 수 있도록 하는 권한·정책·감사 체계는 AI가 확장하기 위해서 꼭 갖춰야할 기본 조건입니다.

OS를 가지면 AI 운영의 주도권을 가진다

Runway의 핵심은 앱들이 하나의 고정된 파이프라인으로 묶여 있지 않다는 점입니다. 각각의 구성 요소들은 독립적으로 펼쳐져 있고, 어떻게 연결할지는 팀이 결정합니다. JupyterLab에서 실험하고 MLflow에 결과를 기록한 뒤 Argo CD로 배포할 수도 있고, Langflow로 RAG 파이프라인을 구성해 Chat에서 바로 서빙할 수도 있습니다. 정해진 레일이 아니라, 기업의 환경과 목적에 맞게 자유롭게 조립하는 구조입니다.

스마트폰에 OS가 있어야 앱을 자유롭게 쓸 수 있듯, AI 인프라 위에 Runway가 있어야 AI 앱을 자유롭게 올리고 조합할 수 있습니다. 그리고 그 자유는 통제 없이 주어지는 것이 아닙니다. 어떤 앱을 누가 쓸 수 있는지, 자원은 어떻게 배분되는지, 모든 과정이 추적 가능한지, 이 모든 것이 OS 위에서 함께 관리됩니다.

좋은 AI 모델은 이제 더 이상 희소하지 않습니다. 희소한 것은 그 모델을 조직 안에서 안정적으로, 반복적으로, 기업의 방식대로 운영하는 역량입니다. 앞으로 기업의 AI 경쟁력은 “AI를 얼마나 많이 시도했는가”보다 “AI가 실제 업무 안에서 얼마나 잘 돌아가고 있는가”에서 갈릴 것입니다.

Runway 2.0이 AI OS를 지향하는 이유도, 저희가 생각하는 기업 AI의 다음 단계의 방향도 바로 여기에 있습니다.