온프레미스 AI란 무엇일까? 사내 데이터를 지키며 AI를 도입하려는 기업을 위한 망분리 가이드
직답 요약
온프레미스(on-premise) AI는 AI를 외부 클라우드가 아니라 회사가 직접 소유·통제하는 사내 인프라에 설치해 운영하는 방식으로, 프롬프트에 넣은 문서도 답변도 회사 네트워크 밖으로 나가지 않습니다. 금융·공공처럼 망분리가 의무인 산업이나 기밀 유출을 막아야 하는 기업이 이 방식을 택합니다. 다만 실제로 완성하려면 소프트웨어와 하드웨어가 둘 다 필요하고, 클라우드에는 없던 비용·운영 부담도 함께 따라옵니다.
2023년 봄, 삼성전자의 한 엔지니어가 사내 소스코드를 ChatGPT 입력창에 붙여 넣었습니다. 업무를 빠르게 처리하려던 평범한 시도였지만, 그 코드는 회사 밖 외부 서버로 넘어갔습니다. 파이낸셜뉴스 보도에 따르면 삼성전자는 곧바로 회사 소유의 컴퓨터와 태블릿, 휴대폰은 물론 사내 네트워크에서 생성형 AI 사용을 전면 금지했습니다. 이유는 명확합니다. "이러한 AI 플랫폼에 전송된 데이터는 외부 서버에 저장되기 때문에 회수 및 삭제가 어려워 다른 사용자에게 공개될 위험이 높다"는 것이었습니다.
이 사건은 많은 기업이 AI의 적극적인 도입을 왜 망설이는지 정확히 보여주는 사례입니다. AI로 업무 효율은 올리고 싶은데, 막상 쓰면 사내 데이터가 외부로 유출되는 문제가 생깁니다. 온프레미스 AI는 바로 이 딜레마에 대한 답으로 등장한 개념입니다.
온프레미스 AI란 정확히 무엇을 말하는 걸까?
온프레미스는 소프트웨어와 데이터를 외부 사업자의 클라우드에 맡기는 대신, 회사가 직접 운영하는 서버에 두는 방식을 뜻합니다. '온프레미스(on-premise)'라는 말 자체가 '구내(構內)에', 즉 우리 건물 안에 둔다는 의미입니다. AI에 적용하면, LLM(대규모 언어모델)을 회사 데이터센터나 사내 서버실에 설치해 그 안에서만 돌린다는 뜻이 됩니다.
비교하면 이해가 빠릅니다. ChatGPT나 클라우드 API를 쓰는 방식은 AI 모델이 오픈AI, 구글 같은 외부 사업자의 서버에 있습니다. 우리는 인터넷으로 질문을 보내고 답을 받아옵니다. 편리하지만, 질문에 담긴 데이터가 그 외부 서버를 한 번 거칩니다. 온프레미스는 이 구조를 뒤집습니다. 모델을 우리 서버로 가져와서, 데이터가 회사 밖으로 나갈 일 자체를 없앱니다.
쉽게 비유하면 짐 보관과 같습니다. 클라우드 AI가 짐을 외부 물류창고에 맡기는 것이라면, 온프레미스 AI는 창고를 우리 건물 안에 들여놓는 것입니다. 맡기면 편하지만 창고 열쇠는 업체가 쥐고 있습니다. 들여놓으면 관리는 번거로워도 열쇠만큼은 우리가 직접 쥐거든요.
중간 형태도 있습니다. 하이브리드(hybrid)는 민감한 데이터는 사내 서버에서 처리하고, 덜 민감한 작업만 클라우드에 맡기는 절충안입니다. 회사마다 데이터의 민감도가 다르니, 실제 도입에서는 이 하이브리드 구성을 검토하는 경우도 많습니다. 세 방식의 차이를 한 줄로 요약하면, 데이터가 어디에 머무느냐가 핵심입니다.
클라우드 AI는 정말 안전한 걸까?
클라우드 AI의 진짜 위험은 '해킹당할 수 있다'가 아니라, 직원이 스스로 사내 정보를 외부에 넘긴다는 데 있습니다. 시스코(Cisco)가 2,600명의 보안·프라이버시 실무자를 12개국에서 조사한 2024 데이터 프라이버시 벤치마크를 보면, 응답 조직의 48%가 비공개 회사 정보를 생성형 AI 도구에 입력한 적이 있다고 답했습니다. 절반에 가까운 기업에서 삼성전자와 같은 일이 이미 벌어지고 있다는 뜻입니다.
기업들도 이 위험을 압니다. 시스코 조사에서는 27%가 생성형 AI 사용을 당분간 전면 금지했다고 답했고, 68%가 입력한 정보가 대중이나 경쟁사에 노출될 위험을 우려했습니다. 쓰자니 새어 나갈까 걱정이고, 막자니 경쟁에서 뒤처질까 두려운 상황입니다. 삼성전자의 대응은 예외적인 사례가 아닙니다. 네 곳 중 한 곳 이상이 이미 같은 선택을 했습니다.
그런데 금지만으로는 문제가 풀리지 않습니다. AI를 아예 못 쓰게 막으면 데이터는 지켜지지만 업무 효율이라는 기회를 통째로 버리게 됩니다. 실제로 삼성전자도 금지에서 멈추지 않았습니다. 경향신문 보도에 따르면 삼성전자는 번역과 문서 요약, 소스코드 개발 지원에 최적화한 사내용 생성형 AI를 자체 개발해, 임직원이 보안상 안전한 환경에서 AI를 쓰도록 하는 방안을 함께 추진했습니다. 막는 것만으로는 부족하니 안에서 쓸 방법을 스스로 만든 셈입니다.
이렇게 많은 기업이 다다르는 결론이 온프레미스 AI입니다. 데이터를 밖으로 보내지 않으면서도 AI는 쓰는, 두 마리 토끼를 잡으려는 접근입니다. 특히 금융이나 공공처럼 '망분리'가 걸린 곳이라면 선택의 여지가 더 좁습니다. 클라우드 AI를 쓰고 싶어도 쓸 수 없는 경우가 많기 때문입니다.
망분리 환경에서는 ChatGPT 같은 AI를 못 쓰는 걸까?
망분리(network separation)는 회사의 통신망을 업무망과 인터넷망으로 나눠, 내부 자료가 인터넷 쪽으로 흘러가지 못하게 차단하는 보안 체계입니다. 전자금융감독규정을 정리한 자료에 따르면 망분리에는 두 종류가 있습니다. 물리적 망분리는 업무용 PC와 인터넷용 PC, 네트워크 회선을 아예 따로 두는 방식입니다. 논리적 망분리는 "가상화 소프트웨어나 통신 제어 기술을 이용해 업무용 영역과 인터넷용 영역을 독립된 공간처럼" 나누는 방식입니다.
문제는 여기서 생깁니다. 물리적으로 인터넷과 끊긴 폐쇄망(air-gap) 환경에서는 ChatGPT 같은 클라우드 AI에 접속하는 것 자체가 불가능합니다. 인터넷으로 나가는 길이 막혀 있으니 외부 API를 부를 수가 없습니다. 금융권, 국방, 공공기관처럼 망분리가 의무이거나 관행인 조직에서는 클라우드 AI가 선택지에서 처음부터 빠집니다. 이런 환경에서 AI를 쓰는 유일한 길이 바로 온프레미스입니다. 모델을 망 안으로 들여와야 비로소 AI를 돌릴 수 있습니다.
이는 금융권만의 이야기가 아닙니다. 공공, 국방, 의료처럼 민감한 정보를 다루는 분야도 정도의 차이는 있지만 비슷한 보안 원칙 아래 놓이는 경우가 많습니다. 다루는 데이터의 민감도가 높을수록 망을 더 촘촘히 닫고, 그만큼 클라우드 AI와는 멀어집니다. 규제가 강한 산업일수록 온프레미스 AI가 현실적인 기본값이 되는 이유입니다.
규제가 조금씩 풀리고는 있습니다. 금융당국은 2024년 8월 '금융분야 망분리 개선 로드맵'을 발표하며 물리적 망분리 중심에서 실질적 보안통제 중심으로 방향을 틀었습니다. 일정 요건을 갖추면 SaaS를 쓸 수 있게 예외도 열렸습니다. 다만 이 완화에도 선은 분명합니다. 이용자의 고유식별정보나 개인신용정보를 처리하는 SaaS는 여전히 허용 대상에서 제외돼, 종전처럼 자체 통제 아래 둬야 합니다. 가장 민감한 데이터일수록 밖으로 내보내지 말라는 원칙은 그대로인 셈입니다.
온프레미스 AI를 도입하려면 어떻게 해야 할까?
온프레미스 AI는 소프트웨어와 하드웨어, 두 가지를 함께 갖춰야 완성됩니다. AI를 돌리는 소프트웨어와 그 소프트웨어를 얹을 하드웨어가 짝을 이뤄야 하는데, 둘 중 하나만 준비하면 반쪽짜리 구축이 됩니다. 두 축을 하나씩 보겠습니다.
먼저 소프트웨어 축입니다. 사내에 LLM을 설치하고, 직원이 쓸 챗봇이나 업무 자동화 앱으로 엮고, 사내 문서를 AI가 참고하도록 연결하는 일은 전용 플랫폼이 담당합니다. 대표적인 것이 오픈소스 AI 앱 개발 플랫폼 Dify입니다. Dify는 공식 문서에서 도커(Docker)로 사내 서버에 설치하는 방식을 안내합니다. 이렇게 설치하면 데이터가 회사 인프라 안에 그대로 남습니다. 코드 없이 화면에서 AI 앱을 조립할 수 있어, 개발 인력이 부족한 조직도 접근할 수 있습니다.
사내 문서를 다루려면 RAG(검색 증강 생성)도 필요합니다. RAG는 AI가 답할 때 회사 문서를 먼저 찾아보고 그 내용을 근거로 답하게 만드는 기술입니다. 온프레미스 환경에서 RAG를 쓰면 사내 규정집이나 계약서를 AI에게 물어보면서도 그 문서가 밖으로 나가지 않습니다. RAG가 정확히 어떻게 작동하는지는 RAG란 무엇인가 글에서 따로 풀어 두었습니다.
다음은 하드웨어 축입니다. LLM은 무겁습니다. 일반 업무용 PC로는 버거워서, GPU를 갖춘 AI 워크스테이션(AI workstation)이나 서버가 필요합니다. 온프레미스 AI 구축을 소프트웨어와 하드웨어로 함께 지원하는 ONS는, 이 하드웨어 축으로 Dell Pro Max 계열의 AI 워크스테이션을 다룹니다. Dell Pro Max는 대형 AI 모델을 로컬에서 구동해, 프롬프트와 문서가 자체 네트워크 안에 남도록 설계된 장비입니다. 소프트웨어(Dify)와 하드웨어(Dell Pro Max)를 한 벌로 묶어야 온프레미스 AI가 사내에서 제대로 돌아갑니다. 어느 한쪽만으로는 절반짜리 구축에 그칩니다.
온프레미스 AI로는 어떤 일을 할 수 있을까?
온프레미스 AI로는 크게 세 가지를 할 수 있습니다. 사내 문서 검색과 요약, 반복 업무 자동화, 폐쇄망 안에서의 개발·연구 보조입니다. 데이터가 밖으로 나가면 안 되니 클라우드로는 못 하던 일을, 사내에 들여온 AI로는 할 수 있습니다. 차례로 짚어 보겠습니다.
첫째는 사내 문서 검색과 요약입니다. 규정집, 계약서, 기술 매뉴얼처럼 외부에 내보낼 수 없는 문서를 AI에게 묻고 요약을 받습니다. 담당자가 수백 페이지를 뒤지던 일을, 질문 한 줄로 근거 문단까지 찾아 주는 방식으로 바꿉니다. 앞서 말한 RAG가 이 쓰임새의 핵심 기술입니다.
둘째는 반복 업무 자동화입니다. 접수된 문서를 유형별로 분류하거나, 정해진 양식의 보고서 초안을 만들거나, 긴 회의록에서 결정 사항만 추리는 일을 AI가 대신합니다. 사내 데이터를 그대로 넣어도 되니, 민감 정보가 담긴 업무일수록 온프레미스의 값어치가 드러납니다.
셋째는 폐쇄망 안에서의 개발·연구 보조입니다. 인터넷과 끊긴 연구망에서 코드를 검토하거나 실험 데이터를 분석할 때, 사내에 설치한 AI라면 망을 열지 않고도 쓸 수 있습니다. 클라우드 AI가 처음부터 불가능한 환경이라, 온프레미스가 유일한 선택지가 되는 대표적인 자리입니다.
온프레미스가 부담된다면, 대안은 없을까?
온프레미스 AI는 데이터 보안에서는 가장 강력하지만, 비용과 운영 부담이라는 대가를 함께 요구합니다. 이 점을 솔직히 짚지 않으면 도입 후에 후회하기 쉽습니다.
우선 초기 비용이 큽니다. 클라우드 AI는 쓴 만큼 매달 요금을 내는 방식이라 초기 비용이 적게 듭니다. 반면 온프레미스는 GPU 서버를 미리 사두어야 하므로 초기 투자가 목돈으로 들어갑니다. 대신 AI를 자주, 많이 쓰는 조직이라면 길게 봤을 때 총비용은 온프레미스가 더 낮아질 수 있습니다. 어쩌다 한 번 쓰는 정도면 비싼 장비를 놀리게 되어 클라우드가 유리합니다. 갈림길은 '얼마나 자주, 많이 쓰느냐'입니다.
비용만 문제가 아닙니다. 운영도 이제 회사 몫이 됩니다. 서버를 둘 공간, 전력과 냉각, 그리고 장비와 모델을 관리할 인력이 필요합니다. 클라우드에서는 사업자가 대신 해주던 일을 사내에서 떠안게 됩니다. 여기에 모델이 뒤처질 위험도 있습니다. 클라우드 AI는 최신 모델로 알아서 갱신되지만, 사내에 설치한 모델은 직접 교체하고 업데이트해야 최신 상태를 유지합니다.
그래서 현실적인 답은 대개 하이브리드입니다. 앞서 본 금융 규제 완화처럼, 가장 민감한 데이터만 온프레미스로 지키고 나머지는 클라우드의 편의를 빌리는 구성입니다. 온프레미스냐 클라우드냐를 한쪽으로만 결정할 필요는 없습니다. 지켜야 할 데이터가 무엇인지부터 정하면, 우리 회사에 맞는 지점이 그 사이 어딘가에서 보입니다.
우리 회사에 온프레미스 AI가 필요할까?
온프레미스가 맞는지는 네 가지 기준으로 판가름 납니다. 데이터 민감도, 규제 요건, 사용 규모, 운영 역량입니다. 각 항목을 무엇으로 확인하고 어느 선을 넘으면 온프레미스 쪽인지, 실무 기준으로 정리했습니다.
데이터 민감도. 확인할 것은 AI에 넣을 데이터에 개인정보, 영업 기밀, 계약 정보가 섞여 있는지입니다. 부서별로 다루는 문서를 목록으로 뽑아 보면 드러납니다. 이런 데이터가 상당 부분을 차지하면 클라우드 반출 자체가 위험이라, 온프레미스로 기웁니다. 반대로 공개 자료나 익명 데이터가 대부분이면 클라우드로 충분합니다.
규제 요건. 우리 산업에 망분리 의무나 데이터 국내 보관 의무가 있는지 확인합니다. 금융, 공공, 의료, 국방처럼 감독 규정이 있는 분야라면 컴플라이언스 담당 부서에 현행 기준을 물어보는 것이 가장 빠릅니다. 망분리가 의무이거나 폐쇄망을 쓰는 조직이면 온프레미스는 선택이 아니라 사실상 전제 조건입니다.
사용 규모. AI를 전사 상시 업무로 쓸지, 일부 팀이 가끔 쓸지 가늠합니다. 예상 사용자 수와 하루 처리량을 대략이라도 추산해 보면 됩니다. 상시로 많이 쓸수록 서버를 갖춘 온프레미스의 총비용이 유리해집니다. 사용이 뜸하다면 굳이 장비를 들일 이유가 줄어 종량제 클라우드가 적합합니다.
운영 역량. 서버를 둘 공간과 전력, 그리고 장비와 모델을 관리할 인력이 있는지 봅니다. 전산실 현황과 담당 인력을 점검하면 답이 나옵니다. 역량이 아직 부족하다면 처음부터 대규모 온프레미스를 짓기보다, 하이브리드로 시작하거나 구축과 운영을 함께 맡아 줄 파트너를 두는 편이 현실적입니다.
클라우드 · 온프레미스 · 하이브리드, 한눈에 비교하면
아래 표는 세 방식을 도입 검토 시 자주 따지는 기준으로 정리한 것입니다.
기준 | 클라우드 AI | 온프레미스 AI | 하이브리드 |
|---|---|---|---|
데이터 위치 | 외부 사업자 서버 | 사내 서버(회사 통제) | 민감 데이터는 사내, 나머지는 클라우드 |
초기 비용 | 낮음(종량제) | 높음(서버 선투자) | 중간 |
운영 부담 | 사업자가 담당 | 회사가 담당(전력·냉각·인력) | 나눠 부담 |
망분리·폐쇄망 적합성 | 부적합(인터넷 필요) | 적합(망 안에서 구동) | 부분 적합 |
모델 최신성 | 자동 갱신 | 직접 교체·관리 | 영역별로 다름 |
적합한 상황 | 민감도 낮고 빠른 시작 | 규제 산업·기밀 데이터 | 데이터 민감도가 섞인 조직 |
기준별로 완승하는 방식은 없습니다. 보안이 절대 기준이면 온프레미스, 속도와 비용이 우선이면 클라우드, 둘이 섞여 있으면 하이브리드가 출발점이 됩니다.
자주 묻는 질문
온프레미스 AI를 쓰면 ChatGPT 같은 최신 모델은 못 쓰나요?
최신 상용 모델을 그대로 쓰기는 어렵습니다. ChatGPT처럼 외부 서버에서만 도는 모델은 온프레미스로 가져올 수 없기 때문입니다. 대신 사내 설치가 허용된 오픈소스 계열 모델을 씁니다. 성능 차이는 있지만, 사내 문서 검색이나 업무 자동화 같은 실무에서는 충분히 쓸 만한 수준까지 올라와 있습니다.
망분리 환경에서도 사내 문서 검색(RAG)이 되나요?
됩니다. RAG는 AI가 사내에 저장된 문서를 찾아 그 내용으로 답하는 방식이라, 오히려 온프레미스와 잘 맞습니다. 모델과 문서가 모두 망 안에 있으니 검색 과정에서 데이터가 밖으로 나가지 않습니다. 폐쇄망에서 AI를 쓰는 대표적인 활용처가 바로 사내 문서 검색입니다.
온프레미스와 프라이빗 클라우드는 같은 건가요?
엄밀히는 다릅니다. 온프레미스는 회사가 소유한 물리 서버에 직접 두는 방식이고, 프라이빗 클라우드는 특정 회사 전용으로 격리된 클라우드 공간을 빌리는 방식입니다. 둘 다 데이터를 분리해 보호한다는 목적은 같지만, 폐쇄망처럼 인터넷 연결 자체가 막힌 환경이라면 온프레미스만 가능합니다.
소규모 기업이나 팀도 온프레미스 AI가 가능한가요?
가능합니다. 대형 데이터센터가 아니어도, 부서나 연구실 단위로 쓸 AI 워크스테이션 한 대로 시작할 수 있습니다. 규모에 맞는 장비와 소프트웨어를 고르는 것이 관건이라, 처음부터 크게 짓기보다 필요한 만큼 시작해 확장하는 편이 낫습니다.
온프레미스 AI 구축은 기간과 비용이 얼마나 드나요?
회사 규모와 목표 범위에 따라 크게 달라집니다. 부서 단위로 작게 시작하는지, 전사 폐쇄망에 구축하는지에 따라 장비와 소프트웨어, 구축 기간이 모두 달라지기 때문입니다. 정확한 산정은 다룰 데이터와 사용 규모를 확인한 뒤에야 가능하므로, 도입을 검토 중이라면 ONS 상담을 통해 우리 환경에 맞는 견적을 받아 보는 편이 정확합니다.
온프레미스 AI, 어디서부터 시작하면 될까?
온프레미스 AI는 처음부터 크게 짓기보다, 작은 범위에서 검증하고 넓혀 가는 편이 안전합니다. 큰 서버부터 들이고 전사 도입을 선언했다가 활용이 따라오지 못하면 값비싼 장비만 놀리게 되니까요. 보통 진단에서 개념검증, 확산으로 이어지는 세 단계를 거칩니다.
먼저 진단입니다. 어떤 업무의 어떤 데이터에 AI를 쓸지, 그 데이터가 왜 밖으로 나가면 안 되는지부터 정리합니다. 앞서 따진 네 가지 판단 기준(데이터 민감도, 규제 요건, 사용 규모, 운영 역량)이 이 진단의 뼈대가 됩니다. 지킬 대상과 규제 요건이 또렷해야 그다음 장비와 소프트웨어의 규모가 정해집니다.
다음은 작게 시작하는 개념검증(PoC)입니다. 전사가 아니라 한 부서, 한 업무에 먼저 온프레미스 AI를 얹어 봅니다. 사내 문서 검색 하나만 RAG로 붙여 보는 식입니다. 여기서 실제 효과와 운영 부담을 눈으로 확인하면, 확산 여부를 근거를 갖고 판단할 수 있지 않을까요. 무턱대고 전사로 밀어붙이는 것보다 훨씬 덜 위험한 길입니다.
마지막이 확산입니다. 검증에서 효과가 확인되면 대상 업무와 사용자를 넓히고, 그에 맞춰 서버와 모델을 키웁니다. 이 단계에서 소프트웨어와 하드웨어를 어떻게 맞물릴지, 운영을 누가 맡을지가 실제 구축의 성패를 가릅니다. 구축과 운영 경험이 사내에 아직 없다면, 이 과정을 함께 설계해 줄 파트너를 두는 것이 시행착오를 줄이는 길입니다.
우리 회사에 맞는 방식을 찾으려면
온프레미스 AI는 결국 '무엇을 지켜야 하는가'에서 출발하는 결정입니다. 지켜야 할 데이터의 민감도와 규제 요건을 먼저 정리하면, 클라우드와 온프레미스, 하이브리드 중 어디서 출발할지가 보입니다. 무엇을 사내에 두고 무엇을 클라우드에 맡길지 그 경계를 우리 손으로 먼저 그어 두면, 이후의 장비와 도구 선택은 그 위에서 자연스럽게 따라옵니다. 그리고 그 방식을 사내에서 돌리려면 소프트웨어와 하드웨어를 한 벌로 맞춰야 한다는 점을 기억하면 됩니다.
ONS는 온프레미스 AI의 소프트웨어(Dify)와 하드웨어(Dell Pro Max)를 함께 다룹니다. 사내 설치형 AI 플랫폼을 어떻게 구성하고 운영하는지 더 알고 싶다면 Dify 도입 총정리 글에서 기능과 도입 과정을 확인할 수 있습니다. 우리 회사의 보안 환경에 맞는 구성을 검토하고 싶다면 ONS에 문의해 주세요.