Dell Pro Max, 한 대로 부족해지면 어디까지 확장할 수 있을까?

직답 요약

장비 확장은 단일 장비(128GB)에서 2대 연동(256GB)으로, 그리고 Dell 엔터프라이즈 서버로 이어지는 3단계로 진행됩니다. 두 대를 연결할 때 필요한 것은 QSFP 케이블 1개뿐이며, 단계가 바뀌어도 기존 코드와 개발 환경을 그대로 유지할 수 있습니다. CUDA 생태계 기반이라 향후 데이터센터로 확장하더라도 동일한 코드를 바로 재사용할 수 있다는 것이 오픈네트웍시스템의 안내입니다.

AI 워크스테이션을 도입해 몇 달을 사용하다보면 자연스럽게 이런 의문을 가지게 됩니다. 처음에는 "우리 모델이 이 장비에서 잘 돌아가는가?"를 궁금해했다면, 얼마 지나지 않아 "프로젝트 규모가 커지면 어떻게 확장해야 하는가?"라는 생각을 합니다. 팀 내 연구 인원이 늘었거나, 다루는 모델의 체급이 커졌기 때문입니다.

이 질문이 중요한 이유는 답에 따라 인프라 구축 전략이 완전히 달라지기 때문입니다. 확장 방식이 기존 장비를 교체(Scale-up)하는 구조라면 초기에 예산을 끌어모아 처음부터 최고 사양을 구매해야 합니다. 반면 장비를 유연하게 덧붙이는 구조(Scale-out)라면 당장 필요한 만큼만 도입하고 시점에 맞춰 증설하면 됩니다. Dell Pro Max with GB10은 당장 필요한 만큼만 도입하고 뒤에 케이블로 덧붙이는 후자의 방식입니다.

오픈네트웍시스템이 안내하는 확장 경로는 세 단계입니다. 아래 표는 그 세 단계에 NVIDIA 공식 사양과 저희 판단을 함께 올려 정리한 것입니다.

두 대를 사는 이유가 모델 크기인지 사람 수인지에 따라 묶을지 말지가 갈립니다. 큰 모델을 한 덩어리로 올려야 하면 2단계-A, 사람이 늘어 대기가 생기는 것이라면 2단계-B가 맞습니다.

1단계의 128GB와 2,000억은 NVIDIA 공식 사양이고 정밀도는 공식 문서에 적혀 있지 않습니다. 2단계의 256GB와 4,050억, 그리고 4비트 조건은 오픈네트웍시스템 안내 수치입니다. 3단계 두 칸은 공개된 수치가 없어 방향만 적었습니다. 2단계-B는 오픈네트웍시스템 안내에 없는, 저희가 더한 구분입니다. 4비트는 모델을 가볍게 눌러 담는 방식(양자화)의 한 단계로 파라미터 1개당 약 0.5바이트를 쓰며, 계산은 아래 1장에 있습니다.

초기 워크스테이션 선택 단계라면 AI 워크스테이션 고르는 법을 먼저 읽으시길 권합니다.

지금 장비로 어디까지 커버할 수 있고, 무엇이 먼저 병목이 될까?

단일 장비 기준 통합 메모리는 128GB이고, 추론은 최대 2,000억(200B) 파라미터까지 가능하다는 것이 NVIDIA 공식 사양입니다. 같은 문서가 파인튜닝은 700억(70B)까지로 적고 있어 학습까지 돌릴 계획이라면 체급 기준을 따로 잡아야 합니다. 성능 한계에 부딪히는 원인은 크게 '모델 크기 확장'과 '사용 인원 증가' 두 가지입니다.

128GB 메모리의 실제 여유 공간을 계산해보면 여유가 어느 정도인지 가늠할 수 있습니다. 4비트로 양자화할 경우 파라미터 1개당 약 0.5바이트가 소요되므로, 2,000억 파라미터 모델의 가중치를 올리는 데만 약 100GB가 필요합니다. 이렇게 어림하면 남는 여유는 30GB가 채 안 되고 운영체제와 대화 맥락 캐시를 그 안에서 함께 처리해야 합니다. 그래서 같은 2,000억 모델이라도 컨텍스트 길이를 길게 늘리거나 여러 요청을 동시에 처리하면 체감상 훨씬 빨리 메모리가 부족해집니다.

메모리 용량 못지않게 중요한 지표가 메모리 대역폭입니다. 대역폭은 추론 속도를 결정짓는 핵심 요소로, Dell Pro Max의 메모리 대역폭은 273GB/s입니다. 텍스트 토큰을 생성할 때마다 모델 가중치를 메모리에서 계속 읽어와야 하므로, 생성 속도의 상한선은 사실상 이 대역폭이 결정합니다.

첫 번째 병목 원인은 모델 크기의 증가입니다. 2,000억 파라미터를 넘는 대형 모델을 올리려면 더 많은 메모리가 필요합니다. 더 세게 양자화하여 강제로 올려둘 수도 있지만, 정밀도가 떨어지면 모델 출력 품질도 하락합니다. 결국 논문 작성이나 실무 검증용으로 활용하기 어려워져 실험을 다시 돌려야 하는 문제가 생깁니다. 장비 제약 때문에 연구 결과의 신뢰성이 떨어지는 상황은 연구 일정 전체에 큰 차질을 줍니다.

둘째는 사용자의 수가 늘어난 경우입니다. 특히 저희가 제품 안내에서 들고 있는 장면이 '대학원 연구실에서 5~10명이 공용 장비 1대를 나누어 쓰는 상황'입니다. 학회 논문 제출 마감일 등이 겹치면 작업 대기 시간이 며칠씩 밀리거나, 밤새 실행 중이던 실험이 타인의 작업으로 인해 중단되는 일이 발생합니다. 이 경우의 병목은 모델 체급이 아니라 '동시 처리 작업 수'입니다.

위 두 가지 사례는 각각 해결방안이 전혀 다릅니다. 모델 크기가 원인이라면 장비 2대를 묶어 메모리 용량을 확보해야 합니다. 반면 사용자 수가 문제라면 장비 수량을 늘려 개인별로 전용 장비를 배정하는 편이 효과적입니다. 동일하게 2대를 도입하더라도 케이블로 묶어 한 덩어리로 쓸지, 묶지 않고 1인 1대로 배정할지가 달라집니다. 현재 부딪힌 병목의 원인이 무엇인지 먼저 파악하는 것이 순서입니다.

두 대를 묶으면 무엇이 달라질까?

통합 메모리가 256GB가 되고, 4비트 기준 최대 4,050억(405B) 파라미터 모델까지 올라간다는 것이 오픈네트웍시스템의 안내 수치입니다. 연결에 필요한 것은 QSFP 케이블 한 개입니다.

스펙상 수치는 2배 증가이지만, 실제로 다룰 수 있는 연구 범위는 훨씬 넓어집니다. 단일 장비 상한선(2,000억) 때문에 시도조차 불가능했던 체급도 검토 대상으로 넣을 수 있습니다. 이전 단계가 모델을 줄여 하드웨어에 맞추는 방식이었다면, 이 단계부터는 목적에 맞는 최적의 모델을 원본 그대로 가져와 사용할 수 있습니다.

이 확장의 핵심은 간편한 연결 방식입니다. 본체 후면에 탑재된 ConnectX-7 QSFP 포트 2개 중 하나에 QSFP56 DAC 케이블을 연결하면 두 장비가 직접 연동됩니다. 대역폭 규격은 200Gbps(약 25GB/s)이며, 저희가 실측값으로 안내하는 실제 전송 속도는 21GB/s 수준입니다. DAC는 구리선을 그대로 쓰는 방식이라 광 트랜시버나 스위치 같은 중간 장비가 필요하지 않고 짧은 거리에서는 지연도 더 적습니다. 책상 두 개를 붙여 하나의 넓은 작업대로 만드는 것과 같은 개념입니다.

두 장비로 분산 배치된 모델은 이 케이블을 통해 계산 중간값을 실시간으로 주고받습니다. 이 전송 과정에서 병목이 발생하면 메모리 확장 효과가 반감되므로, 확장 구성을 고려할 때 인터커넥트 속도(연결 속도)는 메모리 용량만큼이나 중요합니다. 단 기억해야 할 점은 메모리 대역폭 273GB/s는 본체 한 대의 값이고, 두 대를 묶는다고 이 값이 합쳐지지는 않습니다.

그래서 같은 맥락에서 한 가지 미리 알아 두어야 할 것은, 두 대를 묶는 것이 '메모리를 키우는 확장'이지 '속도를 키우는 확장'이 아니라고 보는 편이 안전합니다. 단일 장비에 들어가는 모델을 2대에 나눠 올리면 연동 케이블을 통한 데이터 교환 지연이 발생하여 오히려 처리 응답 속도가 느려질 수 있습니다. 현재 다루는 모델이 단일 장비 메모리에 충분히 담긴다면, 2대를 묶는 것보다는 독립된 2대로 운용하는 것을 추천합니다.

개발 편의성 면에서도 코드 수정이 필요 없다는 장점이 있습니다. 저희가 가장 강조하는 부분 역시, 장비를 2대로 확장하더라도 기존 코드와 개발 환경을 다시 짤 필요가 없다는 점입니다. 인프라 확장으로 인해 코드 파이프라인을 다시 수정해야 한다면 그만큼 연구 및 개발 일정이 손실되기 때문입니다.

같은 4,050억 모델을 다른 방법으로 돌릴 때 비용이 어떻게 달라지는지, 오픈네트웍시스템이 정리한 값입니다.

메모리 행만 보면 H100 쪽이 320GB로 더 크고, 표도 H100 칸만 405B+로 적어 그 위 모델까지 열어 둡니다. 다만 이 표가 기준으로 잡은 4,050억까지는 256GB로 커버되므로, 지금 다루려는 모델이 그 선 안이라면 남는 용량이 선택을 가르지는 않습니다.

표에서 실제로 봐야 하는 것은 비용 한 줄이 아니라 비용의 성격입니다. H100 구성은 장비값 외에 InfiniBand 연결 비용이 따로 붙는 데다 표가 설치 공간을 서버실로 적고 있으므로 표에 적힌 1.5억에서 2.3억은 시작점에 가깝습니다. 클라우드는 초기 비용이 없는 대신 매년 같은 금액이 계속 나가고, Dell Pro Max 2대와 견주면 총액은 첫해부터 뒤집힙니다.

폐쇄망에서 일하거나 다루는 데이터가 외부로 나갈 수 없는 조직이라면 비용과 메모리를 비교할 필요 자체가 없습니다. 클라우드가 애초에 후보에서 빠지기 때문입니다.. 망분리 조건을 먼저 정리하고 싶다면 온프레미스·망분리 편을 함께 보시면 됩니다.

연구원 여럿이 한 장비를 같이 쓰려면?

컨테이너로 사람마다 환경을 나눕니다. 필요한 것은 이미 설치된 상태로 옵니다.

Dell Pro Max에 올라가는 DGX OS는 Ubuntu 24.04를 기반으로 하고 CUDA, PyTorch, TensorFlow, Docker, JupyterLab이 미리 들어 있습니다. NVIDIA 컨테이너 툴킷도 사전 설치와 설정을 마친 상태로 제공되어 컨테이너 안에서 곧바로 GPU 자원에 접근할 수 있습니다.

버전 충돌을 겪어 본 팀이라면 이 구성의 의미를 바로 알아봅니다. 공용 장비에서 사고는 이런 식으로 벌어집니다. 한 연구원이 새 논문 구현체를 돌리려고 라이브러리를 올리면, 그날 밤 다른 연구원의 학습이 멈춰 있고 원인을 찾는 데 하루가 갑니다. 컨테이너로 나누면 각자의 라이브러리 버전이 서로 격리되므로 이런 사고 자체가 생기지 않습니다.

사람마다 쓰던 환경을 이미지로 만들어 두면 장비를 옮기거나 새로 한 대를 붙일 때 그 이미지를 그대로 올리면 됩니다. 새로 온 연구원에게 환경을 맞춰 주는 시간도 이미지를 하나 건네는 것으로 줄어듭니다.

10GbE 이더넷 포트로 사내 망에 붙여 두면 각자 책상에서 접속해 쓸 수 있습니다. 장비가 놓인 방에 가서 써야 한다면 결국 순번을 기다리는 구조로 돌아갑니다. 망에 올려 두면 한 사람이 모델을 돌리는 동안 다른 사람이 데이터를 준비하는 식으로 겹쳐 쓸 수 있습니다.

오픈네트웍시스템이 공개한 장면은 5~10명이 한 대를 공유하는 상황까지입니다. 실제로 그렇게 쓰는 연구실이 많지만, 그 사례와 앞 절의 병목 구분을 겹쳐 저희가 정리한 권장 구성은 조금 다릅니다.

더 큰 규모의 자원 배분 솔루션을 얹는 것도 가능합니다. NVIDIA는 컨테이너 런타임의 이점으로 널리 쓰이는 컨테이너 오케스트레이션 플랫폼과의 호환성을 들고 있습니다. 어느 솔루션을 어디까지 검증했는지는 공식 문서에 나와 있지 않습니다. 특정 솔루션을 전제로 도입을 계획하신다면 오픈네트웍시스템이 구성 검토 단계에서 함께 확인합니다.

두 대 위로는 어떻게 가야 할까?

오픈네트웍시스템이 안내하는 구성은 두 대까지이고, 그 위는 Dell 엔터프라이즈 서버와 스토리지입니다.

NVIDIA는 같은 계열 시스템을 최대 네 대까지 연결해 7,000억 파라미터 모델까지 다룰 수 있다고 밝히고 있습니다. 다만 오픈네트웍시스템이 안내하는 확장 경로는 두 대까지이고, 그 위는 서버 쪽으로 넘어가는 단계로 잡혀 있습니다. 세 대 이상은 오픈네트웍시스템이 안내하는 범위 밖이므로, 검토하신다면 공급과 지원 조건을 먼저 문의하셔야 합니다. 서버로 넘어갈 때도 오픈네트웍시스템은 기존 인프라의 코드를 바꾸지 않는다고 안내합니다.

그럼 언제 넘어가야 할까요. 모델 크기 하나로는 정해지지 않고 실무에서는 네 가지를 같이 놓고 봅니다.

동시에 쓰는 사람이 몇 명인가. 연구원이 열 명 안팎으로 늘고 각자 상시로 실험을 돌린다면 두 대로도 대기가 다시 생깁니다. 이 경우 메모리를 더 키우는 것보다 자원을 배분하고 순번을 관리하는 체계가 먼저 필요해지고, 그 체계는 서버 환경에서 다루는 쪽이 수월합니다.

장비가 쉬는 시간이 있는가. 여러 대가 밤에도 주말에도 계속 돌아가는 상태라면 이미 워크스테이션의 용도를 넘어선 것입니다. 한 대를 낮에 쓰는 것과 달리 상시 가동은 발열과 전원을 설비 문제로 만들고, 이는 장비를 더 사서 해결되지 않습니다.

데이터가 얼마나 쌓이는가. 학습 데이터가 수십 테라바이트 단위로 늘어나면 계산 장비보다 저장과 입출력이 먼저 막힙니다. 학습 데이터를 옮기고 읽는 시간이 계산 시간을 넘어서기 시작하면 스토리지를 포함한 구성을 검토할 때입니다.

관리할 사람이 정해졌는가. 워크스테이션은 연구원이 직접 쓰다가 필요할 때 수정하면 되지만, 서버는 계정과 권한과 백업을 챙기는 사람이 있어야 운영됩니다. 전담 인력 없이 서버로 넘어가면 장비가 좋아진 만큼 운영 부담이 늘어나는 셈입니다.

앞의 셋 중 둘 이상이 겹치는 시점이 서버 쪽 검토를 시작할 때입니다. 넷째는 가산 조건이 아니라 전제 점검입니다. 관리할 사람이 없다면 서버 전환은 장비가 좋아진 만큼 운영 부담을 만들므로, 인력 확보 계획을 함께 세워야 합니다. 어떤 서버와 스토리지를 어떤 순서로 붙이는지는 조직의 기존 인프라에 따라 달라집니다.

나중에 데이터센터로 옮기면 코드를 다시 짜야 할까?

같은 CUDA 생태계 안에 있으므로 포팅 작업이 줄어듭니다. 책상 위에서 검증한 코드를 H100이나 A100 환경으로 수정 없이 배포할 수 있다는 것이 오픈네트웍시스템의 안내이고, NVIDIA 이식 가이드는 이 장비가 CUDA 13.0을 쓴다고 밝히고 있습니다. 옮겨 갈 쪽 환경의 CUDA 세대가 무엇인지는 데이터센터마다 다르므로 구성 전에 맞춰 두셔야 합니다.

로컬 장비와 데이터센터의 개발 환경이 다르면 코드를 옮길 때마다 포팅 작업이 붙습니다. 특정 연산자가 대상 환경에 없어서 직접 구현해야 하거나 성능이 나오지 않아 다시 수정해야 하는 일이 반복되면, 그 공수가 장비 선택보다 큰 비용이 되는 경우를 저희는 보아 왔습니다. 같은 생태계 안에 머무르면 이 비용이 처음부터 발생하지 않습니다.

책상 위 장비에서 모델을 만들어 소규모 데이터로 검증하고 결과가 괜찮으면 대규모 학습만 데이터센터나 클라우드로 올립니다. 학습이 끝나면 가중치를 다시 로컬로 가져와 분석하고 다음 실험을 준비합니다. 이 왕복에서 코드를 수정하지 않아도 되는 것이 CUDA 생태계를 쓰는 가장 실질적인 이유입니다.

실험 재현성 측면에서도 이 왕복이 편해서 로컬에서 쓰던 컨테이너 이미지를 그대로 올리면 라이브러리 버전이 환경마다 달라져서 결과가 미묘하게 달라지는 일을 줄일 수 있습니다. 논문 마감을 앞두고 같은 코드가 환경에 따라 다른 수치를 내놓는 상황은 피해야 합니다.

지금 쓰는 코드가 앞으로 올라갈 환경에서 그대로 실행되는지가 메모리 용량과 같은 무게입니다.

사무실에 그냥 두어도 괜찮을까?

추론 중 소비 전력이 약 200W이고 전원은 280W 어댑터를 USB-C로 연결합니다.

일반 사무실 콘센트에서 쓰는 수준이라 별도 전기 공사나 서버실이 필요하지 않습니다.. 두 대를 묶어도 각 본체가 자기 어댑터를 쓰므로 이 조건은 달라지지 않습니다. 서버 한 대를 들이려면 전원과 냉방부터 검토해야 하는 것과 비교하면 도입 문턱이 크게 낮습니다. 설비 검토가 필요해지는 것은 여러 대를 밤낮 없이 돌릴 때입니다.

전력이 이 수준으로 유지되는 데는 CPU 구성이 관여합니다. 코어를 성능용과 저전력용으로 나눠 쓰는 구조라 추론이 돌 때와 대기할 때의 소비가 갈립니다. 200W는 추론이 도는 동안의 값이므로 하루 종일 켜 두더라도 그 수준이 계속 걸리지는 않습니다.

발열도 같은 범위에 머무릅니다. 200W면 사무실 책상 위에 두고 일하는 데 무리가 없고, 두 대를 붙여 놓아도 서버 랙처럼 별도 공간을 잡을 필요가 없습니다. 두 대를 QSFP 케이블로 잇는 구성이므로 케이블이 닿는 거리 안에 나란히 두어야 합니다. 층이 다르거나 방이 떨어져 있다면 케이블 길이부터 재 보셔야 합니다.

확장을 염두에 둔다면 처음에 무엇을 정해야 할까?

지금 정할 것은 넷입니다. 모델 상한, 동시 사용 인원, 증설 시점, 데이터 반출 가능 여부.

돌릴 모델의 상한을 먼저 적어 봅니다. 앞으로 1년 동안 추론은 2,000억, 파인튜닝은 700억 아래에서 머무를 계획이라면 한 대로 시작하는 것이 맞습니다. 이미 그 위를 보고 있다면 두 대 구성을 처음부터 검토해야 예산 협의가 수월합니다.

동시에 쓸 사람 수를 셉니다. 앞 절의 구간에 대입해 한 대로 나눠 쓸지 대수를 늘릴지를 먼저 가릅니다.

두 대로 갈 시점을 정해 둡니다. 나중에 붙일 수 있는 구조이므로 지금 두 대를 다 살 필요는 없습니다. 다만 어떤 조건이 되면 한 대를 더 붙일지를 미리 적어 두면 다음 예산 주기에 올리기 쉽습니다.

데이터가 밖으로 나갈 수 있는지 확인합니다. 나갈 수 없다면 클라우드는 처음부터 후보가 아니고, 그 조건 하나가 비용 비교의 전제를 바꿉니다.

이 네 줄이 채워지면 한 대로 시작할지 두 대로 시작할지가 대체로 정해집니다. 견적을 받을 때 무엇을 물어야 하는지도 같은 네 줄에서 나옵니다. 예산 확보 방법을 함께 검토하고 계시다면 AI 워크스테이션 정부지원 편도 같은 기준으로 정리해 두었습니다. 오픈네트웍시스템은 도입 상담에서 이 네 항목부터 함께 정리합니다.

자주 묻는 질문

두 대를 연결하려면 스위치나 별도 네트워크 장비가 필요한가요?

필요하지 않습니다. 본체에 ConnectX-7 QSFP 포트가 두 개 있어서 QSFP56 DAC 케이블 한 개로 두 대를 직접 연결합니다.

세 대 이상도 묶을 수 있나요?

NVIDIA는 같은 계열 시스템을 최대 네 대까지 연결해 7,000억 파라미터까지 다룰 수 있다고 밝히고 있습니다. 오픈네트웍시스템이 국내에 안내하는 구성은 두 대까지이므로 세 대 이상은 공급과 지원 조건을 먼저 확인하셔야 합니다.

지금 한 대를 쓰고 있는데 나중에 한 대를 더 붙여도 되나요?

그렇게 쓰도록 설계된 구조입니다. 오픈네트웍시스템은 두 대 구성으로 넘어갈 때 코드와 환경을 바꾸지 않는다고 안내하고 있습니다.

4,050억 파라미터는 어떤 정밀도 기준인가요?

오픈네트웍시스템 비교표는 4비트 기준으로 표기합니다. NVIDIA 공식 사양은 두 대 구성의 수치를 따로 밝히지 않고 정밀도 조건도 적지 않습니다. 실제로 쓰실 정밀도가 다르다면 구성 전에 확인하시는 편이 좋습니다.

두 대를 쓰면 전기 설비를 새로 해야 하나요?

각 본체가 280W 어댑터를 USB-C로 쓰고 추론 중 소비 전력은 약 200W입니다. 일반 사무실 전원에서 두 대를 함께 쓰는 데 별도 공사가 필요한 수준은 아닙니다.

출처

출처

• 오픈네트웍시스템, Dell Pro Max with GB10 제품 안내: https://open-network.co.kr/promax.html

• NVIDIA, DGX Spark 제품 사양: https://www.nvidia.com/en-us/products/workstations/dgx-spark/

• NVIDIA, DGX Spark User Guide, NVIDIA Container Runtime for Docker: https://docs.nvidia.com/dgx/dgx-spark/nvidia-container-runtime-for-docker.html

• NVIDIA, DGX Spark Porting Guide, Software Requirements: https://docs.nvidia.com/dgx/dgx-spark-porting-guide/porting/software-requirements.html