Dell Pro Max GB10으로 어떤 LLM을 돌릴 수 있을까?

직답 요약

Dell Pro Max with GB10은 128GB 통합 시스템 메모리를 제공해 Qwen3.6-27B와 gpt-oss-120b처럼 실제 체크포인트가 약 60GB 안팎인 모델을 한 대에서 실행할 수 있습니다. 반면 GLM-5.2의 217GB 배포본은 두 대 이상, Kimi-K3의 466GB 배포본은 네 대 수준의 분산 구성이 필요합니다. 다만 모델 파일 크기만으로 실행 가능 여부가 결정되지는 않으며, 운영체제·추론 엔진·KV 캐시·컨텍스트 길이·동시 요청 수를 함께 고려해야 합니다. 파인튜닝은 27B~32B급 모델의 QLoRA와 LoRA를 한 대에서 검토할 수 있고, 70B급은 QLoRA 중심으로 검토할 수 있습니다.

로컬 LLM 시대, 왜 워크스테이션인가?

최근 AI 장비를 찾는 분들의 관심이 달라지고 있습니다. 예전에는 "GPU를 몇 장 구성해야 하나요?"라는 질문이 많았다면, 이제는 "Dell Pro Max GB10에서 제가 사용하려는 LLM을 돌릴 수 있나요?"라고 묻는 경우가 늘었습니다.

오픈웨이트 모델의 성능이 빠르게 좋아지고 있고, 기업 내부 문서나 소스코드처럼 외부로 보내기 어려운 데이터를 직접 처리하려는 수요도 커지고 있기 때문입니다. 외부 API를 이용하면 편리하지만, 데이터 보안과 비용, 사용량 제한을 함께 고려해야 합니다. 반면 로컬 워크스테이션을 구축하면 필요한 모델을 직접 운영하면서 데이터가 외부로 나가지 않는 환경을 만들 수 있습니다.

물론 GPU를 여러 장 구매해 직접 서버나 워크스테이션을 구성할 수도 있습니다. 하지만 전원과 냉각, GPU 간 연결, 메모리 배치, 드라이버와 라이브러리 호환성까지 직접 확인해야 합니다. AI 워크스테이션은 이러한 요소를 하나의 제품으로 통합해, 사용자가 부품 조합보다 실제 모델과 업무에 집중할 수 있도록 해줍니다.

Dell Pro Max with GB10이 주목받는 이유도 여기에 있습니다. 데스크톱 크기의 장비에 128GB 통합 시스템 메모리를 제공해, 일반적인 단일 GPU로는 올리기 어려운 수십 GiB 규모의 모델을 한 대에서 실행할 수 있습니다. 필요하면 같은 장비를 여러 대 연결해 더 큰 모델에도 도전할 수 있습니다.

그렇다면 실제로 어떤 모델을 한 대에서 돌릴 수 있을까요? 두 대, 세 대, 네 대를 구성하면 어디까지 가능할까요? 이 글에서는 Dell Pro Max with GB10의 주요 사양부터 모델 선택 시 확인해야 할 기준, 한 대부터 네 대까지 구성했을 때 실행을 검토할 수 있는 모델을 순서대로 살펴보겠습니다.

로컬 LLM 실행 가능성을 판단하려면 어떤 사양을 봐야 할까?

Dell Pro Max with GB10은 NVIDIA GB10 Grace Blackwell 플랫폼을 기반으로 한 AI 워크스테이션입니다. 주요 사양은 다음과 같습니다.

• 20코어 ARM CPU

• 최대 1 PFLOP FP4 연산 성능

• 128GB LPDDR5x 통합 시스템 메모리

• 273GB/s 메모리 대역폭

• ConnectX-7 기반 고속 네트워크 인터페이스

• 약 150 × 150 × 51mm 크기

• 최소 중량 약 1.31kg

이 가운데 LLM 실행 가능 여부를 판단할 때 가장 먼저 봐야 할 사양은 1 PFLOP 연산 성능이 아니라 128GB 통합 메모리입니다.

일반적인 PC나 GPU 워크스테이션에서는 CPU가 사용하는 시스템 RAM과 GPU가 사용하는 VRAM이 분리돼 있습니다. 시스템 RAM이 256GB라도 GPU VRAM이 24GB라면, GPU에 모델을 올릴 때는 24GB라는 제한을 먼저 받습니다.

반면 GB10은 CPU와 GPU가 하나의 통합 메모리를 공유합니다. 따라서 모델 가중치를 CPU 메모리와 GPU 메모리 사이에서 복잡하게 나누지 않고, 한 대의 장비에서 더 큰 모델을 다룰 수 있습니다.

다만 제조사가 표기한 128GB를 모두 모델에 사용할 수 있는 것은 아닙니다. 이를 2진 단위로 환산하면 약 119.2 GiB이며, 운영체제와 추론 엔진, KV 캐시가 사용할 공간도 남겨야 합니다. 따라서 실제 모델 파일은 119.2 GiB보다 충분히 작아야 안정적으로 실행할 수 있습니다.

모델을 고를 때 파라미터 수보다 먼저 확인할 것

LLM의 크기를 이야기할 때 흔히 7B, 32B, 70B, 120B처럼 파라미터 수를 기준으로 설명합니다. 하지만 GB10에 모델이 올라가는지 판단할 때는 파라미터 수만 봐서는 부족합니다.

실제로 필요한 메모리는 다음 요소에 따라 달라집니다.

• 모델의 파라미터 수

• FP16, INT8, 4비트 등 정밀도

• 양자화 방식

• 모델 구조가 Dense인지 MoE인지

• 실제 배포 파일의 크기

• 사용할 컨텍스트 길이

• 동시 요청 수

• 추론 엔진이 사용하는 메모리

예를 들어 gpt-oss-120b는 이름만 보면 120B 모델이므로 매우 큰 메모리가 필요할 것처럼 보입니다. 하지만 OpenAI가 공개한 공식 체크포인트 크기는 60.8 GiB입니다. MoE 구조와 MXFP4 양자화를 적용했기 때문에 파라미터 수에 비해 실제 파일 크기가 크게 줄어든 것입니다.

반대로 같은 대형 모델이라도 양자화 방식에 따라 파일 크기가 수백 GB에서 1TB 이상까지 커질 수 있습니다. 따라서 120B × 2바이트처럼 단순히 파라미터 수에 바이트 수를 곱하는 방식보다는, 실제로 사용할 체크포인트의 파일 크기를 확인하는 것이 정확합니다.

또한 모델 파일이 메모리에 들어간다고 해서 바로 안정적으로 실행된다는 뜻은 아닙니다. 실행 중에는 대화 문맥을 저장하는 KV 캐시와 추론 엔진, 운영체제가 추가 메모리를 사용합니다. 긴 문서를 입력하거나 여러 사용자가 동시에 접속하면 필요한 메모리는 더 커집니다.

따라서 GB10 한 대에서 모델을 선택할 때는 다음처럼 판단하는 것이 좋습니다.

• 모델 파일이 60GB 안팎이면 비교적 여유 있게 검토 가능

• 모델 파일이 80~90GB라면 컨텍스트 길이와 동시 요청 수를 함께 확인

• 모델 파일이 100GB를 넘으면 실행 환경에 따라 제약이 커질 수 있음

• 119.2 GiB에 가까운 모델은 단순히 파일이 들어가더라도 실사용에는 적합하지 않을 수 있음

어떤 모델이 GB10 한 대에서 실행하기 쉬울까?

실제 배포 파일 크기를 기준으로 보면 GB10 한 대에서 검토할 수 있는 모델은 다음과 같습니다.

Qwen3.6-27B: 55.6GB

Qwen3.6-27B는 공식 저장소 기준 파일 크기가 55.6GB입니다. GB10 한 대의 메모리에 비교적 여유 있게 들어가는 크기이므로, 긴 컨텍스트나 개인용·연구용 추론 환경을 구성하기에 적합한 후보입니다.

gpt-oss-120b: 60.8 GiB

gpt-oss-120b는 120B급 모델이지만 공식 체크포인트 크기가 60.8 GiB입니다. 모델 파일만 놓고 보면 GB10 한 대에서 실행을 검토할 수 있습니다.

다만 120B급 모델인 만큼 Qwen3.6-27B보다 추론 속도와 메모리 여유를 더 신중하게 확인해야 합니다. 짧은 대화나 개인 연구용으로는 가능성이 높지만, 긴 컨텍스트와 다수의 동시 사용자를 처리하는 환경에서는 별도 테스트가 필요합니다.

GLM-5.2: 217GB

GLM-5.2의 작은 GGUF 배포본인 UD-IQ1_S도 약 217GB입니다. GB10 한 대의 메모리 범위를 크게 넘어가기 때문에 단일 장비에서는 실행하기 어렵습니다.

Kimi-K3: 466GB

Kimi-K3의 UD-Q1_0 배포본은 약 466GB입니다. GB10 한 대로는 처리할 수 없으며, 여러 대를 연결한 분산 추론 구성이 필요합니다.

Kimi-K3는 2.8T 파라미터급 모델이므로 강하게 양자화해도 GB10 한 대에는 들어가지 않습니다.

한 대 기준으로 정리하면, GB10은 대략 50~70GB대 모델을 여유 있게 운영하고, 100GB에 가까운 모델은 조건부로 검토하는 장비라고 볼 수 있습니다.

GB10 두 대에서 운용 가능한 모델은?

GB10 한 대의 보수적인 사용 가능 메모리를 약 119.2 GiB로 보면, 두 대를 구성했을 때 단순 합산 기준으로 약 238.4 GiB 규모가 됩니다.

이 경우 한 대에 들어가지 않던 GLM-5.2의 217GB 배포본을 두 대에서 검토할 수 있습니다.

다만 두 대를 연결한다고 해서 운영체제에서 238.4 GiB짜리 GPU 한 장으로 인식되는 것은 아닙니다. 모델을 여러 장비에 나누어 올리는 분산 추론 구성이 필요합니다.

따라서 두 대 구성은 다음과 같은 경우에 적합합니다.

• 한 대에 들어가지 않는 200GB 안팎의 모델을 실행하려는 경우

• 70B~120B급 모델을 더 긴 컨텍스트로 운영하려는 경우

• 한 대보다 높은 메모리 여유와 처리량이 필요한 경우

• 향후 세 대 이상으로 확장할 계획이 있는 경우

GLM-5.2처럼 217GB 수준의 모델은 두 대 구성에서 파일 크기상 검토할 수 있지만, 실제 실행 가능 여부는 분산 추론 프레임워크와 모델 지원 여부를 확인해야 합니다.

GB10 세 대에서 운용 가능한 모델은?

GB10 세 대의 단순 합산 메모리는 약 357.6 GiB입니다. NVIDIA는 최대 세 대까지 시스템 간 직접 연결 구성을 지원합니다.

세 대 구성에서는 217GB 수준의 GLM-5.2를 비교적 여유 있게 검토할 수 있습니다. 또한 300GB대의 대형 양자화 모델도 파일 크기상 접근할 수 있습니다.

세 대 구성은 단순히 더 큰 모델을 올리는 것뿐 아니라, 모델 실행 중 필요한 KV 캐시와 런타임 메모리를 확보하는 데도 도움이 됩니다. 특히 긴 문맥을 사용하거나 여러 요청을 동시에 처리하려는 경우, 모델 파일 크기만 간신히 맞추는 것보다 여유 메모리를 확보하는 편이 안정적입니다.

다만 세 대부터는 장비 수가 늘어나는 만큼 네트워크 구성과 분산 추론 설정의 중요성도 커집니다. 모델을 어떻게 분할할지, 각 장비에 어느 정도의 가중치를 배치할지, 노드 간 통신을 어떻게 구성할지 사전에 확인해야 합니다.

GB10 네 대에서 운용 가능한 모델은?

GB10 네 대를 구성하면 단순 합산 기준으로 약 476.8 GiB의 메모리 규모가 됩니다. NVIDIA 구성 기준으로 네 대를 연결할 때는 별도의 스위치 구성이 필요합니다.

이론적인 파일 크기만 보면 Kimi-K3의 UD-Q1_0 배포본인 466GB를 네 대에서 검토할 수 있는 구간입니다.

하지만 Kimi-K3의 466GB 파일이 네 대의 메모리 합계에 들어간다고 해서 곧바로 실사용이 가능하다는 뜻은 아닙니다. 운영체제와 추론 엔진, KV 캐시를 위한 공간이 필요하고, 모델을 네 개의 노드에 나누어 실행해야 합니다.

또한 Kimi-K3처럼 매우 큰 모델은 모델 분할 방식과 노드 간 통신 효율에 따라 실제 속도가 크게 달라질 수 있습니다. 따라서 네 대 구성은 "파일 크기상 가능성이 있는 구성"이지, 모든 환경에서 원활한 실행을 보장하는 구성은 아닙니다.

정리하면 다음과 같습니다.

• 한 대: Qwen3.6-27B, gpt-oss-120b

• 두 대: GLM-5.2급 모델 검토

• 세 대: 300GB대 모델 검토

• 네 대: Kimi-K3 UD-Q1_0급 모델 조건부 검토

• 1TB 이상 모델: 네 대로도 부족할 수 있음

GB10에서 가능한 파인튜닝 방식

GB10을 단순히 모델 추론용으로만 사용할 필요는 없습니다. 파인튜닝을 계획하고 있다면 모델 크기와 학습 방식에 따라 필요한 메모리가 달라집니다.

Unsloth가 공개한 절대 최소 VRAM 요구량 기준은 다음과 같습니다.

27B와 32B 모델은 GB10 한 대에서 QLoRA와 LoRA 모두 검토할 수 있습니다. 70B 모델은 QLoRA 방식이라면 한 대에서 가능성을 확인할 수 있지만, LoRA 16비트는 164GB가 필요하므로 한 대로는 어렵습니다.

다만 위 수치는 절대 최소 요구량입니다. 실제 메모리는 컨텍스트 길이, 배치 크기, 데이터 형식, 학습 설정에 따라 더 커질 수 있습니다. 따라서 파인튜닝을 목적으로 구매한다면 모델 이름뿐 아니라 학습 방식과 목표 배치 크기까지 함께 확인해야 합니다.

어떤 사용 환경이 GB10 한 대 구성에 가장 잘 맞을까?

GB10 한 대가 적합한 경우는 다음과 같습니다.

• 50~70GB대 모델을 로컬에서 실행하려는 경우

• Qwen3.6-27B나 gpt-oss-120b를 운영하려는 경우

• 외부 API로 보내기 어려운 문서와 코드를 내부에서 처리하려는 경우

• 27B~32B급 모델을 파인튜닝하려는 경우

• 서버를 직접 조립하지 않고 통합된 AI 워크스테이션을 원하는 경우

두 대 이상을 고려할 만한 경우는 다음과 같습니다.

• 200GB 이상 모델을 실행하려는 경우

• 긴 컨텍스트와 동시 요청을 함께 처리하려는 경우

• 70B급 모델을 더 여유 있게 운영하려는 경우

• 향후 대형 모델로 확장할 계획이 있는 경우

• 분산 추론 환경을 직접 구성할 수 있거나 전문적인 구축 지원을 받을 수 있는 경우

반대로 수백 GB에서 TB 단위의 모델을 높은 속도로 운영하거나, 많은 사용자의 요청을 동시에 처리해야 한다면 서버용 GPU와도 비교해야 합니다. 기기별 성능과 대역폭 비교는 AI 워크스테이션 성능 비교 글에 정리해 두었습니다. GB10은 모든 환경에서 가장 빠른 장비라기보다, 큰 통합 메모리와 작은 폼팩터, 검증된 구성을 바탕으로 로컬 AI를 시작하고 확장하기 좋은 워크스테이션에 가깝습니다.

Dell Pro Max GB10을 도입하려면 무엇을 확인해야 할까?

Dell Pro Max with GB10은 단순히 작은 GPU 장비가 아닙니다. 128GB 통합 시스템 메모리를 바탕으로 일반적인 단일 GPU 워크스테이션보다 큰 모델을 한 대에서 다룰 수 있고, 필요하면 두 대, 세 대, 네 대로 확장해 더 큰 모델을 검토할 수 있습니다.

한 대에서는 Qwen3.6-27B와 gpt-oss-120b 같은 60GB 안팎의 모델을 실행할 수 있습니다. 두 대부터는 GLM-5.2급 모델을, 세 대에서는 300GB대 모델을, 네 대에서는 Kimi-K3의 가장 작은 양자화 배포본까지 조건부로 검토할 수 있습니다.

물론 모델 파일이 메모리에 들어가는 것과 실제 업무 환경에서 안정적으로 운영하는 것은 다릅니다. 컨텍스트 길이, 동시 사용자 수, 추론 속도, 분산 추론 지원 여부까지 함께 확인해야 합니다.

그럼에도 Dell Pro Max with GB10은 직접 여러 GPU를 조립하고 복잡한 환경을 구성하는 대신, 로컬 AI를 빠르게 시작하고 필요할 때 같은 장비를 추가해 확장할 수 있는 현실적인 선택지입니다. 사내 문서와 소스코드를 외부로 보내지 않고 처리해야 하거나, 오픈웨이트 모델을 직접 운영하고 싶은 기업과 연구팀이라면 특히 적합합니다.

내가 사용하려는 모델이 GB10 한 대에 들어가는지, 두 대 이상이 필요한지, 파인튜닝까지 가능한지 정확히 확인하고 싶다면 모델명만으로 판단하지 말고 실제 체크포인트와 사용 환경을 함께 검토해야 합니다.

어떤 Dell Pro Max GB10 구성이 내 모델에 적합할까?

ONS는 사용하려는 모델의 정확한 체크포인트와 양자화 방식, 컨텍스트 길이, 동시 사용자 수, 목표 응답 속도, 파인튜닝 여부를 기준으로 Dell Pro Max with GB10 구성을 검토해 드립니다.

다음 항목을 구체적으로 확인합니다. 모델 파일이 GB10 한 대의 가용 메모리에 들어가는지 먼저 살펴보고, KV 캐시와 운영체제·추론 엔진이 사용하는 메모리까지 고려해 실제 실행이 가능한지 검토합니다. 긴 컨텍스트나 동시 요청을 사용할 경우 추가로 필요한 메모리도 함께 계산합니다.

또한 GB10 한 대로 충분한지, 여러 대를 연결해야 하는지 판단하고, 여러 대를 구성할 때 모델을 어떻게 분산할지와 필요한 네트워크 구성을 확인합니다. QLoRA·LoRA 등 파인튜닝 방식에 따라 필요한 장비 수와 메모리 여유가 달라지는 만큼, 해당 워크로드에 맞는 구성도 함께 검토합니다.

마지막으로 모델 원본과 양자화본, 컨테이너를 보관하기 위한 SSD 용량이 충분한지 확인하고, 예상 사용 목적에 맞는 장비 구성과 견적, 납기, 향후 확장 방법까지 안내합니다.

모델명만 알려주셔도 검토를 시작할 수 있습니다. 가능하다면 사용하려는 GGUF·Safetensors 등 실제 체크포인트 링크, 목표 컨텍스트 길이, 동시에 사용할 사용자 수, 원하는 응답 속도, 파인튜닝 계획까지 함께 보내주세요. 이를 바탕으로 GB10 한 대로 가능한 구성과 여러 대가 필요한 구성을 나누어 안내해드립니다.

출처

출처

• Dell 코리아, GB10 탑재한 Dell Pro Max 사양

• NVIDIA, GB10 시스템 공식 사양

• NVIDIA, 세 대 링 구성 절차

• NVIDIA, 스위치 경유 다중 연결 절차

• HuggingFace, Qwen3.6-27B 모델 저장소

• HuggingFace, gpt-oss-120b 모델 저장소

• HuggingFace, GLM-5.2 모델 저장소

• HuggingFace, Kimi-K3 모델 저장소

• unsloth, GLM-5.2 GGUF 양자화 배포 저장소

• unsloth, Kimi-K3 GGUF 양자화 배포 저장소

• Unsloth 공식 문서, 파인튜닝 VRAM 요구량

• NVIDIA 기술 블로그, LLM 추론 최적화와 KV 캐시