클라우드 서버
GPU 및 AI 컴퓨팅 서버
A Kapsule GPU server is a single-tenant physical machine fitted with NVIDIA graphics processors and the CPU, memory and fast storage needed to keep them fed, built for AI training, inference and…
Kapsule GPU 서버는 NVIDIA 그래픽 프로세서와 이를 활용하기 위한 CPU, 메모리, 빠른 스토리지를 갖춘 단일 테넌트 물리 머신으로, AI 학습, 추론 및 기타 대규모 병렬 작업을 위해 구축되었습니다.
전체 머신을 사용하게 됩니다. 다른 사람의 작업이 GPU, 메모리 대역폭 또는 디스크를 공유하지 않으므로, 벤치마크를 재현할 수 있는지 여부의 차이가 됩니다. 이 가이드는 네 가지 티어, 각 티어의 용도, GPU 공급이 실제로 제한되어 있을 때의 주문 방식, 설정 수수료가 무엇인지를 설명합니다.
네 가지 티어
| 티어 | GPU | GPU 메모리 | 시스템 메모리 | 월간 | 일회성 설정 |
|---|---|---|---|---|---|
| Spark | NVIDIA RTX 4000 | 20 GB | 빌드에 포함됨 | US$330.00 | 예 |
| Forge | NVIDIA RTX PRO 6000 | 96 GB | 256 GB | US$1,680.00 | 예 |
| Foundry | NVIDIA RTX PRO 6000 | 96 GB | 512 GB | US$2,520.00 | 예 |
| Reactor | NVIDIA RTX PRO 6000 | 96 GB | 768 GB | US$3,240.00 | 예 |
가격은 GST를 제외하고 청구 통화로 표시됩니다. 각 티어는 비관리형 또는 관리형으로 제공되며, 이는 클라우드 서버와 동일한 선택입니다.
Spark에서 Forge로의 점프가 중요한 구분입니다. Spark는 개발, 소규모 모델 및 추론 작업의 진입점입니다. Forge, Foundry 및 Reactor는 동일한 96 GB의 GPU 메모리를 공유하며 시스템 메모리에서 다르며, 이는 모델과 함께 호스트 RAM에 보유할 수 있는 양을 결정합니다: 데이터셋 스테이징, 전처리 파이프라인 및 많은 동시 요청 처리.
실행할 수 있는 것
머신을 완전히 제어하므로 자신의 스택을 실행합니다. 여기에는 PyTorch, TensorFlow, JAX, 원본 CUDA 워크로드 및 이들 위의 일반적인 학습 및 제공 프레임워크가 포함됩니다.
일반적인 용도:
- 머신 러닝 및 딥 러닝을 위한 모델 학습 및 미세 조정.
- 추론 및 제공 프로덕션에서 GPU가 허용할 수 없는 응답 시간을 허용 가능한 시간으로 전환합니다.
- 배치 AI 워크로드: 임베딩, 전사, 이미지 및 비디오 생성, 렌더링.
- GPU 가속의 이점을 얻는 과학 및 병렬 컴퓨팅.
GPU 메모리에서 먼저 크기를 결정합니다. 가장 일반적인 실수는 가격에 따라 티어를 선택한 후 모델이 VRAM에 맞지 않는다는 것을 발견하는 것입니다. 의도한 정밀도와 배치 크기에서 모델이 필요한 메모리를 계산하고, 여유분을 추가하고, 이를 충족하는 티어를 선택합니다. 시스템 메모리와 CPU는 로드되지 않는 모델보다 훨씬 쉽게 작업할 수 있습니다.
가용성 및 주문 방식
GPU 하드웨어는 전체 산업에서 높은 수요가 있으며 공급이 제한되어 있습니다. 이는 Kapsule 정책이 아닌 시장에 대한 사실이며 이러한 주문 방식을 형성합니다.
- 이들은 물리 머신이므로 몇 초 안에가 아니라 주문에 따라 프로비저닝됩니다.
- 가용성은 티어와 위치에 따라 다르며, 플랜 페이지를 볼 때 실시간으로 확인됩니다.
- Spark는 현재 공급이 제한되어 있습니다. 재고가 없을 때 패널은 끊어진 주문이 아니라 예약 대기열을 제공합니다.
더 큰 또는 맞춤 구성의 경우 프로비저닝 전에 정확한 빌드와 정확한 가격을 확인하므로 항상 무엇을 받는지 알 수 있습니다. 제공할 수 없는 구성을 인용하지 않습니다.
예약 대기열
GPU 티어의 재고가 부족할 때 그냥 나가는 대신 예약할 수 있습니다:
- 플랜 페이지에서 티어를 예약합니다. 예약 참조 번호를 받습니다.
- 아무것도 청구되지 않습니다. 예약은 무료이며 구독이 시작되지 않습니다.
- 용량이 나타나면 머신이 자동으로 프로비저닝됩니다.
- 첫 번째 결제는 서버가 활성화된 후에만 청구되며 청구 날짜는 그 날부터 시작됩니다.
- 대기 중에 언제든지 비용 없이 취소할 수 있습니다.
지역, 가용성 및 예약 대기열에 전체 메커니즘이 설명되어 있습니다.
GPU 예약에 엄격한 마감일을 두지 마십시오. 용량은 돌아올 때 돌아오며, 보유할 수 없는 날짜를 약속하는 것보다는 이를 명확히 말씀드리는 것을 선호합니다. 고정된 전달 날짜가 있으신 경우 주문 전에 저희에게 문의하십시오.
하나 주문하기
- KPanel에 로그인합니다.
- 왼쪽 사이드바에서 Store를 열고 GPU를 선택하거나
/plans/compute?group=gpu로 직접 이동합니다. - Unmanaged 및 Managed 토글을 사용하여 원하는 양식을 선택합니다.
- 각 티어는 GPU, VRAM, 시스템 메모리, 월간 가격 및 일회성 설정 수수료, 그리고 실시간 재고 배지를 표시합니다.
설정 수수료
GPU 서버는 반복되는 월간 가격 외에도 체크아웃에서 일회성 설정 수수료를 포함합니다. 물리 머신이 구축되고 프로비저닝되어야 하기 때문입니다.
- 프로비저닝 시 한 번 청구됩니다. 갱신 시 나타나지 않습니다.
- 체크아웃에서 자체 영수증이 있는 **Setup (one-time)**으로 표시된 자체 행으로 표시됩니다.
- 계정 통화가 NZD일 때 GST가 적용됩니다.
청구서에 일회성 및 반복 청구가 나타나는 방식에 대해서는 클라우드 서버 가격 책정 및 GST를 참조합니다.
GPU 서버가 클라우드 서버와 다른 점
| 클라우드 서버 | GPU 서버 | |
|---|---|---|
| 하드웨어 | 가상 머신 | NVIDIA GPU가 있는 단일 테넌트 물리 머신 |
| 프로비저닝 | 즉시, 재고에 따라 | 주문, 때때로 예약 대기열을 통해 |
| 설정 수수료 | 없음 | 일회성 |
| KPanel에서 실시간 크기 조정 | 예 | 아니오 |
| 크기 결정 기준 | vCPU, 메모리, 디스크 | 먼저 GPU 메모리, 그 다음 시스템 메모리 |
GPU 서버는 제자리에서 크기를 조정할 수 없습니다. 티어 간의 이동은 새 머신을 주문하고 작업을 이동하는 것을 의미합니다. 이번 주만 실행하는 것이 아니라 실행할 것으로 예상되는 모델에 맞는 티어를 선택합니다.
주문 전에
이 답변들을 준비해 두십시오. 티어를 결정하기 때문입니다:
- 학습인가 추론인가? 학습은 보통 메모리 집약적이고 오래 실행됩니다. 추론은 보통 지연 시간에 민감하고 동시입니다.
- 어떤 모델, 어떤 정밀도인가? 이것이 GPU 메모리 하한을 설정합니다.
- 얼마나 많은 데이터, 그리고 어디에 있는가? 대규모 데이터셋을 스테이징하는 것은 시스템 메모리와 디스크의 용도입니다.
- 어떤 프레임워크인가? 미리 드라이버 및 CUDA 기대치를 확인할 수 있습니다.
이 네 가지를 알려 주시면 올바른 티어를 가리키거나, 표준 네 가지 중 어느 것도 맞지 않으면 구성을 준비합니다. KPanel 내에서 Kora에 문의하거나 support@kapsulehost.com으로 이메일을 보내시고, 뉴질랜드 팀이 도와드리겠습니다.
문제 해결
원하는 티어가 재고 부족으로 표시됩니다. 예약합니다. 대기하는 동안 아무것도 지불하지 않으며 용량이 돌아오면 자동으로 프로비저닝합니다.
모델이 VRAM에 맞지 않습니다. 티어를 올리거나 정밀도 또는 배치 크기를 줄입니다. Forge, Foundry 및 Reactor는 모두 96 GB의 GPU 메모리를 제공합니다.
두 개 이상의 GPU가 필요하거나 나열되지 않은 구성이 필요합니다. 요구 사항과 함께 문의하시면 빌드할 수 있는 것과 비용이 청구되기 전에 비용을 확인합니다.
주문하기 전에 시도할 수 있습니까? 개발 작업을 위해 Spark에서 시작한 후 파이프라인이 입증되면 올리는 것에 대해 저희와 상담합니다.