GPU 서버 개요

GPU 서버는 AI 훈련, 추론 및 렌더링을 위해 설계된 NVIDIA 가속기가 장착된 단일 테넌트 베어 메탈 머신입니다. 이 가이드는 4개 티어, 주문 및 배송 방식, 설정 수수료의 범위, 그리고 GPU 머신이 운영 중일 때 관리하는 방법을 다룹니다.

GPU 서버란

GPU 서버는 하나 이상의 NVIDIA GPU와 이를 충분히 구동할 수 있는 CPU, 시스템 메모리 및 고속 스토리지를 갖춘 전용 물리 머신입니다. 전체 머신은 귀사의 것으로, 다른 사용자가 가속기, PCIe 대역폭 또는 디스크를 공유하지 않습니다.

자신의 스택을 설치하고 원하는 대로 실행할 수 있습니다. CUDA 워크로드, PyTorch, TensorFlow, JAX 및 일반적인 서빙 프레임워크는 모두 베어 메탈 Linux 박스에서와 동일한 방식으로 실행됩니다.

단일 테넌시가 필요한 이유는 성능만 때문이 아닙니다. GPU 워크로드는 보통 수 시간 동안 풀로 실행되며, 공유 가속기는 벤치마크에서와 달리 그러한 지속적인 부하에서 매우 다르게 동작합니다.

4개 티어

Spark는 진입 지점이며, 더 작은 모델, 미세 조정, 추론 및 렌더링 작업에 충분한 GPU 메모리를 제공합니다. Forge, Foundry 및 Reactor는 동일한 가속기를 공유하며 주변 시스템 메모리를 확대합니다. 이는 대규모 데이터 세트를 준비하거나 여러 모델을 호스트 메모리에 보유할 때 중요합니다.

모든 티어는 비관리형과 관리형으로 판매됩니다. 비관리형은 루트를 제공하고 운영 체제는 귀사가 담당합니다. 관리형은 동일한 하드웨어를 유지하며 소프트웨어 계층에서 당사 엔지니어가 지원합니다. 관리형 vs 비관리형 클라우드 서버를 참조하세요.

자신의 통화로 실시간 가격을 확인하려면 KPanel에서 Store를 열고 GPU Compute 카드를 클릭하세요.

티어 선택

가격이 아닌 모델부터 시작하세요.

• 실행 중인 형태의 모델이 필요로 하는 GPU 메모리는 얼마입니까? 이것이 가장 어려운 제약입니다. 가중치와 활성화가 맞지 않으면 시스템 RAM이 도움이 될 수 없습니다.
• 훈련인가 서빙인가? 훈련은 메모리가 많이 필요하고 오래 실행됩니다. 추론은 종종 GPU에 데이터를 얼마나 빨리 공급할 수 있는지에 의해 제한되며, 이것이 시스템 RAM과 디스크가 더 중요한 곳입니다.
• 작업 세트의 크기는 얼마입니까? 호스트 메모리에 맞지 않는 데이터 세트를 스트리밍하는 경우 Foundry와 Reactor 구성이 정확히 이 목적을 위해 존재합니다.

확실하지 않다면 실행 중인 것, 모델 크기, 프레임워크 및 필요하다고 생각하는 GPU 메모리 양을 알려주세요. 과도하게 구매하게 하기보다는 올바른 티어를 제시해 드립니다. GPU 및 AI 컴퓨팅 서버에서 워크로드 측면에 대해 자세히 알아보세요.

주문 방식

GPU 하드웨어는 부족하고 비싸기 때문에 이 프로세스는 의도적으로 원클릭이 아닙니다.

1. KPanel에 로그인하세요.
2. 왼쪽 사이드바에서 Store를 클릭하세요.
3. Servers 아래에서 GPU Compute 카드를 클릭하세요.
4. Unmanaged와 Managed 사이를 전환하고 티어를 선택하세요.
5. 결제를 완료하세요.

결제 후 주문 확인 이메일을 받으며, 당사 팀이 현재 용량과 빌드를 확인한 후 하드웨어가 할당됩니다.

어쨌든 당사로부터 소식을 받게 됩니다. 결제했지만 예상했던 후속 연락이 없다면 확인 이메일에 회신하거나 Support에서 티켓을 열고 주문이 정확히 어느 단계에 있는지 알려달라고 요청하세요.

설정 수수료 및 청구

GPU 서버는 물리 머신이 구축되고 넘겨지기 때문에 월간 가격 외에 일회성 설정 수수료가 있으며, 이는 전용 서버 및 스토리지 서버와 같습니다. 클라우드 서버는 설정 수수료가 없습니다.

설정 수수료는 한 번 청구되며 반복되지 않으며 결제 시 월간 가격과 별도로 표시됩니다.

GPU 티어가 시간당 렌탈이 아니라 고가 하드웨어에 대한 월간 약정이기 때문에 의사 결정을 그에 따라 하세요. GPU가 짧은 기간 동안만 필요한 경우 당사와 대화할 때 알려주세요.

티어 예약

티어에 용량이 없으면 플랜 카드는 구성 작업 대신 예약을 제공합니다. 대기열에 가입하면 그 티어에 대한 관심을 기록합니다.

GPU 서버 관리

GPU 머신이 운영 중이면 KPanel 사이드바의 Dedicated Servers에서 다른 베어 메탈 서버와 정확히 같은 방식으로 관리됩니다. 사이드바에 별도의 GPU 항목은 없습니다.

전용 서버 관리에서 전체적으로 문서화된 도구 세트는 다음을 포함합니다:

• Power: 정상 재시작, 하드웨어 리셋, 강제 전원 사이클 및 Wake-on-LAN.
• Rescue system: 임시 Linux 환경 또는 브라우저 기반 가상 콘솔.
• Reverse DNS: 각 라우팅된 IP에 대한 PTR 레코드.
• IPs and subnets: 머신으로 라우팅된 항목 및 추가 IPv4.
• Traffic: 일, 월 또는 연도별 인바운드 및 아웃바운드 볼륨.
• Firewall: 트래픽이 머신에 도달하기 전에 적용되는 업스트림 필터.
• Advanced: 입력된 확인 뒤의 완전한 운영 체제 재설치.

부팅할 수 없는 머신에 대한 콘솔 접근은 전용 서버 콘솔 접근를 참조하세요.

시작하기 전 실용적 참고 사항

비관리형 머신에서는 드라이버가 귀사의 책임입니다. 실행할 프레임워크 버전과 일치하는 NVIDIA 드라이버와 CUDA 스택을 설치하고 고정하세요. 일치하지 않는 드라이버 및 툴킷 버전이 GPU가 있지만 사용할 수 없는 가장 일반적인 원인입니다.

디스크를 주시하세요. 모델 체크포인트와 데이터 세트는 서버의 다른 어떤 것보다 빠르게 디스크를 채웁니다. 용량이 실제 문제라면 계산이 아니라 GPU 머신과 함께 스토리지 서버를 사용하는 것이 보통 더 큰 GPU 티어보다 저렴합니다.

올바르게 방화벽을 설정하세요. 추론 엔드포인트를 실행하는 GPU 박스는 매력적인 표적입니다. 업스트림 방화벽을 사용하여 도달해야 하는 것만 허용하고 Allow platform services를 켜서 자신을 잠그지 않도록 하세요.

재설치하면 모든 것이 지워집니다. Advanced 아래의 재설치 작업은 실행 취소 없이 모든 디스크를 지우고 백업을 하지 않습니다. 먼저 체크포인트를 복사하세요.

도움 받기

GPU는 먼저 당사와 대화하면 가장 많은 비용을 절약할 수 있는 제품입니다. KPanel 내에서 Kora에 문의하거나, Support에서 티켓을 열거나, support@kapsulehost.com으로 실행 중인 것과 필요한 GPU 메모리 양을 포함하여 이메일을 보내세요.

컴퓨팅 범위의 나머지는 클라우드 서버 개요 및 전용 서버 개요를 참조하세요.