Panoramica dei Server GPU

I server GPU sono macchine bare-metal single-tenant dotate di acceleratori NVIDIA, dimensionate per training AI, inference e rendering. Questa guida copre i quattro livelli, come funzionano effettivamente ordinazione e consegna, cosa include la commissione di setup e come gestire una macchina GPU una volta attiva.

Che cos'è un Server GPU

Un server GPU è una macchina fisica dedicata con una o più GPU NVIDIA, più la CPU, la memoria di sistema e lo storage veloce necessari per alimentarle. L'intera macchina è tua: nessun altro condivide gli acceleratori, la larghezza di banda PCIe o i dischi.

Installi il tuo stack e lo esegui come preferisci. I carichi di lavoro CUDA, PyTorch, TensorFlow, JAX e i soliti framework di serving funzionano come farebbero su qualsiasi box Linux bare-metal, perché è esattamente quello che è.

Il motivo per volere la single tenancy qui non è solo la performance. I carichi di lavoro GPU tendono a girare al massimo per ore, e gli acceleratori condivisi si comportano molto diversamente sotto questo tipo di carico sostenuto rispetto a come si comportano in un benchmark.

I Quattro Livelli

Spark è il punto di ingresso: memoria GPU sufficiente per modelli più piccoli, fine-tuning, inference e lavori di rendering. Forge, Foundry e Reactor condividono lo stesso acceleratore e aumentano la memoria di sistema intorno ad esso, che è ciò che conta quando stai allestendo data set di grandi dimensioni o mantenendo diversi modelli in memoria host.

Ogni livello è venduto sia non gestito che gestito. Unmanaged ti fornisce root e lascia il sistema operativo a te. Managed mantiene lo stesso hardware con i nostri ingegneri al livello software. Vedi Managed vs Unmanaged Cloud Servers.

Per i prezzi attuali nella tua valuta, apri Store in KPanel, quindi la scheda GPU Compute.

Scelta del Livello

Parti dal modello, non dal prezzo.

• Quanta memoria GPU ha bisogno il tuo modello nella forma in cui lo stai eseguendo? Questo è il vincolo rigido. Se i pesi più le attivazioni non si adattano, nessuna quantità di RAM di sistema aiuta.
• Stai eseguendo training o serving? Il training è affamato di memoria e a lunga esecuzione. L'inference è spesso limitato da quanto velocemente puoi ottenere dati sulla GPU, dove la RAM di sistema e il disco contano di più.
• Quanto è grande il tuo working set? Se stai eseguendo lo streaming di un data set che non si adatta in memoria host, le configurazioni Foundry e Reactor esistono esattamente per questo motivo.

Se sei incerto, raccontaci cosa stai eseguendo, la dimensione del modello, il framework e quanta memoria GPU pensi di aver bisogno. Ti indicheremo il livello giusto piuttosto che farti comprare troppo. GPU and AI Compute Servers ha maggiori dettagli sul lato del carico di lavoro.

Come Funziona Effettivamente l'Ordinazione

L'hardware GPU è scarso e costoso, quindi il processo non è deliberatamente one-click.

1. Accedi a KPanel.
2. Fai clic su Store nella barra laterale sinistra.
3. Sotto Servers, fai clic sulla scheda GPU Compute.
4. Passa da Unmanaged a Managed e scegli un livello.
5. Completa il checkout.

Dopo il checkout ricevi un'email di riconoscimento dell'ordine e il nostro team conferma la capacità attuale e la build prima che l'hardware ti sia allocato.

Sentirai da noi in entrambi i casi. Se hai pagato e non hai ricevuto un follow-up che ti aspettavi, rispondi all'email di riconoscimento o apri un ticket da Support e ti diremo esattamente dove si trova l'ordine.

Commissione di Setup e Fatturazione

I server GPU hanno una commissione di setup una tantum oltre al prezzo mensile, in linea con server dedicati e storage, perché una macchina fisica è costruita e consegnata. I cloud server non hanno commissione di setup.

La commissione di setup viene addebitata una sola volta, non si ripete mai e viene mostrata separatamente dal prezzo mensile al checkout.

Poiché un livello GPU è un impegno mensile su hardware costoso piuttosto che un noleggio orario, considera la decisione di conseguenza. Se hai bisogno di una GPU solo per un breve picco, diccelo quando parli con noi.

Prenotazione di un Livello

Quando un livello non ha capacità, la scheda del piano offre una prenotazione anziché un'azione di configurazione. L'iscrizione alla coda registra il tuo interesse in quel livello.

Gestione di un Server GPU

Una volta che una macchina GPU è attiva, è gestita esattamente come qualsiasi altro server bare-metal, da Dedicated Servers nella barra laterale KPanel. Non c'è un elemento GPU separato nella barra laterale.

Il toolset, completamente documentato in Managing a Dedicated Server, copre:

• Power: riavvio elegante, reset hardware, ciclo di alimentazione forzato e Wake-on-LAN.
• Rescue system: un ambiente Linux temporaneo, o una console virtuale basata su browser.
• Reverse DNS: record PTR per ogni IP instradato.
• IPs and subnets: cosa è instradato alla macchina, più IPv4 aggiuntivi.
• Traffic: volume inbound e outbound per giorno, mese o anno.
• Firewall: un filtro a monte applicato prima che il traffico raggiunga la macchina.
• Advanced: una reinstallazione completa del sistema operativo, dietro una conferma digitata.

L'accesso alla console per una macchina che non si avvierà è in Dedicated Server Console Access.

Note Pratiche Prima di Iniziare

I driver sono tuoi su una macchina unmanaged. Installa il driver NVIDIA e lo stack CUDA che corrisponde alle versioni del framework che intendi eseguire, e fissali. Le versioni non corrispondenti del driver e del toolkit sono la causa più comune di una GPU che è presente ma inutilizzabile.

Sorveglia il tuo disco. I checkpoint dei modelli e i data set riempiono un disco più velocemente di qualsiasi altra cosa su un server. Se la capacità è il tuo vero problema piuttosto che la potenza di calcolo, un storage server insieme alla macchina GPU è solitamente più economico di un livello GPU più grande.

Firewall appropriatamente. Una GPU box che esegue un endpoint di inference è un bersaglio attraente. Usa il firewall a monte per consentire solo ciò che deve raggiungerlo, e mantieni Allow platform services attivato in modo da non bloccarti fuori.

La reinstallazione cancella tutto. L'azione di reinstallazione sotto Advanced cancella ogni disco senza possibilità di annullamento e non prende backup per te. Copia prima i tuoi checkpoint.

Ottenere Aiuto

GPU è il prodotto dove parlare con noi per primo fa risparmiare più soldi. Chiedi a Kora dentro KPanel, apri un ticket da Support o invia un'email a support@kapsulehost.com con quello che stai eseguendo e quanta memoria GPU ti serve.

Per il resto della gamma di calcolo, vedi Cloud Servers Overview e Dedicated Servers Overview.