Présentation des serveurs GPU

Les serveurs GPU sont des machines bare-metal single-tenant équipées d'accélérateurs NVIDIA, dimensionnées pour l'entraînement IA, l'inférence et le rendu. Ce guide couvre les quatre niveaux, comment la commande et la livraison fonctionnent réellement, ce que couvre la redevance de configuration, et comment gérer une machine GPU une fois qu'elle est en production.

Ce qu'est un serveur GPU

Un serveur GPU est une machine physique dédiée avec un ou plusieurs GPU NVIDIA, plus le processeur, la mémoire système et le stockage rapide nécessaires pour les alimenter. La machine entière vous appartient: personne d'autre ne partage les accélérateurs, la bande passante PCIe ou les disques.

Vous installez votre propre pile et l'exécutez comme vous le souhaitez. Les charges de travail CUDA, PyTorch, TensorFlow, JAX et les frameworks de service habituels fonctionnent exactement comme ils le feraient sur n'importe quel serveur Linux bare-metal, car c'est ce qu'il est.

La raison de vouloir la single-tenancy ici n'est pas seulement la performance. Les charges de travail GPU ont tendance à tourner à plein régime pendant des heures, et les accélérateurs partagés se comportent très différemment sous ce type de charge soutenue que dans un benchmark.

Les quatre niveaux

Spark est le point d'entrée: suffisamment de mémoire GPU pour les modèles plus petits, l'ajustement fin, l'inférence et le rendu. Forge, Foundry et Reactor partagent le même accélérateur et augmentent la mémoire système autour, ce qui est important lorsque vous préparez de grands ensembles de données ou maintenez plusieurs modèles en mémoire hôte.

Chaque niveau est vendu à la fois non géré et géré. Non géré vous donne root et vous laisse le choix du système d'exploitation. Géré conserve le même matériel avec nos ingénieurs à la couche logicielle. Voir Managed vs Unmanaged Cloud Servers.

Pour les tarifs en direct dans votre devise, ouvrez Store dans KPanel, puis la carte GPU Compute.

Choisir un niveau

Commencez par le modèle, pas par le prix.

• Combien de mémoire GPU votre modèle nécessite-t-il dans la forme sous laquelle vous l'exécutez ? C'est la contrainte difficile. Si les poids plus les activations ne rentrent pas, aucune quantité de RAM système n'aide.
• Entraînez-vous ou servez-vous ? L'entraînement consomme beaucoup de mémoire et s'exécute longtemps. L'inférence est souvent limitée par la vitesse à laquelle vous pouvez acheminer les données vers le GPU, c'est là que la RAM système et le disque comptent davantage.
• Quelle est la taille de votre ensemble de travail ? Si vous diffusez en continu un ensemble de données qui ne rentre pas en mémoire hôte, les configurations Foundry et Reactor existent exactement pour cette raison.

Si vous n'êtes pas sûr, dites-nous ce que vous exécutez, la taille du modèle, le framework et la mémoire GPU que vous pensez avoir besoin. Nous vous pointerons vers le bon niveau plutôt que de vous laisser sur-acheter. GPU and AI Compute Servers contient plus d'informations sur le côté charge de travail.

Comment la commande fonctionne réellement

Le matériel GPU est rare et coûteux, donc le processus n'est volontairement pas un clic.

1. Connectez-vous à KPanel.
2. Cliquez sur Store dans la barre latérale gauche.
3. Sous Servers, cliquez sur la carte GPU Compute.
4. Basculez entre Unmanaged et Managed, et choisissez un niveau.
5. Finalisez votre achat.

Après la finalisation, vous recevez un email d'accusé de réception de commande, et notre équipe confirme la capacité actuelle et la construction avant l'allocation du matériel.

Vous entendrez parler de nous de toute façon. Si vous avez payé et n'avez pas reçu un suivi auquel vous vous attendiez, répondez à l'email d'accusé de réception ou ouvrez un ticket depuis Support et nous vous dirons exactement où se trouve la commande.

Redevance de configuration et facturation

Les serveurs GPU comportent une redevance de configuration unique en plus du prix mensuel, comme les serveurs dédiés et de stockage, car une machine physique est construite et remise. Les serveurs cloud ne comportent pas de redevance de configuration.

La redevance de configuration est facturée une seule fois, ne se reproduit jamais et s'affiche séparément du prix mensuel à la finalisation.

Puisqu'un niveau GPU est un engagement mensuel sur du matériel coûteux plutôt qu'une location à l'heure, traitez la décision en conséquence. Si vous n'avez besoin d'un GPU que pour une courte rafale, dites-le-nous lorsque vous nous contactez.

Réserver un niveau

Quand un niveau n'a pas de capacité, la carte du plan propose une réservation plutôt qu'une action de configuration. Rejoindre la file d'attente enregistre votre intérêt pour ce niveau.

Gestion d'un serveur GPU

Une fois qu'une machine GPU est en production, elle est gérée exactement comme n'importe quel autre serveur bare-metal, à partir de Dedicated Servers dans la barre latérale de KPanel. Il n'y a pas d'élément GPU séparé dans la barre latérale.

L'ensemble des outils, documenté en détail dans Managing a Dedicated Server, couvre:

• Power: redémarrage normal, réinitialisation matérielle, cycle d'alimentation forcé et Wake-on-LAN.
• Rescue system: un environnement Linux temporaire ou une console virtuelle basée sur navigateur.
• Reverse DNS: enregistrements PTR pour chaque adresse IP routée.
• IPs and subnets: ce qui est routé vers la machine, plus IPv4 supplémentaire.
• Traffic: volume entrant et sortant par jour, mois ou année.
• Firewall: un filtre en amont appliqué avant que le trafic ne atteigne la machine.
• Advanced: une réinstallation du système d'exploitation complet, derrière une confirmation saisie.

L'accès à la console pour une machine qui ne démarrera pas se trouve dans Dedicated Server Console Access.

Notes pratiques avant de commencer

Les pilotes vous appartiennent sur une machine non gérée. Installez le pilote NVIDIA et la pile CUDA qui correspondent aux versions de framework que vous avez l'intention d'exécuter, et épinglez-les. Les versions mal assorties de pilote et de toolkit sont la cause la plus courante d'un GPU présent mais inutilisable.

Surveillez votre disque. Les points de contrôle de modèle et les ensembles de données remplissent un disque plus rapidement que n'importe quoi d'autre sur un serveur. Si la capacité est votre vrai problème plutôt que le calcul, un storage server à côté de la machine GPU est généralement moins cher qu'un niveau GPU plus grand.

Protégez-le correctement par firewall. Une boîte GPU exécutant un point d'accès d'inférence est une cible attrayante. Utilisez le firewall en amont pour permettre uniquement ce qui a besoin de l'atteindre, et gardez Allow platform services activé afin de ne pas vous verrouiller.

La réinstallation efface tout. L'action de réinstallation sous Advanced efface chaque disque sans annulation et ne prend aucune sauvegarde pour vous. Copiez d'abord vos points de contrôle.

Obtenir de l'aide

GPU est le produit où nous parler en premier économise le plus d'argent. Posez une question à Kora dans KPanel, ouvrez un ticket depuis Support, ou envoyez un email à support@kapsulehost.com avec ce que vous exécutez et la mémoire GPU dont vous avez besoin.

Pour le reste de la gamme de calcul, voir Cloud Servers Overview et Dedicated Servers Overview.