Votre propre serveur GPU, de 20 à 96 GB de mémoire de carte.
La machine entière vous obéit, avec un accès root complet, une pile de pilotes que vous choisissez et figez, et chaque heure de la carte consacrée à votre propre travail.
À partir deUS$330par mois
Obtenir un serveur GPUVous choisissez la machine et le prix affiché, et nous la construisons selon votre commande.
- Chaque cœur et chaque carte, à vous seul
- Un accès root complet et votre propre pile de pilotes
- Le trafic entrant et sortant de la machine est inclus
- Un prix mensuel, figé tant que vous la gardez
Les machines que nous construisons
- Spark
- Forge
- Foundry
- Reactor
Conçue pour le travail que vous faites vraiment.
Chaque machine ici loge un modèle entier en mémoire de carte, de 20 GB sur la machine d'entrée à 96 GB sur la plus grande, votre travail tourne donc sur une seule carte et y reste.
- Affiner votre propre modèleApportez un modèle ouvert et vos propres données, entraînez-le sur une carte qui vous est entièrement réservée pendant tout l'entraînement, et gardez chaque checkpoint sur une machine que vous seul pouvez atteindre.
- Servir un modèle à vos utilisateursFaites tourner l'inférence en continu avec la carte entière pour vous, ainsi les temps de réponse que vous mesurez le lundi sont les temps de réponse que vos utilisateurs obtiennent le vendredi.
- Le travail par lots qui tourne la nuitMettez en file des rendus, des transcodages ou des embeddings et laissez la machine tourner à plein régime jusqu'à ce que la tâche soit terminée, le tout pour le prix mensuel unique.
Choisissez la machine adaptée à votre modèle.
La mémoire de la carte détermine la taille du modèle que vous pouvez charger, et la mémoire de la machine autour vous donne la place de préparer vos données et de garder la carte alimentée pendant qu'elle travaille.
Spark
- 20 GB de mémoire sur la carte
- La machine entière, à vous seul
- Version gérée disponible
Forge
- 96 GB de mémoire sur la carte
- 256 GB de mémoire dans la machine
- La machine entière, à vous seul
- Version gérée disponible
Foundry
- 96 GB de mémoire sur la carte
- 512 GB de mémoire dans la machine
- La machine entière, à vous seul
- Version gérée disponible
Reactor
- 96 GB de mémoire sur la carte
- 768 GB de mémoire dans la machine
- La machine entière, à vous seul
- Version gérée disponible
Chaque machine est construite sur commande : vous obtenez exactement la configuration choisie, au prix affiché sur sa carte.
Votre prix reste figé tant que vous gardez la machine.
Trouvez la machine sur laquelle votre modèle tourne.
Indiquez la taille de votre modèle et la façon dont vous le chargez, et nous vous montrons la plus petite machine qui le contient et ce qu'elle coûte.
8 milliards de paramètres en 16-bit donnent environ 16 GB de poids.
Ce que chacune contient
- Sparksur la carte20 GB4 GB restants
- Forgesur la carte96 GBdans la machine256 GB80 GB restants
- Foundrysur la carte96 GBdans la machine512 GB80 GB restants
- Reactorsur la carte96 GBdans la machine768 GB80 GB restants
Gardez de la marge au-dessus des poids et la carte maintient votre travail à pleine vitesse.
Inclus avec chaque serveur GPU.
- La machine entière, à vous seulChaque heure où la carte travaille, elle travaille sur votre tâche, et la machine obéit à vous seul.
- Votre pile de pilotes, figée là où vous la placezChoisissez le pilote et la boîte à outils, figez-les ensemble, et ils restent exactement là où vous les avez placés d'une exécution à la suivante.
- Un Linux tout neuf quand vous le voulezRéinstallez depuis le panneau en quelques clics et la machine revient avec vos propres clés SSH déjà dessus.
- Le mode secours, sur votre commandeDémarrez en système de secours depuis le panneau à toute heure, avec vos propres clés, et reprenez la main en quelques minutes.
Ce qu'est un serveur GPU.
Un serveur GPU est un ordinateur équipé d'une carte graphique, et une carte graphique excelle à faire le même petit calcul des millions de fois à la fois, ce qui est exactement ce dont l'entraînement et l'exécution d'un modèle sont faits.
En louer un chez nous signifie que la machine entière est à vous : la carte, le processeur et la mémoire autour d'eux, tout est à vous aussi longtemps que vous la gardez.
Vous y installez ce que vous voulez, et nous la gardons alimentée, connectée et refroidie.
Les questions qu'on nous pose.
- Comment savoir de quelle machine j'ai besoin ?
- Partez de la mémoire sur la carte, car c'est elle qui fixe la taille du modèle que vous pouvez charger. La mise en service tient confortablement autour de la taille des poids, et l'entraînement récompense la marge au-dessus, alors prévoyez large si vous entraînez.
- Comment en obtenir une ?
- Choisissez la machine que vous voulez au prix affiché sur sa carte et nous la construisons sur commande. Demandez-nous où en est un palier le jour même et nous vous le dirons.
- Qui s'occupe des pilotes ?
- Vous, sur une machine que vous administrez vous-même, et c'est ce que veulent la plupart des gens ici. Choisissez le pilote et la boîte à outils, figez-les ensemble, et ils restent exactement là où vous les avez placés. Sur une version gérée, nos ingénieurs entretiennent le système d'exploitation pour vous.
- Comment est-ce facturé ?
- Un prix mensuel pour la machine entière, à vous seul aussi longtemps que vous la gardez, et elle se renouvelle au prix auquel vous l'avez prise.
Dites-nous ce que vous faites tourner.
Nous vous dirons quelle machine le contient et ce qu'elle coûte.
Obtenir un serveur GPU