GPU-servers Overzicht

GPU servers zijn single-tenant bare-metal machines met NVIDIA accelerators, ontworpen voor AI-training, inference en rendering. Deze gids behandelt de vier tiers, hoe bestellen en levering echt werken, wat de inrichtingskosten dekken en hoe u een GPU-machine beheert nadat deze live is.

Wat een GPU Server is

Een GPU server is een toegewijde fysieke machine met een of meer NVIDIA GPU's, plus de CPU, systeemgeheugen en snelle opslag die nodig zijn om ze van energie te voorzien. De hele machine is van jou: niemand anders deelt de accelerators, de PCIe-bandbreedte of de schijven.

Je installeert je eigen stack en voert deze uit zoals je wilt. CUDA-workloads, PyTorch, TensorFlow, JAX en de gebruikelijke serving frameworks draaien allemaal zoals ze zouden op elke bare-metal Linux box, omdat dat is wat het is.

De reden om hier single tenancy te willen is niet alleen prestatie. GPU-workloads draaien meestal uren achtereen op volle snelheid, en gedeelde accelerators gedragen zich onder dat soort aanhoudende belasting heel anders dan in een benchmark.

De vier tiers

Spark is het startpunt: voldoende GPU-geheugen voor kleinere modellen, fine-tuning, inference en rendering. Forge, Foundry en Reactor delen dezelfde accelerator en verhogen het systeemgeheugen eromheen, wat belangrijk is wanneer je grote datasets organiseert of meerdere modellen in host-geheugen opslaat.

Elke tier wordt zowel onbeheerd als beheerd verkocht. Onbeheerd geeft je root en laat het besturingssysteem aan jou over. Beheerd houdt dezelfde hardware met onze engineers op de softwarelaag. Zie Beheerd versus onbeheerde cloudservers.

Voor actuele prijzen in je eigen valuta, open Store in KPanel en vervolgens de GPU Compute kaart.

Een tier kiezen

Begin bij het model, niet bij de prijs.

• Hoeveel GPU-geheugen heeft uw model nodig in de vorm waarin u het uitvoert? Dat is de harde beperking. Als gewichten plus activaties niet passen, helpt geen hoeveelheid systeemgeheugen.
• Trainen of serveren? Training is geheugenintensief en langdurig. Inference wordt vaak beperkt door hoe snel u gegevens naar de GPU kunt krijgen, wat systeemgeheugen en schijf meer beïnvloedt.
• Hoe groot is uw werkingsverzameling? Als u een dataset streamt die niet in host-geheugen past, bestaan de Foundry- en Reactor-configuraties voor precies die reden.

Als u twijfelt, vertel ons wat u uitvoert, de modelgrootte, het framework en hoeveel GPU-geheugen u denkt nodig te hebben. We wijzen u naar de juiste tier in plaats van u te veel te laten kopen. GPU en AI Compute Servers bevat meer informatie over de workload-kant.

Hoe bestellen echt werkt

GPU-hardware is schaars en duur, dus het proces is bewust niet één klik.

1. Meld u aan bij KPanel.
2. Klik op Store in de linkernavigatiebalk.
3. Klik onder Servers op de GPU Compute kaart.
4. Schakel tussen Unmanaged en Managed en kies een tier.
5. Voltooi de checkout.

Na checkout ontvangt u een orderbevestigingse-mail en ons team bevestigt de huidige capaciteit en de bouw voordat hardware aan u wordt toegewezen.

U zult in elk geval van ons horen. Als u betaald hebt en geen vervolgbericht hebt gehad dat u verwachtte, antwoord op de bevestigingse-mail of open een ticket vanuit Support en we vertellen u precies waar de bestelling staat.

Inrichtingskosten en facturering

GPU servers dragen een eenmalige inrichtingsvergoeding bovenop de maandprijs, in overeenstemming met toegewijde en opslagservers, omdat een fysieke machine wordt gebouwd en overgedragen. Cloudservers dragen geen inrichtingsvergoeding.

De inrichtingsvergoeding wordt eenmaal in rekening gebracht, keert nooit terug en wordt apart van de maandprijs weergegeven bij checkout.

Omdat een GPU tier een maandelijkse verplichting op dure hardware is in plaats van een uurhuurovereenkomst, behandel de beslissing dienovereenkomstig. Als u een GPU alleen voor een korte uitbarsting nodig hebt, zeg dat wanneer u met ons spreekt.

Een tier reserveren

Wanneer een tier geen capaciteit heeft, biedt de plankaart een reservering in plaats van een configuratieactie. Deelnemen aan de wachtrij registreert uw interesse in die tier.

Een GPU Server beheren

Zodra een GPU-machine live is, wordt deze op dezelfde manier beheerd als elke andere bare-metal server, vanuit Dedicated Servers in de KPanel-zijbalk. Er is geen afzonderlijk GPU-item in de zijbalk.

De toolset, volledig gedocumenteerd in Een Dedicated Server beheren, omvat:

• Voeding: gracieuze herstart, hardwarereset, geforceerde uitschakeling en Wake-on-LAN.
• Reddsysteem: een tijdelijke Linux-omgeving of een browserconsole.
• Reverse DNS: PTR-records voor elk gerouteerd IP.
• IP's en subnets: wat naar de machine wordt gerouteerd, plus aanvullende IPv4.
• Verkeer: inkomend en uitgaand volume per dag, maand of jaar.
• Firewall: een upstream-filter die wordt toegepast voordat verkeer de machine bereikt.
• Geavanceerd: een volledige herinstallatie van het besturingssysteem, achter een ingetypte bevestiging.

Consoletoeganggang voor een machine die niet start, staat in Dedicated Server Console Access.

Praktische opmerkingen voordat u begint

Stuurprogramma's zijn van jou op een onbeheerde machine. Installeer het NVIDIA-stuurprogramma en de CUDA-stack die overeenkomt met de frameworkversies die u wilt uitvoeren en pin deze. Niet-overeenkomende stuurprogramma- en toolkitversies zijn de meest voorkomende oorzaak van een GPU die aanwezig is maar onbruikbaar.

Pas op voor uw schijf. Modelcontrolepunten en datasets vullen een schijf sneller dan iets anders op een server. Als capaciteit uw werkelijk probleem is in plaats van compute, is een opslagserver naast de GPU-machine meestal goedkoper dan een grotere GPU tier.

Firewall het goed. Een GPU-vak met een inference-eindpunt is een aantrekkelijk doelwit. Gebruik de upstream firewall om alleen toe te staan wat er moet bereiken en houd Platformservices toestaan ingeschakeld zodat u jezelf niet buitensluit.

Herinstallatie wist alles. De herinstallactie onder Geavanceerd wist elke schijf zonder ongedaan maken en maakt geen back-up voor u. Kopieer uw controlepunten eerst ergens anders naartoe.

Hulp krijgen

GPU is het product waar eerst met ons praten het meeste geld bespaard. Vraag Kora in KPanel, open een ticket vanuit Support of stuur een e-mail naar support@kapsulehost.com met wat u uitvoert en hoeveel GPU-geheugen u nodig hebt.

Voor de rest van het computebereik zie Cloud Servers Overview en Dedicated Servers Overview.