GPU Sunucuları Özeti

GPU sunucuları, yapay zeka eğitimi, çıkarımı ve oluşturma için boyutlandırılmış NVIDIA hızlandırıcılarla donatılmış tek kiracılı bare-metal makinelerdir. Bu kılavuz dört katmanı, sipariş verme ve teslimat sürecinin nasıl çalıştığını, kurulum ücretinin neleri kapsadığını ve GPU makinesi canlı olduğunda nasıl yönetileceğini açıklar.

GPU Sunucusu Nedir

GPU sunucusu, bir veya daha fazla NVIDIA GPU'su, artı bunları çalıştırmak için gereken CPU, sistem belleği ve hızlı depolama alanıyla birlikte gelen adanmış bir fiziksel makinedir. Tüm makine sizindir: başka kimse hızlandırıcıları, PCIe bant genişliğini veya diskleri paylaşmıyor.

Kendi yazılım yığınını kurar ve onu istediğiniz gibi çalıştırırsınız. CUDA iş yükleri, PyTorch, TensorFlow, JAX ve olağan sunma çerçeveleri, herhangi bir bare-metal Linux kutusunda olduğu gibi çalışır, çünkü tam olarak budur.

Burada tek kiracılık istemenin nedeni yalnızca performans değildir. GPU iş yükleri saatlerce tam kapasitede çalışma eğilimindedir ve paylaşılan hızlandırıcılar bu tür uzun süreli yük altında bir karşılaştırmadakinden çok farklı davranır.

Dört Katman

Spark giriş noktasıdır: daha küçük modeller, ince ayar, çıkarım ve oluşturma işleri için yeterli GPU belleği. Forge, Foundry ve Reactor aynı hızlandırıcıyı paylaşır ve etrafındaki sistem belleğini artırır, bu da büyük veri setlerini hazırlarken veya ana bellekte birden fazla modeli tutarken önemli olur.

Her katman hem yönetilmeyen hem de yönetilen olarak sunulur. Yönetilmeyen size root verir ve işletim sistemini size bırakır. Yönetilen aynı donanımı tutarken yazılım katmanında mühendislerimiz tarafından desteklenir. Yönetilen ve Yönetilmeyen Bulut Sunucuları başlıklı makaleye bakınız.

Kendi para biriminizde canlı fiyatlandırma için KPanel'de Store (Mağaza) açın, ardından GPU Compute (GPU İşlem) kartını açın.

Bir Katman Seçme

Fiyattan değil, modelden başlayın.

• Modeliniz çalıştırdığınız biçimde ne kadar GPU belleğine ihtiyaç duyuyor? Bu sabit kısıttır. Ağırlıklar ve aktivasyonlar uymuyorsa, sistem RAM'in hiçbir miktarı yardım etmez.
• Eğitim mi yoksa sunma mı yapıyorsunuz? Eğitim bellek yoğun ve uzun süreli çalışan. Çıkarım genellikle GPU'ya veri getirme hızınız tarafından sınırlandırılır, bu da sistem RAM ve diskin daha önemli olduğu yerdir.
• Çalışma setiniz ne kadar büyük? Ana bellekte sığmayan bir veri seti akışı yapıyorsanız, Foundry ve Reactor yapılandırmaları tam olarak bu amaçla vardır.

Emin değilseniz, çalıştırdığınız şey, model boyutu, çerçeve ve ihtiyacınız olduğunu düşündüğünüz GPU belleği hakkında bize bildirin. Sizin çok fazla harcama yapmanıza izin vermek yerine doğru katmanı gösteririz. GPU ve Yapay Zeka İşlem Sunucuları iş yükü tarafından hakkında daha fazla bilgiye sahiptir.

Sipariş Verme Aslında Nasıl Çalışır

GPU donanımı kıt ve pahalıdır, bu nedenle süreç kasıtlı olarak tek tıklamakla değildir.

1. KPanel içinde oturum açın.
2. Sol kenar çubuğunda Store (Mağaza) öğesine tıklayın.
3. Servers (Sunucular) altında, GPU Compute (GPU İşlem) kartına tıklayın.
4. Unmanaged (Yönetilmeyen) ve Managed (Yönetilen) arasında geçiş yapın ve bir katman seçin.
5. Ödemeyi tamamlayın.

Ödeme sonrasında, sipariş onayı e-postası alırsınız ve ekibimiz, donanım size tahsis edilmeden önce mevcut kapasiteyi ve derlemeyi onaylar.

Her iki durumda da sizden haber alacaksınız. Ödeme yaptıysanız ve beklediğiniz bir takip haberiniz yoksa, onay e-postasına yanıt verin veya Support (Destek) bölümünden bir konu açın ve siparişin tam olarak nerede durduğunu size söyleriz.

Kurulum Ücreti ve Faturalandırma

GPU sunucuları aylık fiyatın üzerine tek seferlik kurulum ücreti taşır; bu, fiziksel bir makinenin inşa edilip teslim edilmesi nedeniyle adanmış ve depolama sunucularıyla ortaktır. Bulut sunucuları kurulum ücreti taşımaz.

Kurulum ücreti bir kez ücretlendirilir, hiçbir zaman tekrarlanmaz ve ödeme sırasında aylık fiyattan ayrı olarak gösterilir.

GPU katmanı saatlik kiralama yerine pahalı donanım üzerinde aylık bir taahhüt olduğundan, kararı buna göre verin. Yalnızca kısa bir süre boyunca, örneğin bir patlama süresi boyunca GPU'ya ihtiyacınız varsa, bize söyleyin.

Bir Katmanı Ayırma

Bir katmanın kapasitesi olmadığında, plan kartı yapılandırma eylemi yerine bir ayırma sunar. Kuyruğa katılmak, o katman hakkında ilginizi kaydeder.

GPU Sunucusu Yönetme

Bir GPU makinesi canlı olduğunda, KPanel kenar çubuğunda Dedicated Servers (Adanmış Sunucular) bölümünden diğer bare-metal sunucu gibi yönetilir. Kenar çubuğunda ayrı bir GPU öğesi yoktur.

Adanmış Sunucu Yönetme makalesinde tam olarak belgelenen araç seti aşağıdakileri kapsar:

• Power (Güç): düzgün yeniden başlatma, donanım sıfırlaması, zorla güç kesme ve Wake-on-LAN.
• Rescue system (Kurtarma sistemi): geçici bir Linux ortamı veya tarayıcı tabanlı sanal konsol.
• Reverse DNS: her yönlendirilmiş IP için PTR kayıtları.
• IPs and subnets (IP'ler ve alt ağlar): makineye yönlendirilen şey, artı ek IPv4.
• Traffic (Trafik): gün, ay veya yıl başına gelen ve giden hacim.
• Firewall (Güvenlik Duvarı): trafik makineye ulaşmadan önce uygulanması gereken bir yukarı akış filtresi.
• Advanced (Gelişmiş): yazılı bir onay arkasında tam işletim sistemi yeniden kurulumu.

Önyüklenmeyen bir makine için konsol erişimi Adanmış Sunucu Konsolu Erişimi makalesinde bulunur.

Başlamadan Önce Pratik Notlar

Sürücüler yönetilmeyen makinede sizinsindir. Çalıştırmayı amaçladığınız çerçeve sürümleriyle eşleşen NVIDIA sürücüsünü ve CUDA yığınını kurun ve sabitleyin. Uyumsuz sürücü ve araç seti sürümleri, GPU'nun mevcut olduğu ancak kullanılamaz olmasının en yaygın nedenidir.

Diskinizi izleyin. Model kontrol noktaları ve veri setleri bir diski sunucudaki başka herhangi bir şeyden daha hızlı doldurur. Kapasite işlem yerine gerçek sorununuzsa, GPU makinenin yanında bir depolama sunucusu genellikle daha büyük bir GPU katmanından daha ucuzdur.

Düzgün bir şekilde güvenlik duvarı yapın. Çıkarım uç noktası çalıştıran bir GPU kutusu cazip bir hedeftir. Upstream güvenlik duvarını kullanarak yalnızca ulaşması gereken şeylere izin verin ve kendinizi kilitlememeniz için Allow platform services (Platform hizmetlerine izin ver) seçeneğini açık tutun.

Yeniden kurulum her şeyi siler. Advanced (Gelişmiş) bölümünün altındaki yeniden kurulum eylemi, geri alma olmadan her diski siler ve sizin için yedek almaz. Kontrol noktalarınızı önce kopyalayın.

Yardım Alma

GPU, bize konuşmanın ilk başta en fazla para kazandırdığı üründür. KPanel içinde Kora'ya sorun, Support (Destek) bölümünden bir konu açın veya support@kapsulehost.com e-postasına çalıştırdığınız şey ve ihtiyacınız olan GPU belleği ile gönder.

İşlem aralığının geri kalanı için, Bulut Sunucularına Genel Bakış ve Adanmış Sunuculara Genel Bakış makalesine bakınız.