क्लाउड सर्वर
GPU Servers का अवलोकन
GPU servers are single-tenant bare-metal machines fitted with NVIDIA accelerators, sized for AI training, inference, and rendering. This guide covers the four tiers, how ordering and delivery…
GPU सर्वर एकल-किरायेदार बेयर-मेटल मशीनें हैं जो NVIDIA एक्सेलरेटर से लैस हैं, जो AI प्रशिक्षण, अनुमान और रेंडरिंग के लिए आकार दी गई हैं। यह गाइड चार स्तरों, ऑर्डरिंग और डिलीवरी वास्तव में कैसे काम करती है, सेटअप फीस में क्या शामिल है, और एक GPU मशीन लाइव होने के बाद इसे कैसे प्रबंधित करें, इसे कवर करता है।
GPU सर्वर क्या है
GPU सर्वर एक समर्पित भौतिक मशीन है जिसमें एक या अधिक NVIDIA GPU हैं, साथ ही CPU, सिस्टम मेमोरी, और तेज स्टोरेज जो उन्हें काम करते रहने के लिए आवश्यक है। पूरी मशीन आपकी है: कोई अन्य एक्सेलरेटर, PCIe बैंडविड्थ, या डिस्क साझा नहीं कर रहा है।
आप अपना स्वयं का स्टैक स्थापित करते हैं और इसे जैसे चाहें चलाते हैं। CUDA वर्कलोड, PyTorch, TensorFlow, JAX, और सामान्य सर्विंग फ्रेमवर्क सभी उसी तरह चलते हैं जैसे वे किसी भी बेयर-मेटल Linux बॉक्स पर चलते हैं, क्योंकि यह वही है।
यहां एकल किरायेदारी चाहने का कारण केवल प्रदर्शन नहीं है। GPU वर्कलोड घंटों तक पूरी तरह चलते हैं, और साझा एक्सेलरेटर उस तरह के निरंतर लोड के तहत बेंचमार्क में जैसे व्यवहार करते हैं, उससे बहुत अलग व्यवहार करते हैं।
चार स्तर
| स्तर | GPU | GPU मेमोरी | सिस्टम RAM |
|---|---|---|---|
| Spark | NVIDIA RTX 4000 | 20 GB | प्रवेश कॉन्फ़िगरेशन |
| Forge | NVIDIA RTX PRO 6000 | 96 GB | 256 GB |
| Foundry | NVIDIA RTX PRO 6000 | 96 GB | 512 GB |
| Reactor | NVIDIA RTX PRO 6000 | 96 GB | 768 GB |
Spark प्रवेश बिंदु है: छोटे मॉडल, फाइन-ट्यूनिंग, अनुमान, और रेंडरिंग कार्य के लिए पर्याप्त GPU मेमोरी। Forge, Foundry, और Reactor एक ही एक्सेलरेटर साझा करते हैं और इसके चारों ओर सिस्टम मेमोरी में वृद्धि करते हैं, जो तब महत्वपूर्ण होता है जब आप बड़े डेटा सेट या होस्ट मेमोरी में कई मॉडल रख रहे हों।
हर स्तर अप्रबंधित और प्रबंधित दोनों के रूप में बेचा जाता है। अप्रबंधित आपको root देता है और ऑपरेटिंग सिस्टम आपके ऊपर छोड़ देता है। प्रबंधित सॉफ्टवेयर परत पर हमारे इंजीनियरों के साथ एक ही हार्डवेयर रखता है। Managed vs Unmanaged Cloud Servers देखें।
अपनी स्वयं की मुद्रा में लाइव मूल्य निर्धारण के लिए, KPanel में Store खोलें, फिर GPU Compute कार्ड खोलें।
स्तर का चयन करना
मूल्य से नहीं, मॉडल से शुरू करें।
- आपके मॉडल को जिस रूप में चला रहे हैं उसमें कितनी GPU मेमोरी की आवश्यकता है? यह कठोर बाधा है। यदि भार और सक्रियण में फिट नहीं होते हैं, तो सिस्टम RAM की कोई मात्रा मदद नहीं करती है।
- क्या आप प्रशिक्षण या सेवा कर रहे हैं? प्रशिक्षण मेमोरी-भूखा और लंबे समय तक चलने वाला होता है। अनुमान अक्सर इस बात से बंधा होता है कि आप डेटा को GPU तक कितनी तेजी से ला सकते हैं, जहां सिस्टम RAM और डिस्क अधिक महत्वपूर्ण होते हैं।
- आपका कार्य सेट कितना बड़ा है? यदि आप एक डेटा सेट स्ट्रीम कर रहे हैं जो होस्ट मेमोरी में फिट नहीं होता है, तो Foundry और Reactor कॉन्फ़िगरेशन बिल्कुल उस कारण के लिए मौजूद हैं।
यदि आप अनिश्चित हैं, तो हमें बताएं कि आप क्या चला रहे हैं, मॉडल का आकार, फ्रेमवर्क, और आपको कितनी GPU मेमोरी की आवश्यकता है। हम आपको सही स्तर की ओर इशारा करेंगे बजाय आपको अधिक खरीदने देंगे। GPU and AI Compute Servers में वर्कलोड पक्ष पर अधिक जानकारी है।
ऑर्डरिंग वास्तव में कैसे काम करती है
GPU हार्डवेयर दुर्लभ और महंगा है, इसलिए प्रक्रिया जानबूझकर वन-क्लिक नहीं है।
- KPanel में साइन इन करें।
- बाईं साइडबार में Store पर क्लिक करें।
- Servers के तहत, GPU Compute कार्ड पर क्लिक करें।
- Unmanaged और Managed के बीच स्विच करें, और एक स्तर चुनें।
- चेकआउट पूर्ण करें।
चेकआउट के बाद आप एक ऑर्डर स्वीकृति ईमेल प्राप्त करते हैं, और हमारी टीम वर्तमान क्षमता और बिल्ड की पुष्टि करती है हार्डवेयर आपको आवंटित करने से पहले।
GPU सर्वर जिस पल आप भुगतान करते हैं उसी पल प्रावधान नहीं किया जाता है। क्षमता पहले हमारी टीम द्वारा पुष्टि की जाती है, और हम एक निश्चित लीड समय प्रकाशित नहीं करते क्योंकि उपलब्धता चलती है। यदि कोई समय सीमा महत्वपूर्ण है, तो ऑर्डर देने के बाद नहीं बल्कि पहले हमसे उस स्तर के बारे में पूछें।
आप किसी भी तरह से हमसे सुनेंगे। यदि आप भुगतान कर चुके हैं और आपको उस अनुवर्ती संपर्क नहीं मिला है जिसकी आप अपेक्षा कर रहे थे, तो स्वीकृति ईमेल का जवाब दें या Support से एक टिकट खोलें और हम आपको बताएंगे कि ऑर्डर बिल्कुल कहां है।
सेटअप फीस और बिलिंग
GPU सर्वर मासिक मूल्य के शीर्ष पर एकबारी सेटअप फीस ले जाते हैं, जो समर्पित और भंडारण सर्वर के साथ सामान्य है, क्योंकि एक भौतिक मशीन बनाई जाती है और सौंपी जाती है। क्लाउड सर्वर कोई सेटअप फीस नहीं ले जाते हैं।
सेटअप फीस एक बार चार्ज की जाती है, कभी पुनरावृत्ति नहीं होती है, और चेकआउट पर मासिक मूल्य से अलग से दिखाई जाती है।
कीमतें GST को छोड़कर दिखाई जाती हैं। यदि आपकी खाता मुद्रा NZD है, तो 15 प्रतिशत GST चेकआउट पर जोड़ा जाता है और भुगतान-बटन कुल में दिखाई देता है। Cloud Server Pricing and GST देखें।
क्योंकि GPU स्तर एक घंटे की किराये के बजाय महंगे हार्डवेयर पर मासिक प्रतिबद्धता है, निर्णय को तदनुसार मानें। यदि आपको केवल एक छोटे विस्फोट के लिए GPU की आवश्यकता है, तो हमसे बात करते समय ऐसा कहें।
स्तर को आरक्षित करना
जब किसी स्तर की क्षमता नहीं होती है, तो योजना कार्ड कॉन्फ़िगर करने की क्रिया के बजाय आरक्षण प्रदान करता है। कतार में शामिल होने से उस स्तर में आपकी रुचि दर्ज हो जाती है।
एक आरक्षण एक कतार में एक स्थान है, एक अनुसूचित बिल्ड नहीं है, और हम एक प्रतीक्षा समय के लिए प्रतिबद्ध नहीं हैं। कोई आत्म-सेवा रद्द बटन भी नहीं है: यदि आप अब आरक्षण नहीं चाहते हैं, तो समर्थन से संपर्क करें और हम इसे हटा देंगे।
GPU सर्वर का प्रबंधन करना
एक बार GPU मशीन लाइव हो जाने के बाद, इसे KPanel साइडबार में Dedicated Servers से किसी अन्य बेयर-मेटल सर्वर की तरह ही प्रबंधित किया जाता है। साइडबार में कोई अलग GPU आइटम नहीं है।
Managing a Dedicated Server में पूरी तरह प्रलेखित टूलसेट शामिल है:
- Power: सौम्य पुनरारंभ, हार्डवेयर रीसेट, बलपूर्वक बिजली चक्र, और Wake-on-LAN।
- Rescue system: एक अस्थायी Linux वातावरण, या ब्राउज़र-आधारित वर्चुअल कंसोल।
- Reverse DNS: प्रत्येक रूट किए गए IP के लिए PTR रिकॉर्ड।
- IPs and subnets: मशीन के लिए क्या रूट किया गया है, साथ ही अतिरिक्त IPv4।
- Traffic: दिन, महीने, या वर्ष के अनुसार इनबाउंड और आउटबाउंड मात्रा।
- Firewall: एक अपस्ट्रीम फिल्टर जो ट्रैफिक मशीन तक पहुंचने से पहले लागू किया जाता है।
- Advanced: एक पूर्ण ऑपरेटिंग सिस्टम पुनः स्थापन, एक टाइप की गई पुष्टि के पीछे।
एक मशीन के लिए कंसोल एक्सेस जो बूट नहीं होगा वह Dedicated Server Console Access में है।
शुरू करने से पहले व्यावहारिक नोट्स
ड्राइवर अप्रबंधित मशीन पर आपके हैं। NVIDIA ड्राइवर और CUDA स्टैक स्थापित करें जो फ्रेमवर्क संस्करणों से मेल खाता है जिन्हें आप चलाना चाहते हैं, और उन्हें पिन करें। गलत मिलाए गए ड्राइवर और टूलकिट संस्करण GPU के मौजूद होने का सबसे सामान्य कारण हैं लेकिन उपयोग करने योग्य नहीं हैं।
अपनी डिस्क को देखें। मॉडल चेकपॉइंट और डेटा सेट सर्वर पर किसी और चीज़ की तुलना में तेजी से डिस्क भर देते हैं। यदि क्षमता आपकी वास्तविक समस्या है कंप्यूट के बजाय, तो GPU मशीन के साथ एक storage server आमतौर पर एक बड़े GPU स्तर की तुलना में सस्ता होता है।
इसे ठीक से फायरवॉल करें। एक अनुमान समापन बिंदु चलाने वाली GPU बॉक्स एक आकर्षक लक्ष्य है। अपस्ट्रीम फायरवॉल का उपयोग करके केवल वही अनुमति दें जो इसे तक पहुंचने की आवश्यकता है, और Allow platform services को चालू रखें ताकि आप स्वयं को बंद न कर दें।
पुनः स्थापना सबकुछ मिटाता है। Advanced के तहत पुनः स्थापना क्रिया बिना किसी पूर्ववत के प्रत्येक डिस्क को मिटा देती है और आपके लिए कोई बैकअप नहीं लेती है। पहले अपने चेकपॉइंट को कॉपी करें।
सहायता प्राप्त करना
GPU वह उत्पाद है जहां पहले हमसे बात करना सबसे अधिक पैसा बचाता है। KPanel के अंदर Kora से पूछें, Support से एक टिकट खोलें, या support@kapsulehost.com को ईमेल करें कि आप क्या चला रहे हैं और आपको कितनी GPU मेमोरी की आवश्यकता है।
कंप्यूट श्रेणी के बाकी हिस्से के लिए, Cloud Servers Overview और Dedicated Servers Overview देखें।