Обзор серверов GPU

GPU серверы это однотенантные bare-metal машины с ускорителями NVIDIA, предназначенные для обучения ИИ, инференса и рендеринга. Данное руководство охватывает четыре уровня, как работает заказ и доставка, что входит в плату за настройку, и как управлять GPU машиной после запуска.

Что такое GPU сервер

GPU сервер это выделенная физическая машина с одним или несколькими GPU от NVIDIA, плюс CPU, системная память и быстрое хранилище, необходимые для их работы. Вся машина принадлежит вам: никто другой не разделяет ускорители, пропускную способность PCIe или диски.

Вы устанавливаете собственный стек и запускаете его как угодно. CUDA workloads, PyTorch, TensorFlow, JAX и обычные serving фреймворки работают так же, как на любом bare-metal Linux сервере, потому что это именно то, чем он и является.

Причина выбрать однотенантность здесь не только производительность. GPU workloads обычно работают на полную мощность часами, и разделяемые ускорители ведут себя совсем иначе при такой продолжительной нагрузке, чем в бенчмарках.

Четыре уровня

Spark это точка входа: достаточно памяти GPU для небольших моделей, fine-tuning, инференса и работ по рендерингу. Forge, Foundry и Reactor используют один и тот же ускоритель и увеличивают объем системной памяти, что имеет значение при подготовке больших наборов данных или хранении нескольких моделей в памяти хоста.

Каждый уровень доступен как неуправляемый, так и управляемый. Неуправляемый предоставляет вам root и оставляет операционную систему на ваше усмотрение. Управляемый сохраняет то же оборудование, но с нашими инженерами на слое программного обеспечения. См. Managed vs Unmanaged Cloud Servers.

Для актуальной цены в вашей валюте откройте Store в KPanel, а затем карточку GPU Compute.

Выбор уровня

Начните с модели, а не с цены.

• Сколько памяти GPU требует ваша модель в той форме, в которой вы её запускаете? Это жёсткое ограничение. Если веса и активации не помещаются, никакой объём системной памяти не поможет.
• Вы обучаете или развёртываете? Обучение требует много памяти и длительное время выполнения. Инференс часто ограничивается тем, как быстро вы можете передать данные на GPU, и здесь системная память и диск имеют большее значение.
• Насколько велик ваш рабочий набор? Если вы потоком передаёте набор данных, который не помещается в памяти хоста, конфигурации Foundry и Reactor существуют именно для этой цели.

Если вы не уверены, расскажите нам, что вы запускаете, размер модели, фреймворк и сколько памяти GPU вы думаете, что вам нужно. Мы укажем вам на правильный уровень, чтобы вы не переплатили. GPU and AI Compute Servers содержит больше информации по стороне workload.

Как на самом деле работает заказ

GPU оборудование редко и дорого, поэтому процесс намеренно не представляет собой одноклик.

1. Войдите в KPanel.
2. Нажмите Store на левой боковой панели.
3. В разделе Servers нажмите карточку GPU Compute.
4. Переключайтесь между Unmanaged и Managed и выберите уровень.
5. Завершите оформление заказа.

После оформления заказа вы получите письмо с подтверждением заказа, и наша команда подтверждает текущую ёмкость и сборку перед выделением оборудования вам.

Мы свяжемся с вами в любом случае. Если вы оплатили и не получили ожидаемое уведомление, ответьте на письмо подтверждения или откройте тикет из Support и мы расскажем вам точный статус вашего заказа.

Плата за настройку и выставление счетов

GPU серверы имеют единовременную плату за настройку в дополнение к ежемесячной цене, как и выделенные серверы и серверы хранилища, потому что физическая машина собирается и передаётся вам. Облачные серверы не имеют платы за настройку.

Плата за настройку взимается один раз, никогда не повторяется и отображается отдельно от ежемесячной цены при оформлении заказа.

Поскольку уровень GPU это ежемесячное обязательство дорогостоящего оборудования, а не почасовая аренда, подходите к решению соответственно. Если вам GPU нужен только на короткий всплеск, скажите нам об этом, когда вы с нами свяжетесь.

Резервирование уровня

Когда уровень не имеет свободной ёмкости, карточка плана предлагает резервирование вместо действия конфигурации. Присоединение к очереди записывает ваш интерес к этому уровню.

Управление GPU сервером

После запуска GPU машины она управляется точно так же, как любой другой bare-metal сервер, из раздела Dedicated Servers на боковой панели KPanel. На боковой панели нет отдельного пункта GPU.

Набор инструментов, полностью документированный в Managing a Dedicated Server, охватывает:

• Power: корректный перезапуск, сброс оборудования, принудительный выключение и Wake-on-LAN.
• Rescue system: временная среда Linux или виртуальная консоль в браузере.
• Reverse DNS: PTR записи для каждого маршрутизируемого IP.
• IPs and subnets: то, что маршрутизируется на машину, плюс дополнительные IPv4.
• Traffic: входящий и исходящий объём в день, месяц или год.
• Firewall: фильтр вверх по потоку, применяемый до того, как трафик достигнет машины.
• Advanced: полная переустановка операционной системы, требующая подтверждения вводом текста.

Доступ к консоли для машины, которая не загружается, находится в Dedicated Server Console Access.

Практические замечания перед началом

Драйверы на вашей ответственности на неуправляемой машине. Установите драйвер NVIDIA и стек CUDA, соответствующие версиям фреймворка, которые вы собираетесь использовать, и зафиксируйте их. Несовпадающие версии драйвера и набора инструментов это самая частая причина наличия GPU, который не используется.

Следите за диском. Чекпойнты моделей и наборы данных заполняют диск быстрее, чем что-либо другое на сервере. Если проблема в ёмкости, а не в вычислениях, storage server рядом с GPU машиной обычно дешевле, чем больший уровень GPU.

Защитите фаерволом должным образом. GPU сервер, запускающий endpoint инференса, это привлекательная цель. Используйте фаервол вверх по потоку, чтобы разрешить только необходимое, и держите Allow platform services включённым, чтобы вы сами себя не заблокировали.

Переустановка стирает всё. Действие переустановки в разделе Advanced стирает каждый диск без возможности отката и не создаёт для вас резервную копию. Скопируйте ваши чекпойнты сначала.

Получение помощи

GPU это продукт, где разговор с нами в первую очередь сэкономит больше всего денег. Спросите Kora внутри KPanel, откройте тикет из Support или напишите на support@kapsulehost.com с информацией о том, что вы запускаете и сколько памяти GPU вам нужно.

Для остальной части диапазона вычислений см. Cloud Servers Overview и Dedicated Servers Overview.