Серверы GPU и AI Compute

Сервер Kapsule GPU представляет собой однотенантную физическую машину, оснащённую графическими процессорами NVIDIA, а также процессором, памятью и быстрым хранилищем, необходимыми для их использования. Такие серверы разработаны для обучения моделей искусственного интеллекта, вывода результатов и других работ, требующих массивно-параллельных вычислений.

Вы получаете целую машину. Никто другой не делит с вами ни GPU, ни пропускную способность памяти, ни дисковое пространство, что является определяющим фактором между результатом, который вы можете воспроизвести, и тем, который невозможно повторить. В этом руководстве рассматриваются четыре уровня, их назначение, как работает заказ с учётом того, что предложение GPU действительно ограничено, и для чего нужна плата за настройку.

Четыре уровня

Цены указаны без учета GST в вашей валюте выставления счётов. Каждый уровень доступен неуправляемым или управляемым вариантом, как и наши облачные серверы.

Переход от Spark к Forge является наиболее значительным. Spark служит точкой входа для разработки, работы с меньшими моделями и вывода результатов. Forge, Foundry и Reactor имеют одинаковый объём памяти GPU в 96 GB и различаются по системной памяти, которая определяет, сколько вы можете хранить в оперативной памяти хоста наряду с моделью: промежуточное хранилище данных, конвейеры предварительной обработки и обслуживание множественных одновременных запросов.

Что вы можете запустить

Вы получаете полный контроль над машиной, поэтому вы запускаете собственный стек. Это включает PyTorch, TensorFlow, JAX, необработанные рабочие нагрузки CUDA и обычные фреймворки обучения и развёртывания на их основе.

Типичные применения:

• Обучение моделей и тонкая настройка для машинного обучения и глубокого обучения.
• Вывод результатов и развёртывание в производстве, где GPU превращает неприемлемое время ответа в приемлемое.
• Пакетные рабочие нагрузки AI: встраивания, транскрипция, генерация изображений и видео, рендеринг.
• Научные и параллельные вычисления, которые выигрывают от ускорения GPU.

Доступность и как работает заказ

Оборудование GPU находится в большом спросе по всей отрасли, а предложение ограничено. Это факт рынка, а не политика KapsuleHost, и это влияет на то, как проводятся эти заказы.

• Это физические машины, поэтому они предоставляются на заказ, а не в течение секунд.
• Доступность варьируется в зависимости от уровня и местоположения, и проверяется в реальном времени, когда вы просматриваете страницу планов.
• Spark в настоящее время испытывает ограничение предложения. Когда запасы закончились, панель предлагает вам очередь резервирования вместо невозможного заказа.

Для более крупных или пользовательских конфигураций мы подтверждаем точную конфигурацию и точную цену с вами перед развёртыванием, чтобы вы всегда знали, что получаете. Мы не предлагаем конфигурацию, которую не можем доставить.

Очередь резервирования

Когда уровень GPU отсутствует на складе, вы можете зарезервировать его вместо того, чтобы уйти:

1. Зарезервируйте уровень со страницы планов. Вы получите ссылку на резервирование.
2. Никакие платежи не взимаются. Резервирование бесплатно и никакая подписка не начинается.
3. Когда появляется доступность, мы автоматически развёртываем машину для вас.
4. Ваш первый платёж снимается только после того, как сервер перейдёт в режим реального времени, и ваша дата выставления счётов начинается с этого дня.
5. Отмените в любое время, пока вы ждёте, без каких-либо затрат.

В разделе Регионы, доступность и очередь резервирования подробно объясняется механика работы.

Заказ сервера

1. Войдите в KPanel.
2. Откройте Store в левой боковой панели и выберите GPU, или перейдите прямо на /plans/compute?group=gpu.
3. Используйте переключатель Unmanaged и Managed, чтобы выбрать нужную форму.
4. Каждый уровень показывает свой GPU, его VRAM, системную память, ежемесячную цену и единовременную плату за настройку, а также значок наличия на складе в реальном времени.

Плата за настройку

Сервер GPU предусматривает единовременную плату за настройку при оформлении заказа в дополнение к регулярной ежемесячной цене, потому что физическую машину нужно собрать и развернуть для вас.

• Взимается один раз при развёртывании. Она никогда не появляется при продлении.
• Отображается как отдельная строка при оформлении заказа с надписью Setup (one-time) и со своей собственной квитанцией.
• Облагается GST, если валюта вашего счёта: NZD.

Дополнительные сведения о том, как единовременные и повторяющиеся платежи отображаются в ваших счётах, см. в разделе Ценообразование облачных серверов и GST.

Чем серверы GPU отличаются от облачных серверов

Перед заказом

Подготовьте ответы на эти вопросы, так как они определяют уровень:

• Обучение или вывод? Обучение обычно требует больше памяти и является длительным процессом. Вывод обычно чувствителен к задержке и обрабатывает множественные одновременные запросы.
• Какая модель и с какой точностью? Это устанавливает минимальный предел памяти GPU.
• Сколько данных и где они находятся? Промежуточное хранилище большого набора данных используется для системной памяти и диска.
• Какой фреймворк? Чтобы мы могли заранее подтвердить ожидания драйвера и CUDA.

Сообщите нам эти четыре момента, и мы подскажем вам правильный уровень или подготовим конфигурацию, если ни один из четырёх стандартных вариантов не подходит. Спросите Kora внутри KPanel или отправьте письмо на адрес support@kapsulehost.com, и наша команда из Новой Зеландии поможет вам.

Устранение неполадок

Требуемый уровень показывает "Out of stock". Зарезервируйте его. Вы не платите, пока ждёте, и мы развёртываем автоматически, когда появляется доступность.

Моя модель не помещается в VRAM. Переходите на уровень выше или уменьшите точность или размер пакета. Forge, Foundry и Reactor имеют по 96 GB памяти GPU.

Мне нужно более одного GPU или конфигурация, которую вы не перечисляете. Свяжитесь с нами с вашими требованиями, и мы подтвердим, что мы можем построить и во сколько это стоит, прежде чем что-либо будет взиматься.

Могу ли я попробовать перед тем, как брать на себя обязательства? Свяжитесь с нами о начале работы на Spark для разработки и переходе на более высокий уровень после доказательства работоспособности вашего конвейера.