云服务器
GPU 服务器概览
GPU servers are single-tenant bare-metal machines fitted with NVIDIA accelerators, sized for AI training, inference, and rendering. This guide covers the four tiers, how ordering and delivery…
GPU 服务器是配有 NVIDIA 加速器的单租户裸机，适用于 AI 训练、推理和渲染。本指南涵盖四个层级、订购和交付的实际工作方式、设置费包含的内容，以及 GPU 机器上线后的管理方法。
GPU 服务器是什么
GPU 服务器是一台专用物理机，配有一个或多个 NVIDIA GPU，以及为其供应所需的 CPU、系统内存和高速存储。整台机器是你的：没有其他人共享加速器、PCIe 带宽或磁盘。
你可以安装自己的堆栈，并按照你的需要运行它。CUDA 工作负载、PyTorch、TensorFlow、JAX 和常见的服务框架都能像在任何裸机 Linux 主机上一样运行，因为这就是它的本质。
选择单租户的原因不仅是性能。GPU 工作负载往往会连续运行数小时，共享加速器在这种持续高负载下的表现与基准测试中的表现差异很大。
四个层级
| 层级 | GPU | GPU 内存 | 系统 RAM |
|---|---|---|---|
| Spark | NVIDIA RTX 4000 | 20 GB | 入门级配置 |
| Forge | NVIDIA RTX PRO 6000 | 96 GB | 256 GB |
| Foundry | NVIDIA RTX PRO 6000 | 96 GB | 512 GB |
| Reactor | NVIDIA RTX PRO 6000 | 96 GB | 768 GB |
Spark 是入门级选项：具有足够的 GPU 内存，可用于较小模型、微调、推理和渲染工作。Forge、Foundry 和 Reactor 共享相同的加速器，并在其周围逐步增加系统内存，这是在暂存大型数据集或在主机内存中存放多个模型时重要的因素。
每个层级都有非管理型和管理型两种版本。非管理型提供 root 权限，操作系统由你维护。管理型保留相同硬件，由我们的工程师在软件层维护。请参阅托管与非托管云服务器。
有关本币种的实时定价，请在 KPanel 中打开"商店"，然后点击"GPU 计算"卡片。
选择层级
从模型出发，而不是价格。
- 你的模型需要多少 GPU 内存（按照运行方式）？ 这是硬性限制。如果权重加激活无法容纳，再多的系统 RAM 也无法帮助。
- 你是在训练还是在服务？ 训练需要大量内存且运行时间长。推理通常受限于向 GPU 传送数据的速度，这时系统 RAM 和磁盘更重要。
- 你的工作集有多大？ 如果你在流式处理无法装入主机内存的数据集，Foundry 和 Reactor 配置正是为此而设计的。
如果你不确定，请告诉我们你正在运行什么、模型大小、框架和你认为需要的 GPU 内存。我们会为你指出正确的层级，而不是让你过度购买。GPU 和 AI 计算服务器提供了更多关于工作负载方面的内容。
订购的实际工作方式
GPU 硬件稀缺且昂贵，所以流程刻意设计为非一键式。
- 登录 KPanel。
- 在左侧边栏中点击"商店"。
- 在"服务器"下，点击"GPU 计算"卡片。
- 在"非管理型"和"管理型"之间切换，然后选择一个层级。
- 完成结账。
结账后，你会收到订单确认电子邮件，我们的团队会在分配硬件之前确认当前容量和构建情况。
GPU 服务器不会在你付款时立即配置。容量需要由我们的团队首先确认，我们不会公布固定的交付周期，因为可用性会变化。如果截止日期很重要，请在下单前而非下单后向我们询问你想要的层级。
我们会给你反馈。如果你已付款但未收到预期的后续消息，请回复确认电子邮件或从"支持"中开启工单，我们会告诉你订单的确切状态。
设置费和计费
GPU 服务器除月度价格外还要收取一次性设置费，这与专用服务器和存储服务器相同，因为涉及物理机的构建和交接。云服务器不收取设置费。
设置费仅收取一次，不会重复收取，在结账时会单独显示，与月度价格分开。
价格不含 GST。如果你的账户货币是 NZD，结账时会增加 15% 的 GST，并在支付按钮总额中显示。请参阅云服务器定价和 GST。
因为 GPU 层级是对昂贵硬件的月度承诺，而不是按小时租赁，请相应地对待这个决定。如果你只需要 GPU 进行短暂突发工作，请在与我们沟通时说明。
预留层级
当某个层级无可用容量时，计划卡片会提供预留选项而非配置选项。加入队列会记录你对该层级的兴趣。
预留是队列中的一个位置，而不是定时构建，我们不承诺等待时间。也没有自助取消按钮：如果你不再想要预留，请联系支持，我们会删除它。
管理 GPU 服务器
GPU 机器上线后，其管理方式与任何其他裸机服务器完全相同，可从 KPanel 边栏中的"专用服务器"访问。边栏中没有单独的 GPU 项。
工具集在管理专用服务器中有详细文档记录，包括：
- 电源：优雅重启、硬件重置、强制断电和网络唤醒。
- 救援系统：临时 Linux 环境或基于浏览器的虚拟控制台。
- 反向 DNS：每个路由 IP 的 PTR 记录。
- IP 和子网：路由到机器的内容，以及额外的 IPv4。
- 流量：按日、月或年计算的入站和出站流量。
- 防火墙：在流量到达机器前应用的上游过滤器。
- 高级：完整操作系统重新安装，需要输入确认。
无法启动的机器的控制台访问方法请参阅专用服务器控制台访问。
开始前的实用注意事项
在非管理型机器上驱动程序由你负责。 安装与你打算运行的框架版本相匹配的 NVIDIA 驱动程序和 CUDA 堆栈，并锁定版本。驱动程序和工具包版本不匹配是 GPU 存在但无法使用的最常见原因。
注意磁盘。 模型检查点和数据集填满磁盘的速度比服务器上的任何其他东西都快。如果容量而非计算是你的真正问题，在 GPU 机器旁边添加一个存储服务器通常比升级到更大的 GPU 层级更便宜。
正确配置防火墙。 运行推理端点的 GPU 机器是一个吸引人的目标。使用上游防火墙仅允许需要到达它的流量，并保持"允许平台服务"打开，这样你不会把自己锁在外面。
重新安装会擦除所有内容。 "高级"下的重新安装操作会擦除每个磁盘，无法撤销，也不会为你进行备份。请先复制检查点。
获取帮助
GPU 是与我们提前沟通能节省最多成本的产品。在 KPanel 中询问 Kora，从"支持"中开启工单，或发送电子邮件至 support@kapsulehost.com，告诉我们你正在运行什么以及需要多少 GPU 内存。