クラウドサーバー
GPU と AI コンピュートサーバー
A Kapsule GPU server is a single-tenant physical machine fitted with NVIDIA graphics processors and the CPU, memory and fast storage needed to keep them fed, built for AI training, inference and…
Kapsule GPU サーバーは、単一テナントの物理マシンで、NVIDIA グラフィックスプロセッサと、それらを駆動するために必要な CPU、メモリ、高速ストレージを備えており、AI トレーニング、推論、その他の大量並列処理用に構築されています。
マシン全体を利用します。他のユーザーのジョブが GPU、メモリ帯域幅、ディスクを共有することはありません。これが再現可能なベンチマークと再現不可能なベンチマークの違いです。本ガイドでは、4 つのティア、それぞれの用途、GPU の供給が実際に限定されている中での注文方法、設定料金が何のためにあるのかについて説明します。
4 つのティア
| ティア | GPU | GPU メモリ | システムメモリ | 月額 | 1 回限りのセットアップ |
|---|---|---|---|---|---|
| Spark | NVIDIA RTX 4000 | 20 GB | ビルドに含まれる | US$330.00 | はい |
| Forge | NVIDIA RTX PRO 6000 | 96 GB | 256 GB | US$1,680.00 | はい |
| Foundry | NVIDIA RTX PRO 6000 | 96 GB | 512 GB | US$2,520.00 | はい |
| Reactor | NVIDIA RTX PRO 6000 | 96 GB | 768 GB | US$3,240.00 | はい |
価格はお客様の請求通貨での GST 除外で表示されます。各ティアはアンマネージドまたはマネージドで利用できます。クラウドサーバーと同じ選択肢です。
Spark から Forge への段階が重要です。Spark は開発、小規模モデル、推論ワークのエントリーポイントです。Forge、Foundry、Reactor は同じ 96 GB の GPU メモリを共有し、システムメモリが異なります。システムメモリは、モデルと一緒にホスト RAM に保持できるメモリ量、つまりデータセットステージング、前処理パイプライン、多くの同時リクエストの処理を制御します。
実行できるもの
マシンを完全に制御できるので、独自のスタックを実行します。これには PyTorch、TensorFlow、JAX、生の CUDA ワークロード、およびそれらの上のトレーニングおよびサービス提供フレームワークが含まれます。
一般的な用途:
- モデルトレーニングと微調整: 機械学習とディープラーニング用。
- 推論とサービス提供: 本番環境で GPU が許容できない応答時間を許容可能なものに変えます。
- バッチ AI ワークロード: 埋め込み、文字起こし、画像およびビデオ生成、レンダリング。
- 科学および並列計算: GPU アクセラレーションの利点を得られるもの。
GPU メモリを優先してサイズを決定してください。最も一般的な間違いは価格でティアを選択してから、モデルが VRAM に収まらないことに気づくことです。意図された精度とバッチサイズでモデルに必要なメモリを計算し、余裕を追加して、それをクリアするティアを選択してください。システムメモリと CPU は、読み込まれないモデルよりもはるかに簡単に対応できます。
利用可能性と注文方法
GPU ハードウェアは業界全体で需要が高く、供給は限定されています。これは市場に関する事実であり、Kapsule のポリシーではなく、これらの注文方法に影響を与えます。
- これらは物理マシンなので、数秒ではなく注文に応じてプロビジョニングされます。
- 利用可能性はティアと場所によって異なり、プランページを見るときにリアルタイムでチェックされます。
- Spark は現在供給が限定されています。 在庫がない場合、パネルは破損した注文ではなく予約キューを提供します。
より大規模またはカスタム構成については、プロビジョニング前に正確なビルドと正確な価格をご確認いただくため、常に何を得るかをお知りになります。提供できない構成については見積もりません。
予約キュー
GPU ティアの在庫がない場合、立ち去るのではなく予約できます:
- プランページからティアを予約します。予約リファレンスが取得されます。
- 何も請求されません。 予約は無料で、サブスクリプションは開始されません。
- 容量が利用可能になったら、自動的にマシンをプロビジョニングします。
- 最初の支払いはサーバーがライブになったときにのみ実行され、請求日がその日から開始されます。
- 待機中いつでもキャンセルでき、コストはかかりません。
リージョン、利用可能性、予約キューで詳細な仕組みを説明しています。
GPU 予約をハードデッドラインに設定しないでください。容量は戻ってくるときに戻ってきます。保持できない日付を約束するのではなく、率直にお伝えする方が良いです。固定配信日がある場合は、注文前にお問い合わせください。
注文する
- KPanel にサインインします。
- 左サイドバーで Store を開き、GPU を選択するか、
/plans/compute?group=gpuに直接移動します。 - Unmanaged と Managed トグルを使用して、必要なフォームを選択します。
- 各ティアは GPU、VRAM、システムメモリ、月額価格、1 回限りのセットアップ料金、およびライブストック バッジを表示します。
セットアップ料金
GPU サーバーは、物理マシンをビルドしてプロビジョニングする必要があるため、チェックアウト時に定期的な月額料金に加えて 1 回限りのセットアップ料金がかかります。
- 1 回限りで、プロビジョニング時に請求されます。更新時には表示されません。
- チェックアウト時に、Setup (one-time) というラベルの付いた個別の行として表示され、独自のレシートが付きます。
- アカウント通貨が NZD の場合は GST の対象です。
クラウド サーバー価格と GST を参照して、1 回限りの請求と定期的な請求がどのように請求書に表示されるかを確認してください。
GPU サーバーがクラウド サーバーと異なる点
| クラウド サーバー | GPU サーバー | |
|---|---|---|
| ハードウェア | 仮想マシン | NVIDIA GPU 搭載の単一テナント物理マシン |
| プロビジョニング | 在庫に応じて即座に行われます | 注文時、時々予約キューを経由 |
| セットアップ料金 | なし | 1 回限り |
| KPanel でのライブ リサイズ | はい | いいえ |
| サイズ設定対象 | vCPU、メモリ、ディスク | GPU メモリが最初、その後システムメモリ |
GPU サーバーは稼働中にはリサイズできません。ティア間の移動は、新しいマシンを注文して作業を移行することを意味します。今週実行しているものではなく、実行することが予想されるモデルに合うティアを選択してください。
注文前に
これらの答えを用意してください。これらはティアを決定します:
- トレーニングか推論か? トレーニングは通常メモリ集約的で長時間実行されます。推論は通常レイテンシに敏感で同時実行です。
- どのモデル、どの精度か? これにより GPU メモリの最小値が設定されます。
- どのくらいのデータ、どこに保存されているか? 大規模なデータセットのステージングは、システムメモリとディスク用です。
- どのフレームワークか? ドライバーと CUDA の期待値を事前に確認できるようにするため。
これら 4 つのことを教えてください。適切なティアを指摘するか、標準の 4 つのいずれにも合わない場合は構成をまとめます。KPanel 内で Kora に問い合わせるか、support@kapsulehost.com にメールを送信してください。ニュージーランドチームがお役に立ちます。
トラブルシューティング
目的のティアは在庫切れです。 予約してください。待機中に支払いはなく、容量が戻ったら自動的にプロビジョニングされます。
モデルが VRAM に収まりません。 ティアをアップグレードするか、精度またはバッチサイズを削減してください。Forge、Foundry、Reactor はすべて 96 GB の GPU メモリを搭載しています。
複数の GPU が必要、または記載されていない構成が必要です。 要件を含めてお問い合わせください。構築可能な内容と、何も請求される前にかかる費用をご確認します。
コミットする前に試すことはできますか? 開発作業用に Spark で開始し、パイプラインが実証されたら段階的にアップグレードすることについて、お問い合わせください。