GPU サーバーの概要

GPUサーバーはNVIDIA加速器を搭載したシングルテナント型ベアメタルマシンで、AI訓練、推論、レンダリング用に設計されています。本ガイドでは、4つのティア、注文と納品の実際の流れ、セットアップ費用の内訳、稼働中のGPUマシンの管理方法について説明します。

GPUサーバーとは

GPUサーバーは、1つ以上のNVIDIA GPUと、それらを効率的に動作させるのに必要なCPU、システムメモリ、高速ストレージを備えた専用の物理マシンです。マシン全体があなたのものです。加速器、PCIe帯域幅、ディスクを他のユーザーと共有することはありません。

独自のスタックをインストールし、好きな方法で実行できます。CUDAワークロード、PyTorch、TensorFlow、JAX、およびその他の一般的なサービスフレームワークはすべて、ベアメタルLinuxボックスの場合と同じように動作します。それが実際のところだからです。

シングルテナンシーが望ましい理由は、パフォーマンスだけではありません。GPUワークロードは数時間にわたってフルで実行される傾向があり、共有加速器はベンチマークのようには持続的な負荷下では動作しません。

4つのティア

Sparkはエントリーポイントです。小規模なモデル、ファインチューニング、推論、レンダリング作業に十分なGPUメモリを備えています。Forge、Foundry、Reactorは同じ加速器を共有し、システムメモリを増加させます。大規模なデータセットをステージングしたり、複数のモデルをホストメモリに保持する場合に重要です。

すべてのティアはアンマネージド版とマネージド版の両方で提供されています。アンマネージド版ではrootアクセスを提供し、オペレーティングシステムはあなたが管理します。マネージド版はハードウェアは同じですが、ソフトウェアレイヤーは当社のエンジニアが管理します。マネージドとアンマネージドクラウドサーバーをご覧ください。

KPanelでStoreを開き、GPU Computeカードを選択すると、あなたの通貨での最新の価格が表示されます。

ティアの選択

価格ではなく、モデルから始めましょう。

• 実行するモデルの形状でGPUメモリはどの程度必要ですか? これが厳しい制約です。重みと活性化の合計が収まらない場合、システムRAMがどれだけあっても役に立ちません。
• 訓練ですか、それとも推論ですか? 訓練はメモリを消費し、長時間実行されます。推論は、GPUへのデータ供給速度で制限されることが多く、システムRAMとディスクがより重要になります。
• ワーキングセットはどの程度の大きさですか? ホストメモリに収まらないデータセットをストリーミングしている場合、FoundryおよびReactorの構成は正にこのような目的で存在します。

不明な点がある場合は、実行しているもの、モデルサイズ、フレームワーク、必要だと思われるGPUメモリの量をお知らせください。当社は、買い過ぎ防止の観点から、適切なティアをお勧めします。GPU and AI Compute Serversではワークロード側についてさらに詳しく説明しています。

注文の実際の流れ

GPUハードウェアは希少で高価なため、プロセスは意図的にワンクリックではありません。

1. KPanelにサインインします。
2. 左サイドバーのStoreをクリックします。
3. Serversの下で、GPU Computeカードをクリックします。
4. UnmanagedとManagedを切り替え、ティアを選択します。
5. チェックアウトを完了します。

チェックアウト後、注文確認メールが送られてき、ハードウェアが割り当てられる前に、当社のチームが現在の容量とビルド内容を確認します。

いずれにせよ、当社からご連絡があります。支払い後に予期していた追加の連絡がない場合は、確認メールに返信するか、Supportからチケットを開くと、注文がどこにあるか正確にお伝えします。

セットアップ費用と請求

GPUサーバーは、月額料金の上に、一度限りのセットアップ費用が発生します。これは、物理マシンが構築され引き渡されるため、専用サーバーとストレージサーバーと同じです。クラウドサーバーにはセットアップ費用がかかりません。

セットアップ費用は一度だけ請求され、繰り返されることはなく、チェックアウト時に月額料金と別々に表示されます。

GPUティアは時間単位のレンタルではなく高価なハードウェアに対する月額の約束であるため、決定に相応の検討を加えてください。短時間のバーストだけがGPUに必要な場合は、当社に相談してください。

ティアの予約

ティアに容量がない場合、プランカードは構成アクションではなく予約を提供します。キューに参加すると、そのティアへの関心が記録されます。

GPUサーバーの管理

GPUマシンが稼働したら、KPanelサイドバーのDedicated Serversから、他のベアメタルサーバーと全く同じように管理します。サイドバーに個別のGPU項目はありません。

専用サーバーの管理に完全に記載されているツールセットは、以下をカバーしています:

• 電源: グレースフルリスタート、ハードウェアリセット、強制的な電源サイクル、Wake-on-LAN。
• レスキューシステム: 一時的なLinux環境またはブラウザベースの仮想コンソール。
• リバースDNS: ルーティングされた各IPのPTRレコード。
• IP とサブネット: マシンにルーティングされるもの、および追加IPv4。
• トラフィック: 日、月、または年ごとのインバウンドとアウトバウンドのボリューム。
• ファイアウォール: トラフィックがマシンに到達する前に適用されるアップストリームフィルター。
• Advanced: 完全なオペレーティングシステムの再インストール(入力による確認の背後)。

起動しないマシンのコンソールアクセスは専用サーバーのコンソールアクセスを参照してください。

開始前の実践的な注意

ドライバーはアンマネージドマシンではあなたの責任です。 実行するフレームワークのバージョンに一致するNVIDIAドライバーとCUDAスタックをインストールし、固定化してください。ドライバーとツールキットのバージョンが一致しないことが、GPUが存在しても使用不可な最も一般的な原因です。

ディスクに注意してください。 モデルチェックポイントとデータセットは、サーバー上のその他のものよりも高速でディスクを満杯にします。容量が真の問題で計算能力ではない場合、GPUマシンと並行してストレージサーバーを使用する方が通常、より大きなGPUティアよりも安いです。

適切にファイアウォール設定してください。 推論エンドポイントを実行するGPUボックスは、魅力的な標的です。アップストリームファイアウォールを使用して、それに到達する必要があるもののみを許可し、Allow platform servicesをオンのままにしてロックアウトしないようにしてください。

再インストールはすべてを消去します。 Advancedの下の再インストールアクション は、元に戻すことなくすべてのディスクをワイプし、バックアップを取りません。最初にチェックポイントをコピーしてください。

サポートの取得

GPUは、当社に最初に相談することで最もお金が節約できる製品です。KPanel内のKoraに質問するか、Supportからチケットを開くか、support@kapsulehost.comにメールを送信して、実行しているものと必要なGPUメモリの量をお知らせください。

計算範囲の残りについては、クラウドサーバー概要と専用サーバー概要を参照してください。