O seu próprio servidor GPU, de 20 a 96 GB de memória na placa.
A máquina inteira responde-lhe a si, com acesso root total, uma pilha de drivers que escolhe e fixa, e cada hora da placa dedicada ao seu próprio trabalho.
DesdeUS$330por mês
Obter um servidor GPUEscolhe a máquina e o preço que vê, e nós construímo-la à sua encomenda.
- Cada núcleo e cada placa, só para si
- Acesso root total e a sua própria pilha de drivers
- O tráfego que entra e sai da máquina está incluído
- Um preço mensal, fixo enquanto mantiver a máquina
As máquinas que construímos
- Spark
- Forge
- Foundry
- Reactor
Feito para o trabalho que tem em mãos.
Cada máquina aqui aloja um modelo inteiro na memória da placa, de 20 GB na máquina de entrada a 96 GB na maior, por isso o seu trabalho corre numa só placa e fica lá.
- Afinar o seu próprio modeloTraga um modelo aberto e os seus próprios dados, treine-o numa placa que é sua durante todo o treino, e guarde cada checkpoint numa máquina onde só você chega.
- Servir um modelo aos seus utilizadoresCorra inferência a todas as horas com a placa inteira só para si, para que os tempos de resposta que mede à segunda sejam os tempos de resposta que os seus utilizadores têm à sexta.
- Trabalho em lote que corre de noiteColoque em fila renders, transcodificações ou embeddings e deixe a máquina correr a fundo até o trabalho estar terminado, tudo pelo mesmo preço mensal.
Escolha a máquina que serve o seu modelo.
A memória da placa decide que tamanho de modelo consegue carregar, e a memória da máquina à volta dela dá-lhe espaço para preparar os seus dados e manter a placa alimentada enquanto trabalha.
Spark
- 20 GB de memória na placa
- A máquina inteira, só para si
- Versão gerida disponível
Forge
- 96 GB de memória na placa
- 256 GB de memória na máquina
- A máquina inteira, só para si
- Versão gerida disponível
Foundry
- 96 GB de memória na placa
- 512 GB de memória na máquina
- A máquina inteira, só para si
- Versão gerida disponível
Reactor
- 96 GB de memória na placa
- 768 GB de memória na máquina
- A máquina inteira, só para si
- Versão gerida disponível
Cada máquina é construída por encomenda, por isso recebe exatamente a configuração que escolheu, ao preço do seu cartão.
O seu preço fica fixo enquanto mantiver a máquina.
Encontre a máquina onde o seu modelo corre.
Indique o tamanho do seu modelo e como o carrega, e mostramos-lhe a máquina mais pequena que o suporta e quanto custa.
8 mil milhões de parâmetros a 16-bit correspondem a cerca de 16 GB de pesos.
O que cada uma suporta
- Sparkna placa20 GB4 GB de margem
- Forgena placa96 GBna máquina256 GB80 GB de margem
- Foundryna placa96 GBna máquina512 GB80 GB de margem
- Reactorna placa96 GBna máquina768 GB80 GB de margem
Deixe margem acima dos pesos e a placa mantém o seu trabalho a andar a toda a velocidade.
Incluído em todos os servidores GPU.
- A máquina inteira, só para siCada hora que a placa trabalha, trabalha na sua tarefa, e a máquina responde apenas a si.
- A sua pilha de drivers, fixada onde a pôsEscolha o driver e o toolkit, fixe-os juntos, e ficam exatamente onde os pôs de uma execução para a seguinte.
- Um Linux limpo sempre que quiserReinstale a partir do painel em poucos cliques e a máquina volta já com as suas próprias chaves SSH.
- Modo rescue, à sua ordemArranque um sistema rescue a partir do painel a qualquer hora, com as suas próprias chaves, e retome o controlo em minutos.
O que é um servidor GPU.
Um servidor GPU é um computador com uma placa gráfica lá dentro, e uma placa gráfica é muito boa a fazer a mesma pequena conta milhões de vezes ao mesmo tempo, que é precisamente aquilo de que o treino e a execução de um modelo são feitos.
Alugar um connosco significa que a máquina inteira é sua: a placa, o processador e a memória à volta deles, tudo seu enquanto a mantiver.
Você instala nela o que quiser, e nós mantemo-la com energia, ligada e arrefecida.
As perguntas que nos fazem.
- Como sei de que máquina preciso?
- Comece pela memória da placa, porque é ela que decide que tamanho de modelo consegue carregar. O serving assenta confortavelmente perto do tamanho dos pesos, e o treino recompensa a folga acima deles, por isso dê-se espaço se vai treinar.
- Como a consigo?
- Escolha a máquina que quer ao preço do seu cartão e construímo-la por encomenda. Pergunte-nos como está cada nível nesse dia e dizemos-lhe.
- Quem trata dos drivers?
- É você, numa máquina autogerida, e é isso que a maioria quer aqui. Escolha o driver e o toolkit, fixe-os juntos, e ficam exatamente onde os pôs. Na versão gerida, os nossos engenheiros mantêm o sistema operativo por si.
- Como é faturado?
- Um preço mensal pela máquina inteira, só sua enquanto a mantiver, e renova ao preço a que a contratou.