카드 메모리 20부터 96 GB까지, 회원님만의 GPU 서버.
서버 한 대가 통째로 회원님 지시대로 움직여요. 루트 권한을 전부 드리고, 드라이버 스택은 직접 고르고 고정할 수 있으며, 카드가 일하는 모든 시간이 회원님 작업에 쓰여요.
월US$330부터
GPU 서버 신청하기서버와 표시된 가격은 직접 고르시고, 저희는 주문하신 그대로 만들어 드려요.
- 모든 코어와 모든 카드가 회원님 것
- 완전한 루트 권한과 직접 고른 드라이버 스택
- 서버로 들어오고 나가는 트래픽이 요금에 포함돼요
- 월 요금 하나, 쓰시는 동안 그대로
저희가 만드는 서버
- Spark
- Forge
- Foundry
- Reactor
지금 하고 계신 일에 맞춰 만들었어요.
여기 있는 서버는 모두 모델 하나를 통째로 카드 메모리에 올려요. 입문 서버의 20 GB부터 가장 큰 서버의 96 GB까지, 회원님 작업은 카드 한 장 위에서 돌고 그대로 머물러요.
- 내 모델 파인튜닝오픈 모델과 회원님 데이터를 가져와, 학습이 끝날 때까지 온전히 회원님 것인 카드에서 학습시키고, 모든 체크포인트를 회원님만 닿을 수 있는 서버에 그대로 보관하세요.
- 사용자에게 모델 서빙카드를 통째로 혼자 쓰면서 하루 종일 추론을 돌리니, 월요일에 측정한 응답 시간이 금요일에 사용자가 받는 응답 시간 그대로예요.
- 밤새 도는 배치 작업렌더링이나 트랜스코딩, 임베딩 생성을 큐에 쌓아두면 서버가 작업이 마무리될 때까지 전속력으로 달려요. 그것도 월 요금 하나로요.
회원님 모델에 맞는 서버를 고르세요.
카드 메모리가 얼마나 큰 모델을 올릴 수 있는지를 정하고, 그 주위를 감싼 서버 메모리는 데이터를 미리 준비해 두고 카드에 다음 일감을 계속 건네줄 여유를 만들어 줘요.
모든 서버는 주문을 받은 뒤에 맞춰 만들기 때문에, 고르신 구성 그대로 카드에 적힌 가격으로 만들어 드려요.
이 가격은 서버를 쓰시는 동안 그대로 유지돼요.
내 모델이 돌아가는 서버를 찾아보세요.
모델 크기와 로딩 방식을 정하면, 그걸 담을 수 있는 가장 작은 서버와 그 가격을 함께 보여드려요.
8B 파라미터를 16-bit로 로드하면 가중치는 약 16 GB가 돼요.
서버마다 담을 수 있는 양
- Spark카드 메모리20 GB4 GB 여유
- Forge카드 메모리96 GB시스템 메모리256 GB80 GB 여유
- Foundry카드 메모리96 GB시스템 메모리512 GB80 GB 여유
- Reactor카드 메모리96 GB시스템 메모리768 GB80 GB 여유
가중치 위로 여유를 남겨 두면 카드가 회원님 작업을 계속 최고 속도로 밀어붙여요.
모든 GPU 서버에 기본으로 들어가요.
- 서버 한 대 통째로, 회원님 혼자카드가 일하는 모든 시간이 회원님 작업에 쓰이고, 서버는 회원님 명령에만 답해요.
- 직접 고른 드라이버 스택, 고정한 그대로드라이버와 툴킷을 골라 함께 고정해두면, 다음 실행에서도 두신 그 자리에 그대로 있어요.
- 원할 때 언제든 깨끗한 리눅스패널에서 몇 번만 누르면 재설치되고, 돌아온 서버에는 회원님의 SSH 키가 이미 들어 있어요.
- 복구 모드, 회원님 신호에 맞춰밤이든 낮이든 패널에서 회원님 키로 복구 시스템을 띄우고, 몇 분 만에 서버를 다시 손에 넣을 수 있어요.
GPU 서버가 무엇인가요.
GPU 서버는 그래픽 카드가 들어 있는 컴퓨터예요. 그래픽 카드는 똑같은 작은 계산을 한 번에 수백만 번 해내는 데 아주 뛰어난데, 모델을 학습시키고 돌리는 일이 바로 그런 계산으로 이루어져 있어요.
저희에게 빌린다는 건 서버 한 대가 통째로 회원님 것이 된다는 뜻이에요. 카드도, 프로세서도, 그 주위의 메모리도, 쓰시는 동안 전부 회원님 것이에요.
안에는 원하시는 걸 자유롭게 설치하시고, 전원과 회선과 냉각은 저희가 맡아요.
많이들 물어보시는 질문이에요.
- 어떤 서버가 필요한지 어떻게 알 수 있나요?
- 카드 메모리부터 보세요. 얼마나 큰 모델을 올릴 수 있는지가 거기서 정해져요. 서빙은 가중치 크기에 가깝게 잡아도 편안하게 돌아가고, 학습은 그 위에 남겨둔 여유만큼 돌려주니 학습을 하신다면 넉넉히 잡으세요.
- 어떻게 받을 수 있나요?
- 원하는 서버를 카드에 적힌 가격으로 고르시면 주문에 맞춰 만들어 드려요. 문의하신 날 각 등급이 어떤 상황인지 물어보시면 그때 바로 알려드릴게요.
- 드라이버는 누가 관리하나요?
- 언매니지드 서버에서는 회원님이 관리하시고, 여기서는 대부분 그걸 원하세요. 드라이버와 툴킷을 골라 함께 고정해두면 두신 그 자리에 그대로 남아 있어요. 매니지드 버전에서는 저희 엔지니어가 운영체제를 맡아 관리해 드려요.
- 요금은 어떻게 청구되나요?
- 서버 한 대를 통째로 쓰는 월 요금 하나예요. 쓰시는 동안 그 서버는 온전히 회원님 것이고, 갱신할 때도 처음 계약한 그 가격 그대로예요.