GPUaaS란? 서비스형 GPU의 개념·구조·과금 방식 정리

AI 모델을 학습시키거나 AI 서비스를 운영하려면 GPU가 필요합니다. 그런데 GPU 서버는 가격이 높고 전력과 냉각 설비까지 갖춰야 해서 직접 구매하기가 쉽지 않습니다. 이 부담을 덜기 위해 GPU를 필요한 기간만 빌려 사용하는 방식이 GPUaaS입니다. 이번 글에서는 GPUaaS의 정의와 책임 범위를 살펴보고 구성 요소와 과금 방식에 이어 도입 전에 확인할 항목까지 정리하겠습니다.

GPUaaS란? GPUaaS 뜻과 정의

GPUaaS(GPU as a Service, 서비스형 GPU)는 GPU를 탑재한 서버 자원을 인터넷으로 필요한 만큼 빌려 사용하는 클라우드 서비스입니다.

GPU(Graphics Processing Unit, 그래픽 처리 장치)는 원래 그래픽 연산 전용으로 만든 칩입니다. 같은 계산을 한꺼번에 많이 처리하는 구조 덕분에 지금은 AI 모델의 학습과 추론에도 GPU를 널리 사용합니다. AI 모델은 데이터에서 찾은 규칙을 수많은 숫자(매개변수)로 저장한 프로그램입니다. AI 분야에서 학습은 AI 모델이 대량의 데이터로 규칙을 익히는 과정을 말하고 추론은 학습을 마친 AI 모델이 새로 들어온 질문이나 이미지에 답을 내는 과정을 말합니다.

GPUaaS는 IaaS(Infrastructure as a Service, 서비스형 인프라)¹의 한 갈래입니다. 미국 국립표준기술연구소(NIST)는 IaaS를 사용자가 연산·스토리지·네트워크 자원을 할당받아 운영체제와 애플리케이션을 직접 배포하고 실행하는 모델로 정의합니다². IaaS에서 빌리는 연산 자원이 주로 CPU 중심의 일반 서버라면 GPUaaS에서 빌리는 연산 자원은 GPU 서버입니다. GPU 서버는 같은 계산을 동시에 대량으로 처리하는 데 강해 AI 모델 학습처럼 반복 계산이 많은 작업을 일반 서버보다 빠르게 끝냅니다. 그래서 AI 모델을 학습시키거나 AI 서비스를 운영하는 팀이 GPUaaS를 사용합니다.

1. 가비아 라이브러리, IaaS란? 서비스형 인프라의 개념·구조·과금 방식 정리, 2026
2. NIST, The NIST Definition of Cloud Computing (Special Publication 800-145), 2011

GPUaaS 구조: 제공자와 사용자의 책임 범위

GPUaaS의 책임 경계는 IaaS와 같은 가상화 계층에 있습니다. 클라우드 서비스를 이루는 8개 계층에서 서버 계층을 GPU 서버로 바꿔 아래 표에 정리했습니다.

네트워크·스토리지·GPU 서버·가상화 네 계층은 제공자가 관리합니다. GPU의 전력과 열을 감당하는 데이터센터 설비도 제공자가 책임집니다. 사용자는 GPU 서버에 운영체제를 올리고 AI 프레임워크와 애플리케이션을 설치해 운영합니다. 학습 데이터와 모델 파일 역시 사용자가 맡습니다. 가상화 계층 위에 무엇을 설치하고 어떤 데이터를 올릴지는 사용자가 정하기 때문입니다.

GPU 드라이버와 CUDA(NVIDIA의 GPU 병렬 컴퓨팅 플랫폼)는 운영체제 위에서 동작하므로 사용자 관리 범위에 들어가는 것이 일반적입니다. 사용자는 드라이버가 미리 설치된 이미지를 골라 설치 부담을 줄일 수 있습니다.

GPUaaS 등장 배경: GPU 서버 직접 구매에서 시간 단위 임대로

GPU를 그래픽 이외의 계산에 활용하려는 시도는 과학 계산 분야에서 먼저 시작됐습니다. 2010년 11월 아마존웹서비스(AWS)는 GPU를 탑재한 가상 서버 상품을 발표했습니다. AWS는 발표에서 높은 비용과 인프라 문제 때문에 많은 조직이 GPU의 연산 능력을 활용하기 어려웠다고 설명했습니다³. GPU 서버를 직접 사서 설치하지 않아도 필요한 만큼 GPU를 빌려 사용할 수 있게 한 이 상품은 GPUaaS의 초기 사례입니다.

GPU 수요가 크게 바뀐 계기는 딥러닝이었습니다. 2012년 발표된 이미지 인식 논문 AlexNet은 합성곱 연산을 GPU에서 처리해 학습 속도를 높였습니다⁴. 이후 AI 모델이 커지면서 학습에 필요한 GPU 수가 늘었습니다. 생성형 AI 서비스가 늘어난 뒤로는 추론 단계에도 GPU가 필요해졌습니다.

필요한 GPU가 늘어날수록 GPU 서버를 직접 운영하는 부담도 커집니다. 데이터센터용 GPU인 NVIDIA H100 SXM은 한 장이 최대 700W의 전력을 사용하고 80GB의 메모리를 갖췄습니다⁵. GPU 여러 장을 탑재한 서버는 일반 서버보다 훨씬 많은 전력과 냉각 용량이 필요합니다. GPUaaS는 GPU 장비와 함께 이 설비 부담까지 제공자에게 넘기는 방식입니다. GPU에 전력과 냉각 설비를 갖춘 데이터센터가 필요한 이유는 GPU를 사 왔습니다. 그런데 이건 어디에 두나요?⁶에서 자세히 살펴볼 수 있습니다. 같은 GPU도 놓인 장소의 냉각·전력·연결 조건에 따라 성능이 달라지는 이유는 같은 GPU인데 왜 성능이 다를까?⁷에서 정리했습니다.

3. Amazon, Amazon Web Services Announces Amazon Cluster GPU Instances, a New Amazon EC2 Instance Type Delivering High Powered Graphics Processing Unit (GPU) Computing in the AWS Cloud, 2010
4. Krizhevsky·Sutskever·Hinton, ImageNet Classification with Deep Convolutional Neural Networks (NIPS 2012), 2012
5. NVIDIA, NVIDIA H100 Tensor Core GPU, 2026
6. 가비아 라이브러리, GPU를 사 왔습니다. 그런데 이건 어디에 두나요? AI GPU와 데이터센터, 2026
7. 가비아 라이브러리, 같은 GPU인데 왜 성능이 다를까? 보관 장소가 만드는 차이, 2026

GPUaaS 구성 요소와 과금 방식

GPUaaS는 GPU 자원을 어떤 단위로 빌리느냐에 따라 구성과 요금이 달라집니다.

① GPUaaS 구성 요소 5가지

다섯 구성 요소는 데이터센터에 있는 GPU 서버를 중심으로 서로 연결됩니다. GPU 인스턴스와 베어메탈 서버는 GPU 서버를 빌리는 단위입니다. 클러스터 네트워크·스토리지·소프트웨어 이미지는 빌린 GPU가 쉬지 않고 연산하도록 돕습니다.

• GPU 인스턴스: GPU를 연결한 가상 서버입니다. 가상화 계층이 GPU 서버 한 대를 여러 인스턴스로 나누므로 작은 실험은 GPU 한 장으로 시작할 수 있습니다.
• GPU 베어메탈 서버: 가상화 계층 없이 물리 GPU 서버 한 대를 통째로 할당받아 단독으로 사용합니다. 서버 자원을 다른 사용자와 나누지 않아 대규모 학습에서는 베어메탈 서버 여러 대를 클러스터 네트워크로 연결합니다.
• GPU 클러스터 네트워크: 여러 GPU 서버를 고속 네트워크로 묶어 하나의 작업에 함께 투입합니다. 한 작업에 동시에 사용할 수 있는 GPU 서버 수가 이 네트워크에 달려 있습니다.
• 스토리지: 학습 데이터와 모델 파일을 저장하는 공간입니다. GPU는 학습하는 동안 스토리지에서 데이터를 계속 읽어 오므로 읽기 속도가 느리면 GPU가 데이터를 기다립니다. 스팟 GPU로 학습할 때 체크포인트 파일을 저장하는 곳도 스토리지입니다.
• AI 소프트웨어 이미지: GPU 드라이버·CUDA·AI 프레임워크를 미리 설치한 운영체제 이미지나 컨테이너 이미지를 제공합니다. 인스턴스나 베어메탈 서버를 만들 때 이미지를 고르면 드라이버를 따로 설치하지 않고 바로 작업을 시작할 수 있습니다.

사용자는 작업 규모에 맞춰 구성 요소를 조합합니다. 짧은 실험은 GPU 인스턴스 하나로 시작하고 대규모 학습은 베어메탈 서버 여러 대를 클러스터 네트워크로 묶어 진행합니다.

② GPUaaS 과금 방식: 종량제·약정형·스팟

GPUaaS 요금은 대체로 GPU 종류별 시간 단가에 GPU 개수와 사용 시간을 곱해 계산합니다.

• 종량제(온디맨드): 약정 없이 사용한 시간만큼 냅니다. 수요가 몰리는 고성능 GPU는 원하는 시점에 재고가 없을 수 있습니다. 사용량을 미리 예측하기 어려운 초기 연구나 짧은 실험과 검증(PoC)을 하는 팀에 맞습니다.
• 약정형: 일정 기간 사용을 약정하고 낮은 단가를 적용받습니다. 약정으로 필요한 GPU 수량을 미리 확보할 수도 있습니다. GPU를 1년 내내 사용하는 추론 서비스나 수개월짜리 학습 일정이 정해진 조직에 맞습니다.
• 스팟: 제공자의 남는 GPU를 할인된 가격에 빌립니다. 회수되면 작업이 중단되므로 학습 진행 상태를 주기적으로 저장(체크포인트)해야 합니다. 중단돼도 다시 이어 갈 수 있는 학습·렌더링 배치 작업·여러 설정을 번갈아 시험하는 연구에 맞습니다.

GPU 사용료와 별도로 스토리지 용량과 데이터 전송량에도 요금이 붙습니다. 과금 방식은 작업이 중단돼도 되는지와 GPU를 얼마나 오래 사용할지를 기준으로 고릅니다.

③ GPUaaS 활용 사례 3가지

GPUaaS로 AI 모델 학습: 학습 기간에만 GPU 클러스터 임대

AI 모델 학습은 GPU를 집중적으로 사용하지만 프로젝트가 끝나면 GPU가 필요 없어지는 경우가 많습니다. GPUaaS를 활용하면 학습 기간에만 GPU 클러스터를 빌리고 학습이 끝나면 반납할 수 있습니다.

GPUaaS로 AI 추론 서비스 운영: 요청량에 맞춘 GPU 증설·축소

챗봇이나 이미지 생성 서비스는 요청이 들어올 때마다 추론 연산을 실행합니다. 이용자가 몰리는 시간과 한산한 시간의 차이가 크면 GPU 수를 고정해 두기 어렵습니다. GPUaaS에서는 요청량에 맞춰 GPU 인스턴스를 늘리거나 줄이면서 쉬고 있는 GPU에 드는 비용을 낮춥니다.

GPUaaS로 렌더링·시뮬레이션: 프로젝트 기간에만 GPU 확장

영상 렌더링과 과학 시뮬레이션은 마감 직전이나 특정 프로젝트 기간에 GPU 연산이 몰립니다. GPUaaS로 연산이 몰리는 기간에만 GPU를 늘리면 평소에 장비를 보유하지 않고도 작업 시간을 단축할 수 있습니다.

GPUaaS 장단점과 도입 시 고려사항

GPUaaS는 GPU 사용 기간이 짧거나 필요한 규모가 자주 바뀌는 작업에 유리합니다. 같은 규모의 GPU를 1년 내내 사용하는 작업이라면 장점이 줄어듭니다.

도입을 검토한다면 아래 세 가지 항목을 확인합니다.

① GPU 사양: 모델 크기에 맞는 GPU 메모리 확인

GPU 메모리는 GPU가 연산하는 동안 AI 모델과 데이터를 올려 두는 공간입니다. AI 모델이 GPU 한 장의 메모리보다 크면 여러 GPU에 나눠 올려야 해서 필요한 GPU 수와 비용이 달라집니다. 예를 들어 매개변수가 700억 개인 AI 모델은 매개변수 하나를 16비트(2바이트)로 저장해도 약 140GB가 필요합니다. H100 한 장의 메모리(80GB)⁵에 다 올라가지 않아 GPU 두 장 이상에 나눠 올립니다.

• 학습하거나 추론할 모델 크기 대비 GPU 메모리 용량
• 작업에 필요한 GPU 세대와 연산 정밀도 지원 여부
• 분할 GPU와 GPU 전체 할당 가운데 제공되는 단위

② GPU 클러스터 네트워크: GPU 간 연결 대역폭 확인

대규모 학습은 여러 GPU가 계산 결과를 계속 주고받으며 진행됩니다. GPU 사이의 연결이 느리면 GPU가 데이터를 기다리는 시간이 늘어 전체 학습 시간이 길어집니다.

• 서버 안 GPU 사이의 연결 방식(NVLink 등)과 대역폭
• 서버와 서버를 잇는 네트워크 종류(InfiniBand 등)와 속도
• 한 작업에 동시에 사용할 수 있는 최대 GPU 서버 수

③ 공동 책임 모델: 드라이버·데이터 보안 책임 확인

공동 책임 모델(Shared Responsibility Model)은 클라우드의 보안과 운영 책임을 제공자와 사용자가 계층별로 나눠 맡는 원칙입니다. 사용자가 정한 계정과 권한 설정이 학습 데이터와 모델 파일을 보호합니다. 설정이 잘못되면 제공자 설비가 안전해도 데이터가 노출될 수 있습니다.

• GPU 드라이버와 CUDA의 업데이트 담당 주체(제공 이미지 포함)
• 학습 데이터와 모델 파일의 암호화와 접근 권한 설정 기능
• 사용 종료 후 스토리지 데이터의 삭제 시점과 방식

---

GPU를 구매할지 빌릴지 고민하는 팀에게 GPUaaS는 GPU 장비와 데이터센터 설비 부담을 제공자에게 넘기는 방법입니다. 대신 운영체제부터 학습 데이터까지는 사용자가 계속 관리해야 합니다. 사용 기간이 짧거나 필요한 GPU 규모가 자주 바뀐다면 빌리는 쪽이 유리합니다. 도입 전에는 모델 크기에 맞는 GPU 메모리와 GPU 간 연결 대역폭부터 확인하세요.

GPUaaS와 GPU 클라우드는 같은 말인가요?

네. GPU 클라우드와 GPUaaS는 대체로 같은 서비스입니다.
GPU 클라우드는 클라우드에서 GPU 자원을 빌려주는 서비스를 부르는 일상적인 표현입니다. GPUaaS는 같은 서비스를 IaaS나 PaaS 같은 ‘as a Service’ 모델 이름으로 부르는 용어입니다. 제공자마다 GPU 서버나 AI 인프라 같은 상품명을 붙이기도 합니다. 상품을 비교할 때는 이름보다 할당 형태(GPU 인스턴스 또는 베어메탈 서버)와 과금 단위를 보는 편이 정확합니다.

AI 작업에 CPU 대신 GPU를 사용하는 이유는 무엇인가요?

AI 연산은 같은 계산을 대량으로 반복하는 작업이어서 많은 계산을 동시에 처리하는 GPU가 더 빠르게 처리합니다.
CPU는 적은 수의 고성능 코어로 복잡한 명령을 순서대로 처리하는 데 강합니다. GPU는 많은 코어로 단순한 계산을 동시에 처리합니다. AI 모델의 학습과 추론은 행렬 곱셈 같은 단순 계산의 반복이 큰 비중을 차지하므로 GPU의 병렬 처리 구조와 잘 맞습니다. 데이터 전처리나 서비스 로직처럼 순서대로 처리할 일이 많은 작업은 지금도 CPU가 주로 맡습니다.

GPUaaS의 GPU는 다른 사용자와 함께 사용하나요?

GPU 전체를 할당 받으면 그 GPU는 한 사용자만 사용합니다.
GPU 인스턴스는 물리 서버 한 대를 여러 사용자가 나눠 사용하더라도 GPU는 인스턴스마다 따로 배정하는 경우가 많습니다. 분할 GPU는 GPU 한 장을 여러 인스턴스로 나눈 형태입니다. 대표적인 분할 기술은 NVIDIA의 MIG(Multi-Instance GPU)입니다. NVIDIA는 MIG로 나눈 인스턴스마다 전용 연산 자원과 메모리 자원을 배정해 서로 격리한다고 설명합니다⁸. 물리 서버 자체를 다른 사용자와 공유하지 않아야 한다면 베어메탈 서버를 선택합니다.

AI 학습용 GPU와 추론용 GPU는 다르게 골라야 하나요?

네. 학습에는 고성능 GPU 여러 장을 묶는 구성이 필요하고 추론에는 모델 크기와 요청량에 맞춘 GPU를 고르는 편이 효율적입니다.
학습은 대량의 데이터를 반복해서 계산하므로 GPU 메모리와 GPU 간 통신 속도가 학습 시간을 크게 좌우합니다. 추론은 요청 한 건의 연산량이 학습보다 작아 GPU 한 장이나 분할 GPU로 처리할 수 있는 경우가 많습니다. 대신 이용자가 늘면 GPU 수도 늘려야 하므로 응답 속도와 처리량을 함께 따져야 합니다. 같은 모델이라도 학습 단계와 추론 단계의 GPU 구성을 따로 설계하면 비용을 낮출 수 있습니다.