[데이터센터 입문콘텐츠] GPU를 사 왔습니다. 그런데 이건 어디에 두나요? AI GPU와 데이터센터

GPU 확보 후 시작되는 고민

‘GPU 몇만 장 확보’ 같은 주제가 뉴스에 자주 나옵니다. 정부만 해도 2025년 1차 추가경정예산 약 1조 4,600억 원을 들여 클라우드 3사와 함께 첨단 GPU 1만 3천 장을 확보하기로 했죠¹. 많이 확보했다는 소식은 들리는데 정작 이걸 어디에 설치해 어떻게 쓰는지는 기사에 잘 나오지 않습니다.

AI 연구와 사업은 고성능 GPU 수천, 수만 장을 한데 모아 며칠씩 쉬지 않고 돌리며 개발됩니다. GPU 한 장은 최대 700W 안팎을 사용합니다.² 1만 장이면 약 7MW로 작은 도시 하나가 동시에 사용하는 전력과 맞먹습니다. 이렇게 많은 전기를 쓰는 GPU가 한 공간에 빽빽이 모여 있으면 당연히 온도도 함께 치솟겠죠. GPU 칩은 90도 안팎인데요, 계속해서 과열되면 GPU는 스스로 속도를 줄이거나 아예 꺼져버립니다. 그렇기 때문에 GPU를 제대로 사용하려면 전기와 열 조절, 그리고 장비의 무게를 감당할 조건이 함께 갖춰져야 합니다.

항상 수요가 늘면 그것을 어떻게 안정적으로 공급하고 운용할지가 사회적 주제로 대두됩니다. AI 시대로 들어오면서 그 관심이 GPU와 이를 안정적으로 돌릴 데이터센터로 옮겨왔습니다. 국내에서는 생성형 AI가 빠르게 확산되면서 대규모 모델 학습·추론에 쓰이는 GPU 서버 수요가 늘었습니다. 실제로 국내 서버 시장에서 GPU 서버가 차지하는 비중은 2023년 26.2%에서 2024년 45%로 확대됐습니다³.

GPU가 데이터센터에 자리 잡게 된 이유가 궁금하시다면 이번 글이 도움이 될 겁니다. GPU를 감싸는 구성요소를 하나씩 살펴보며 그 답을 맞춰 보겠습니다.

1. 과학기술정보통신부, GPU 확보 사업(1차 추경, 1.46조원 규모) 참여 사업자 선정 결과, 2025
2. NVIDIA, H100 Tensor Core GPU Datasheet, 2023
3. 한국IDC, 국내 서버 컴핏 보고서, 2025

GPU는 왜 꼭 데이터센터에 있어야 할까

GPU는 그 자체로는 계산만 할 줄 아는 칩 한 장입니다. 이 칩이 실제로 AI 모델을 훈련하고 실행하려면 곁에 여러 구성요소가 함께 있어야 합니다. 그 구성요소를 한자리에 모아 24시간 제공하는 곳이 바로 데이터센터입니다. 

① 서버: GPU를 작동하게 하는 컴퓨터 본체

GPU는 혼자 켜지지 않습니다. 명령을 내리는 CPU, 데이터를 잠시 얹어두는 메모리, 저장장치가 한 보드에 함께 있어야 비로소 연산을 시작해요. 이렇게 부품을 묶어 한 대의 컴퓨터로 만든 것이 서버(server)입니다. 고성능 GPU는 보통 한 서버에 8장까지 함께 실립니다. 서버가 없으면 GPU는 전원조차 제대로 받지 못합니다.

② 랙: 서버를 모으고 전기를 집중시키는 선반

서버 한 대로는 큰 AI 모델을 감당하기 어렵습니다. 그래서 여러 서버를 세로로 촘촘히 쌓는 선반인 랙(rack)이 필요해요. 랙이 있어야 GPU 여러 장을 한데 묶어 큰 연산을 돌릴 수 있습니다.

랙은 단순한 선반이 아니라 그만큼의 전기와 네트워크를 한 지점으로 끌어와 나눠주는 중심이기도 합니다. 하나의 랙에 서버를 촘촘히 채울수록 그 랙에 몰리는 전력인 전력밀도가 올라갑니다. 

③ 상면: 무게와 열을 견디는 바닥

장비로 가득 찬 랙은 상당히 무겁고 뜨거운 열도 뿜어냅니다. 이 랙을 실제로 세워두는 데이터센터 안의 바닥 공간을 상면이라고 부릅니다. 상면은 무거운 하중을 버티도록 설계되며, 냉각용 배관과 굵은 전력 케이블이 지날 통로까지 미리 갖추고 있습니다. 

④ 데이터센터 — 전력과 냉각을 상시 공급하는 건물
마지막으로 대규모 전력과 냉각을 끊김 없이 공급하는 건물 전체가 더해집니다. 외부에서 대용량 전기를 받아 분배하는 수전설비, 24시간 열을 식히는 냉각 설비, 정전에 대비한 예비 전원이 모두 갖춰진 공간입니다. GPU가 아무리 많아도 이 상시 공급이 없으면 잠깐은 돌아도 오래 버티지 못해요.

왜 일반 서버실엔 못 넣을까

GPU 랙을 평범한 사무실 서버실에 억지로 밀어 넣었다면 어떻게 될까요? 전원을 켜는 순간부터 삐걱대기 시작합니다. 랙 하나가 수십 kW를 요구하니 두꺼비집이 내려가고, 어떻게든 전기를 끌어와도 이번엔 열이 발목을 잡습니다. 에어컨 몇 대로는 도무지 감당이 안 돼 실내 온도가 오르죠.

GPU는 스스로를 지키려 속도를 낮추고 그래도 열이 안 잡히면 서버는 결국 알아서 전원을 내려버립니다. 수천만 원짜리 GPU가 성능을 내기는커녕 제대로 켜져 있지도 못하게됩니다.

이 장면이 알려주는 건 분명합니다. GPU를 어디에 둘 수 있느냐는 결국 ‘전기’와 ‘열’ 두 가지로 좁혀진다는 것입니다. 여기에 장비를 받칠 공간까지 더하면 일반 서버실이 왜 GPU를 감당하지 못하는지가 세 가지로 정리됩니다.

전력밀도의 벽

일반 서버 랙은 5~10kW지만, GPU를 채운 AI 랙은 40kW를 넘어 100kW를 웃돌기도 합니다⁴. 같은 면적에 훨씬 많은 전기를 끌어와야 한다는 뜻입니다. 콘센트 하나의 용량으로 해결될 문제가 아닌, 건물이 외부에서 받아오는 전력 설비 자체를 새로 갖춰야 하는 일입니다. 전력이 뒷받침되지 않으면 GPU 랙을 전원에 연결해도 작동하지 않습니다.

냉각·발열의 벽

전기를 많이 쓴다는 건 그만큼 열이 많이 나온다는 뜻입니다. 처음에는 에어컨처럼 공기로 식힙니다. 하지만 전력밀도가 높아지면 공기만으로는 그 열을 다 빼내지 못합니다. 그래서 고밀도 환경에서는 공기보다 열을 훨씬 잘 흡수하는 물을 이용한 냉각 방식이 도입됩니다⁴. 이렇게 냉각 방식이 달라지면 배관과 설비가 완전히 바뀌기 때문에 서버실을 통째로 다시 설계해야 합니다. 

하중·층고·배관의 벽

최신 GPU 랙은 서버를 가득 채우면 한 대가 1.3톤을 넘기도 합니다⁵. 소형차 한 대가 1㎡ 남짓한 좁은 바닥에 얹히는 것과 같습니다. 여기에 냉각 배관과 굵은 전력 케이블이 지날 공간까지 더해집니다. 일반 사무실이나 서버실 바닥은 이 무게와 배관을 견디도록 만들어지지 않았습니다. ‘빈방에 넣으면 되지’가 통하지 않는 이유가 여기 있습니다.

4. Equinix, AI’s Engine Room: Inside the High-Performance Data Centers Powering the Future, 2025
5. NVIDIA, GB200 NVL72 Datasheet, 2025

---

처음의 질문으로 돌아가 볼까요.

“GPU를 사 왔는데 어디에 두나요?” 이제 답은 분명합니다. 책상 위도, 사무실 서버실도 아닌 데이터센터입니다. GPU 한 장은 전기와 열, 그리고 무게라는 조건을 함께 몰고 옵니다. 서버·랙·상면·전력·냉각을 동시에 그리고 안정적으로 갖춘 곳이 바로 데이터센터죠.

‘GPU를 확보했다’는 건 끝이 아니라 시작입니다. GPU가 성능을 내려면 전력·냉각·공간을 갖춘 데이터센터가 뒷받침돼야 하니까요. 결국 ‘GPU를 어디서 돌릴 것인가’가 함께 풀려야 할 문제입니다.

AI 시대의 경쟁력은 ‘GPU를 몇 장 확보했는가’에서 그치지 않습니다. ‘GPU를 제대로 돌릴 데이터센터를 갖췄는가’로 이어집니다. 눈에 잘 띄지 않지만 데이터센터는 AI라는 거대한 흐름을 조용히 떠받치는 가장 단단한 토대입니다.

Appendix

| GPU와 데이터센터 흔한 오해

• “GPU만 많으면 AI 개발 빨리 할 수 있다.“ ❌
  한여름 땡볕 아래 노트북을 들고 나가 작업하는 상황을 떠올려 볼까요. 성능이 아무리 좋아도 열 때문에 몇 분 만에 느려지고 멈춰버리죠. GPU도 전력과 냉각이 받쳐주지 않으면 성능을 다 내지 못합니다. 다만 노트북과 달리 데이터센터의 발열은 규모가 비교할 수 없이 커서 그늘로 옮기는 수준이 아니라 전용 냉각 설비가 필요하다는 점이 다릅니다
  
• “서버실 남는 공간에 넣으면 된다” ❌
  원룸 콘센트 하나에 에어컨·전기레인지·전자레인지를 몰아 꽂으면 두꺼비집이 내려갑니다. GPU 랙은 그보다 몇십 배의 전력을 한 자리에 요구합니다. 다만 실제로는 전기만의 문제가 아니라 바닥 하중과 냉각까지 동시에 걸린다는 점에서 콘센트 비유보다 더 복잡합니다.

| 데이터센터와 GPU 질문

GPU 서버, 직접 구축과 임대 중 뭐가 이득인가요?

GPU 서버는 연산이 꾸준히 많다면 직접 구축이 유리할 수 있지만, 전력·냉각·공간 공사와 유지·운영까지 함께 떠안아야 합니다. 사용량이 일정하지 않거나 이제 막 시작하는 단계라면 이미 조건을 갖춘 데이터센터를 빌려 쓰는 편(서버호스팅·코로케이션)이 부담이 적습니다.

GPU 클라우드와 코로케이션은 어떻게 다른가요?

GPU 클라우드는 남의 데이터센터에 있는 GPU를 필요한 만큼 빌려 쓰는 방식입니다. 코로케이션은 내 장비를 데이터센터 공간에 들여놓고 운영하는 방식입니다. 빌려 쓰는 쪽은 초기 비용이 적고 빠르게 시작할 수 있습니다. 장비를 들여놓는 쪽은 이를 직접 소유하고 관리한다는 차이가 있습니다.

AI 서버 비용은 GPU 가격 말고 무엇이 더 드나요?

AI 서버 비용은 GPU 구매비만큼이나 전기요금·냉각·공간 비용이 크게 붙습니다. 특히 전력은 오래, 끊김 없이 쓰는 만큼 운영비의 상당 부분을 차지합니다. ‘살 때 가격’이 아니라 ‘돌리는 동안의 비용’까지 함께 따져야 합니다.

데이터센터 전력은 어디서 끌어오나요?

데이터센터 전력은 일반 건물처럼 전력망에서 받지만, 규모가 커서 전용 수전설비와 대용량 전력 계약이 필요합니다. 그래서 데이터센터를 지을 때는 ‘땅’보다 ‘충분한 전력을 안정적으로 받을 수 있는가’가 먼저 검토됩니다.

데이터센터 냉각수는 계속 버리나요?

데이터센터 냉각수는 방식에 따라 다릅니다. 물을 순환시켜 다시 사용하는 방식과 증발시켜 내보내는 방식이 있습니다. 그래서 물을 얼마나 쓰고 어떻게 관리하느냐가 데이터센터 설계의 중요한 부분이 됩니다.

데이터센터 입지는 왜 도심이 아니라 외곽인가요?

데이터센터 입지는 도심에서 넓은 부지와 대규모 전력을 확보하기 어려워 외곽으로 분산되는 흐름입니다. 다만 이용자·네트워크와의 거리도 중요하기 때문에 수도권과 가까운 지역이 함께 선호됩니다. 결국 전력·냉각·연결성 사이의 균형으로 정해집니다.