[데이터센터 입문 시리즈] 같은 GPU인데 왜 성능이 다를까? 보관 장소가 만드는 차이

GPU를 고를 때는 보통 사양표를 먼저 비교합니다. 메모리 용량과 연산 성능이 같다면 같은 모델 GPU는 어디에 두어도 같은 성능을 낼 것처럼 보입니다. 하지만 실제로는 GPU를 어디에, 어떻게 두느냐에 따라 같은 GPU도 다른 성능을 냅니다. 이 글에서는 GPU 성능을 가르는 시설 요인 5가지와 GPU 보관 장소를 고를 때 물어볼 질문을 정리합니다.

GPU 성능은 사양표만으로 정해질까?

사양표에는 GPU가 낼 수 있는 최대 성능이 적혀 있습니다. 하지만 실제 성능은 냉각, 전력, 연결, 배치, 가동 조건에 따라 달라집니다.

GPU를 전력과 냉각 설비를 갖춘 데이터센터에 둬야 하는 이유는 [GPU를 사 왔습니다. 그런데 이건 어디에 두나요?]¹에서 살펴봤습니다. 데이터센터 안에서도 조건은 같지 않습니다. 대규모 AI 학습을 분석한 미국 조지아공과대학교 연구진은 AI 학습 성능이 하드웨어 용량을 늘리는 것만으로 정해지지 않는다고 결론 내렸습니다². 연구진은 학습 성능이 하드웨어와 시스템 구성, 실행 방식이 맞물려 결정된다고 봤습니다. 특히 같은 서버 안에서도 GPU 위치에 따라 열이 몰려 속도가 떨어지고 순간 전력이 치솟으면 이 현상이 더 심해진 다는 점을 확인했습니다.

대규모 AI 모델 학습은 GPU 수천 장에서 수만 장을 동시에 사용해 모델 하나를 학습합니다. 2024년 공개된 Meta의 Llama 3 가운데 가장 큰 모델은 H100 GPU 최대 1만 6천 장으로 학습했습니다³.

이런 분산 학습(여러 GPU가 한 모델을 나눠 학습하고 단계마다 결과를 맞추는 방식)에서는 모든 GPU가 한 단계를 마쳐야 다음 단계로 넘어갑니다. 그래서 열 때문에 클럭이 낮아진 GPU 하나가 나머지 GPU를 기다리게 만듭니다². 같은 곳에 둔 GPU라도 서버 안 위치나 공기 흐름에 따라 한 장만 느려질 수 있습니다. 결국 시설이 이런 차이를 얼마나 줄여 주느냐가 학습 전체의 속도를 좌우합니다.

1. 가비아 라이브러리, GPU를 사 왔습니다. 그런데 이건 어디에 두나요? AI GPU와 데이터센터, 2026
2. Georgia Institute of Technology, Characterizing the Efficiency of Distributed Training: A Power, Performance, and Thermal Perspective (MICRO ’25), 2025
3. Meta, The Llama 3 Herd of Models, 2024

같은 GPU의 성능을 가르는 시설 요인 5가지

다섯 가지 요인은 모두 GPU를 둔 장소의 설비와 배치에 달려 있습니다.

GPU 냉각 | 과열 시 GPU의 자동 속도 저하

GPU가 과열을 막으려고 클럭(작동 속도)을 낮추는 동작을 열 스로틀링(Thermal Throttling)이라고 합니다. 온도가 너무 높아지면 GPU는 코어 클럭을 절반 이하까지 낮추기도 합니다⁴. 같은 서버 안에서도 위치에 따라 온도가 다릅니다. 조지아공과대학교 연구진이 분석한 H200 서버는 공기가 앞에서 뒤로 흐르는 구조였는데, 뒤쪽 GPU가 앞쪽보다 최대 27% 더 뜨거워 열 스로틀링이 일어났습니다². 결국 냉각 설비가 충분해야 GPU가 원래 속도를 유지할 수 있습니다.

GPU 전력 공급 | 급격한 부하 변동에도 안정적인 전력 공급

AI 학습은 계산과 통신을 번갈아 반복합니다. 마이크로소프트, 오픈AI, 엔비디아 공동 연구에 따르면 계산 구간이 전력을 훨씬 많이 사용해 한 데이터센터의 전력이 수십 MW 단위로 출렁이기도 합니다⁵. 업타임 인스티튜트가 2025년에 발표한 장애 분석에서도 피해가 큰 데이터센터 장애의 가장 큰 원인은 전력이었습니다⁶. 따라서 GPU가 필요한 순간에 적절한 양의 전력을 안정적으로 받을 수 있어야 합니다.

GPU 간 네트워크 | 학습 속도를 좌우하는 GPU 사이의 통신 속도

분산 학습에서는 GPU가 계산을 마칠 때마다 결과를 주고받습니다. 다른 GPU의 결과가 도착해야 다음 계산을 시작할 수 있으므로 통신이 느리면 GPU는 계산을 멈추고 데이터가 오기를 기다립니다. GPU 사이의 연결은 종류에 따라 속도 차이가 큽니다. GPU와 GPU를 직접 연결하는 전용 고속 통로는 서버 사이에 깔린 일반 네트워크보다 훨씬 빠릅니다. 따라서 GPU 사이에 빠른 연결을 갖출수록 기다리는 시간이 줄고 학습도 빨라집니다. 예를 들어 엔비디아의 GPU 전용 고속 연결인 NVLink는 GPU 한 장당 초당 1.8TB를 주고받습니다⁷. 반면 서버와 서버를 오가는 일반 네트워크의 속도는 GPU 한 장당 400Gbps(초당 약 50GB)급입니다³. 같은 GPU라도 어떤 연결을 사용하느냐에 따라 데이터를 주고받는 속도가 약 36배 차이 납니다.

GPU 랙 배치 거리 | 가까울수록 빨라지는 GPU 사이의 연결

GPU 서버 사이의 거리가 짧을수록 연결은 빠르고 단순해집니다. 가까운 서버는 짧은 구리 케이블로 바로 이을 수 있습니다. 거리가 멀어지면 신호를 빛으로 바꿔 보내는 광 케이블과 장비가 필요해 비용과 전력이 늘어납니다. 그래서 대규모 학습에 쓰는 GPU는 한 랙이나 이웃한 랙에 최대한 모아 배치합니다. 따라서 GPU를 가까이 모을 공간과 설비가 있어야 합니다. 예를 들어 400G급 구리 직결 케이블은 최대 3m까지만 쓸 수 있어⁸ GB200 NVL72는 GPU 72개를 한 랙에 촘촘히 모아 구리 케이블로 연결합니다⁹.

GPU 가동률 | 고장과 중단으로 줄어드는 실제 학습 시간

가동률은 전체 시간 가운데 GPU가 실제 학습에 쓰인 시간의 비율입니다. 여러 GPU가 함께 학습할 때는 GPU 한 장만 고장 나도 작업 전체가 멈추고, 마지막으로 저장한 지점부터 다시 시작해야 합니다. GPU가 많을수록 고장도 잦아지므로 고장을 빨리 감지하고 장비를 교체하는 체계가 가동률을 좌우합니다. 장애를 빨리 복구할수록 GPU가 실제로 일하는 시간이 늘어납니다.

4. NVIDIA, nvidia-smi documentation, 2026
5. Microsoft·OpenAI·NVIDIA, Power Stabilization for AI Training Datacenters, 2025
6. Uptime Institute, Uptime Announces Annual Outage Analysis Report 2025, 2025
7. NVIDIA, NVIDIA GB200 NVL72, 2026
8. NVIDIA, NVIDIA LinkX InfiniBand DAC Cables, 2026
9. NVIDIA, NVIDIA GB200 NVL72 Delivers Trillion-Parameter LLM Training and Real-Time Inference, 2024

GPU 성능 요인이 서로 부딪히는 경우

한 요인을 개선하면 다른 요인의 부담이 커지기도 합니다. 대표적인 경우는 배치와 냉각, 온도와 효율, 전력과 냉각이 서로 부딪힐 때입니다. 경우마다 어떤 요인이 충돌하고 그래서 어떤 설비나 판단이 필요한지 정리했습니다.

배치와 냉각 | 촘촘한 배치로 커지는 냉각 부담

GPU를 가까이 모으면 통신은 빨라지지만 랙 하나에 전력과 열이 몰립니다. 찬 공기를 불어 넣어 식히는 공랭 방식으로는 좁은 공간에 몰린 열을 다 빼기 어렵고, 냉각이 따라가지 못하면 열 스로틀링이 일어납니다. 그래서 GPU를 촘촘히 모은 랙에는 더 강한 냉각 방식이 필요합니다.

온도와 효율 | 온도를 고르게 맞출 때 생기는 효율 저하

작업 배치를 바꿔 GPU 사이의 온도를 고르게 맞추면 과열은 줄어듭니다. 하지만 작업을 가장 효율적인 방식으로 나누지 못해 전체 처리 효율이 떨어질 수 있습니다. 그래서 온도와 효율 가운데 무엇을 우선할지 정해야 합니다. 실제로 조지아공과대학교 연구에서는 GPU 사이의 온도 차를 줄이도록 작업을 배치하자 온도 격차는 17% 줄었지만 효율은 7% 떨어졌습니다².

전력과 냉각 | 전력 급증에 따른 발열 증가

GPU가 한 번에 처리하는 일이 많아지면 순간 전력 사용량이 크게 뜁니다. GPU가 쓴 전력은 대부분 열로 바뀌므로 전력이 치솟는 순간 발열도 함께 늘어납니다. 냉각이 이 발열을 따라가지 못하면 열 스로틀링이 심해집니다. 그래서 전력 설비와 냉각 설비는 함께 설계해야 합니다.

결국 GPU 성능은 한 요인이 가장 좋은 곳보다 요인 사이의 균형을 어떻게 맞췄는지에 따라 달라집니다.

GPU 보관 장소를 고를 때 물어볼 5가지

요인마다 균형을 확인하려면 하나씩 질문으로 바꿔 물어보면 됩니다.

① 고밀도 랙의 냉각 방식과 용량은 어떻게 되나요?

랙당 처리할 수 있는 열이 적으면 열 스로틀링이 일어나기 쉽습니다. 들여올 GPU 서버의 랙당 소비 전력보다 랙당 냉각 용량이 넉넉해야 하고, 수랭을 전제로 설계된 고밀도 GPU라면 수랭을 지원하는지도 확인합니다.

② 전력 이중화와 순간 부하 변동에는 어떻게 대응하나요?

AI 학습은 평균보다 순간 변동이 문제입니다. 전원 경로가 UPS와 발전기까지 이중화돼 있어야 하며, 설비 용량도 평균 부하가 아니라 순간 최대 부하를 기준으로 잡았는지 확인합니다.

③ GPU 서버 사이의 연결은 랙 안과 랙 사이에서 어떻게 구성되나요?

연결이 느리면 GPU가 기다리는 시간이 늘어납니다. 랙 안은 NVLink 같은 GPU 전용 고속 연결을, 랙 사이는 GPU 한 장당 400Gbps급 네트워크를 지원하는지 확인합니다.

④ GPU 서버를 서로 가까이 배치하고 나중에 늘릴 수 있나요?

증설한 GPU가 멀리 떨어지면 연결 속도가 달라집니다. 나중에 늘릴 GPU를 기존 랙 바로 옆에 둘 수 있도록 공간을 미리 확보할 수 있는지 확인합니다.

⑤ 장애를 감지하고 장비를 교체하는 절차와 시간은 어떻게 되나요?

GPU가 많을수록 고장도 잦아 복구 속도에 따라 가동률이 크게 달라집니다. 장애를 자동으로 감지하는지, 부품 교체까지 걸리는 시간이 계약서(SLA)에 적혀 있는지 확인합니다.

처음 질문은 같은 GPU라면 같은 성능이 나오는가였습니다. 사양표는 GPU가 낼 수 있는 최대 성능만 보여 줍니다. GPU 성능은 사양표와 함께 그 GPU를 둔 장소의 냉각, 전력, 연결, 배치, 가동 조건이 정합니다. 다섯 조건은 서로 영향을 주고받으므로 한 가지만 뛰어난 곳보다 다섯 가지가 고르게 갖춰진 곳에서 GPU가 제 성능을 오래 유지합니다. GPU를 둘 곳을 비교할 때는 사양표 옆에 이 다섯 가지 질문의 답을 나란히 놓고 확인해보세요.

Appendix

| 데이터센터와 GPU 성능에 대한 흔한 오해

• “같은 데이터센터에 두면 GPU 성능도 같다.” ❌
  같은 교실이라도 창가 자리와 에어컨 바로 아래 자리는 여름 오후의 더위가 다릅니다. GPU도 같은 서버 안에서 공기가 늦게 닿는 뒤쪽 GPU가 더 뜨거워 열 스로틀링이 일어납니다². 다만 교실은 자리를 옮기면 그만이지만 GPU는 배치와 공기 흐름을 설계 단계에서 함께 정해야 한다는 점이 다릅니다. 데이터센터를 고르는 것과 함께 그 안에서 GPU를 어떻게 배치하느냐도 성능을 바꿉니다.
  
• “최신 GPU로 바꾸면 성능 문제는 해결된다.”❌
  최신 시스템일수록 한 랙에 GPU를 더 많이 모으므로 냉각과 전력 설비도 그만큼 갖춰야 합니다. 72개 GPU를 한 랙에 묶은 GB200 NVL72가 처음부터 수랭식으로 설계된⁷ 것이 그 예입니다.

| 데이터센터와 GPU 질문

GPU에 열 스로틀링이 걸렸는지 어떻게 확인하나요?

GPU 관리 도구에서 클럭이 낮아진 원인을 확인하면 됩니다.
NVIDIA GPU는 nvidia-smi 도구의 클럭 이벤트 원인(Clocks Event Reasons) 항목에서 온도 때문인지 전력 때문인지 클럭을 낮춘 이유를 보여 줍니다⁴. 온도가 원인이면 열 감속 항목이, 전력 사용량이 원인이면 전력 제한 항목이 표시됩니다. 학습 중 일부 GPU에서만 이런 항목이 반복된다면 해당 GPU의 위치와 공기 흐름을 함께 살펴볼 만합니다.

GPU 보관 장소를 비교할 때 어떤 시설 자료를 받아 보면 좋나요?

랙당 냉각 용량과 전력 구성, 장애 대응 기준을 적은 자료를 받아 보면 좋습니다.
GPU가 성능을 유지할 조건은 이런 시설 자료에서 확인할 수 있습니다. 예를 들어 랙당 전력과 냉각 방식, 전력 이중화 구성, 서비스 수준 협약(SLA)에 적힌 장애 복구 시간을 같은 기준으로 나란히 비교하면 차이가 드러납니다.

GPU 성능 차이는 학습할 때만 생기나요?

추론(학습을 마친 모델이 답을 내는 작업)에서도 같은 요인이 성능에 영향을 줍니다.
과열에 따른 클럭 저하와 전력 제한은 작업 종류와 관계없이 GPU 자체에서 일어납니다⁴. 다만 드러나는 방식은 다릅니다. 학습에서는 느린 GPU 하나가 전체 학습 시간을 늘립니다. 추론에서는 응답이 늦어지거나 처리할 수 있는 요청 수가 줄어듭니다.