[데이터센터 입문 시리즈] AI 질문이 닿는 곳 데이터센터

AI 질문 한 번에 데이터센터에선 무슨 일이 벌어질까

왕복 수천 km. 방금 AI에 보낸 한 문장이 지나온 거리입니다. 화면 안에서 조용히 처리되는 것처럼 보이지만 그 짧은 몇 초 동안 질문은 내 손을 떠나 어딘가의 건물까지 갔다가 돌아옵니다. 우리는 AI에 뭔가를 물어볼 때마다 사실 질문의 답을 얻기 위해 매번 데이터센터를 다녀오고 있었던 거죠.

AI에 던진 질문은 내 기기를 떠나 네트워크를 타고 데이터센터에 놓인 GPU를 포함한 서버까지 갔다가 답이 되어 돌아옵니다. 소프트웨어 안에서 완결되는 일처럼 느껴지지만 실제로는 전기와 건물과 냉각 장비를 쓰는 물리적인 왕복입니다. 눈에 안 보일 뿐 질문 하나하나가 실제 공간을 다녀오는 이동을 하고 있죠.

왜 지금 AI와 함께 데이터센터 이야기가 나올까

요즘 뉴스에 데이터센터가 자주 등장합니다. 데이터센터는 과거부터 존재해 왔지만 이렇게 언급량과 중요성이 올라간 것은 새로운 현상입니다. AI 사용이 일상화되고 산업화됨에 따라 데이터센터의 중요성이 부각되고 있죠. AI 인프라 그 자체이기 때문입니다.

뉴스에서는 대부분 ‘공급’의 측면에서 AI 인프라인 데이터센터를 주목합니다. 누가 몇 조를 투자했고, 어느 지역 전력이 부족하고, GPU를 얼마나 확보했다는 식입니다. 정작 그 수요를 만드는 쪽은 잘 다뤄지지 않고 있습니다. 바로 우리가 매일 AI에게 던지는 질문들에 대해서요.

하지만 두 이야기는 같은 선 위에 있습니다. 이용자 한 명의 질문은 아주 작지만 전 세계에서 합산되면 거대한 전력 수요가 되죠. 뉴스 속 투자와 전력 부족은 그 수요를 감당하려는 공급 쪽 대응 양상입니다. 실제로 주요 AI 서비스 제공사들은 지난 1년 사이 활성 이용자가 3배, 매출이 5배 늘었다고 밝혔습니다¹. 오늘도 던진 내 질문과 뉴스 속 데이터센터가 별개처럼 보였지만 사실은 수요와 공급으로 이어진 한 쌍이었던 것이죠.

AI 질문 한 줄은 어디까지 갔다 올까

질문이 답이 되어 돌아오기까지는 다섯 단계를 지납니다. 사용자의 손에서 출발해 데이터센터 안쪽까지 갔다가 답과 함께 같은 길을 되짚어 나옵니다.

① 입력: 문장이 잘게 쪼개기

사용자가 쓴 문장은 그대로 전달되지 않고 토큰(token, 모델이 처리하는 언어 조각) 단위로 나뉩니다. “안녕하세요”가 몇 개의 조각으로 쪼개지는 식이죠. 여기서 정해지는 것은 처리량의 단위입니다.

② 네트워크: 회선을 타고 이동하기

쪼개진 질문은 인터넷 교환점을 거쳐 가장 가까운 접속 지점으로 향합니다. 이 접속 지점이 물리적으로 얼마나 멀리 있느냐가 뒤에 큰 차이를 만듭니다. 여기서 정해지는 것은 왕복 거리와 지연시간입니다.

③ 데이터센터 도착: 자리 배정받기

도착한 질문은 데이터센터 안에서 랙(rack, 서버를 세로로 쌓는 표준 규격 선반)에 꽂힌 서버로 배분됩니다. 수많은 질문이 동시에 몰리므로 어떤 서버가 내 질문을 받을지가 즉석에서 정해집니다.  단순히 쉬는 서버로 배정되는 것이 아닌 요청한 질문을 가장 빠르고 싸게 처리할 서버를 실시간으로 고르는 기술이 사용됩니다. 여기서 정해지는 것은 질문을 받을 물리적 자리입니다.

④ GPU 추론: 답 계산하기

자리를 받은 질문은 GPU(Graphics Processing Unit, 병렬 계산에 특화된 반도체)로 넘어갑니다. 메모리에 올라간 모델이 다음에 올 토큰을 하나씩 순서대로 만들어냅니다. 이 과정을 추론(inference, 학습을 마친 모델이 실제로 답을 생성하는 단계)이라고 합니다. 여기서 정해지는 것은 연산량과 전력 소비입니다.

⑤ 응답 반환: 왔던 길 되돌아 나오기

생성된 답은 다시 네트워크를 거쳐 사용자 화면에 한 글자씩 출력됩니다. 여기서 정해지는 것은 사용자가 느끼는 체감 속도입니다.

AI 질문과 답변 한 번에 얼마큼의 에너지가 사용될까

질문으로 가서 답변으로 돌아오는 여정을 알았다면 이제 그 과정에서 사용된 에너지의 크기를 재볼 차례이죠. 다만 먼저 밝혀둘 것이 있습니다. 아래 숫자들은 모두 가정 위에 놓인 추정치입니다. AI 회사들은 실제 전력 사용량을 거의 공개하지 않습니다. 때문에 연구자들은 하드웨어 사양과 사용 패턴을 근거로 값을 추정하는데요, 그러니 “정확히 몇 Wh”가 아니라 “대략 이 정도 규모”로 읽는 편이 적절합니다.

가장 널리 인용되는 추정치는 텍스트 질문 한 번에 약 0.3 와트시(Wh)입니다². 연구기관 Epoch AI가 2025년 GPT-4o를 기준으로 내놓은 값입니다. 이전에 자주 쓰이던 GPT-3.5의 3 Wh보다 열 배가량 낮죠³. OpenAI가 자체적으로 밝힌 약 0.34 Wh도 이와 비슷한 범위에 있습니다⁴.

0.3 Wh는 10와트짜리 LED 전구를 약 2분간 켜는 전력에 해당합니다. 질문 하나로만 보면 놀랄 만큼 작죠. 다만 이 값은 짧은 텍스트 질문 기준입니다. 긴 문서를 첨부하거나 복잡한 추론을 요청하면 수 Wh까지 올라갑니다. 그러니 하나의 대푯값으로만 받아들이는 편이 안전합니다².

문제는 개수입니다. IEA(국제에너지기구, International Energy Agency)는 간단한 계산을 예로 들었습니다. 질문 한 번을 1 Wh로 넉넉히 잡고 전 세계가 하루 100억 번을 묻는다고 가정하면, 연간 약 3.65 테라와트시(TWh)가 됩니다⁵. 인구 30만 명 규모의 한국 도시가 1년 동안 쓰는 전력과 맞먹는 양입니다⁶. 질문 하나는 전구 몇 분이지만 다 합치면 도시 하나를 1년간 돌리는 전력이 되는 거죠.

AI 질문이 바꾼 데이터센터의 환경은 무엇일까

AI 질문들이 동시에 쏟아지면서 데이터센터는 그 질문들을 감당하기 위해 장비들을 과거보다 빽빽하게 채우고 있습니다. 그 결과 랙 하나가 사용하는 전력인 전력밀도가 완전히 달라졌습니다.

구분	랙 1개당 전력	냉각 방식
전통 서버 랙	약 5~10 kW	대체로 공기 냉각
AI 추론·학습 랙	약 40~100 kW 이상	액체 냉각으로 전환

전통적인 기업용 서버 랙은 대체로 5~10 킬로와트(kW)를 썼습니다⁷. 그런데 GPU를 빽빽하게 채운 AI 랙은 흔히 40~100 kW를 넘어서고 일부는 그 이상까지 올라갑니다⁷. 같은 크기의 선반 하나가 많게는 열 배 이상의 전기를 먹는다는 뜻이죠.

전기를 많이 사용하면 그만큼 열이 추가로 생성됩니다. 기존에 사용하던 냉각 방식으로는 발산되는 열을 감당할 수 없게 됐습니다. 공기만으로 식히던 방식이 한계에 부딪히면서 액체 냉각이 새로운 방법으로 채택되고 있습니다.

최근 AI 데이터센터는 기존 건물과 다르게 지어지고 있습니다. 랙 하나의 전력이 열 배로 뛰면서 전기를 끌어오는 설비는 물론 열을 식히는 방식도 다시 설계해야 하는 상황이 됐기 때문입니다. 액체 냉각 장비를 놓을 자리와 배관, 무거워진 장비를 버틸 바닥까지 처음부터 고려하여 짓는 것이죠.

데이터센터 AI 인프라로 가기 위해 해결해야할 과제는 무엇일까

질문 하나가 답이 되어 돌아오려면 여러 단계가 매끄럽게 이어져야 합니다. 그리고 사용자는 이 과정이 언제 물어봐도, 몇 번을 물어봐도 끊김 없이 되기를 기대하죠. 그 기대를 실제로 받쳐주는 것이 데이터센터입니다.

데이터센터의 역할은 단순히 질문을 처리하는 데 그치지 않습니다. 누구나 AI를 끊김 없이 쓸 수 있는 환경을 안정적으로 제공하는 데 있습니다. 이 환경을 만드는 일은 어렵습니다. 여정의 각 단계마다 걸림돌을 하나씩 남기기 때문이죠. 그리고 그 걸림돌들이 곧 데이터센터가 풀어가야 할 과제입니다.

• 거리
  질문이 회선을 타고 오가는 네트워크 단계에서 생기는 문제입니다. 요청과 응답은 빛에 가까운 속도로 오가지만 물리적 거리는 여전히 지연시간을 만듭니다. 접속 지점이 멀수록 답이 늦어지죠.
• 전력밀도
  질문이 데이터센터에 도착해 서버가 답을 계산하는 단계에서 생기는 문제입니다. 랙 하나가 쓰는 전기가 급증합니다. 그러면 그만큼의 전력을 건물까지 끌어오고 안정적으로 나눠주는 일 자체가 과제가 되죠.
• 발열
  서버가 답을 계산하는 그 단계에서 함께 따라옵니다. 전기를 쓴 만큼 열이 나오는데, 밀도가 높아지면 공기만으로는 열을 빼내기 어려운 구간에 들어섭니다. 그래서 액체를 쓰는 냉각으로 넘어가게 되죠.
• 상시성
  모델은 안 쓸 때도 메모리에 올라가 대기합니다. 그래서 이용자가 없는 시간에도 전력이 완전히 0이 되지는 않습니다. 사용량과 전력이 정비례하지 않는다는 점이 계획을 까다롭게 만듭니다.

이 가운데 전력밀도와 발열은 특히 깊이 들어갈수록 흥미로운 주제인데요, 심층 콘텐츠로 찾아오겠습니다.

---

AI 질문과 뉴스에서 언급되는 데이터센터의 상관관계를 알아보았습니다. 툭하고 물어본 질문이 저 멀리 실재하는 물리적 공간까지 다녀왔고, 그 공간은 많아진 질문을 감당하기 위해 더 많은 에너지를 사용하고 있었습니다. 

데이터센터는 AI 시대에 발맞춰 주목받는 만큼 풀어야 할 문제도 커졌습니다. 치솟는 에너지가 과부하로 이어지지 않게 관리하는 일이 그 어느 때보다 중요해졌죠. 그리고 이 문제를 풀기 위한 새로운 기술들도 계속 더해지고 있습니다.

가비아는 앞으로도 데이터센터에 관한 기본 지식부터 최신 소식까지 부지런히 전하겠습니다.

Appendix

| 데이터센터 흔한 오해 3가지

• “AI는 클라우드라는 추상적인 공간에 있다” ❌
  클라우드도 결국 누군가의 건물이고, 그 안에는 전기를 먹는 실제 장비가 있습니다. ‘어딘가’가 아니라 주소가 있는 물리적 장소인 셈이죠.
• “GPU만 확보하면 된다” ❌
  아무리 사와도 받아줄 전력과 냉각이 없으면 켤 수 없습니다. 뉴스에 전력 이야기가 GPU만큼 자주 나오는 이유죠.
• “내 질문 하나쯤은 미미하다” ❌
  개별 질문은 정말 작습니다. 다만 문제는 개별 크기가 아니라 전 세계에서 동시에·누적으로 쌓이는 총량입니다.

| 데이터센터와 AI 일상 질문

제 질문은 국내 데이터센터에서 처리되나요?

서비스와 시점에 따라 다릅니다. 국내 시설에서 처리될 수도 해외를 거칠 수도 있어 하나로 단정하기는 어렵습니다.

AI를 많이 쓰면 전기요금이 오르나요?

 개인 요금에 직접 반영되지는 않습니다. 다만 데이터센터 전력 수요가 늘면 지역 전력 계획에는 영향을 줄 수 있습니다.

학습과 추론은 뭐가 다른가요?

학습은 모델을 만드는 과정이고, 추론은 완성된 모델이 실제로 답을 내는 과정입니다. 우리 질문은 대부분 추론에 해당합니다.

왜 어떤 답은 유독 느리게 나오나요?

질문이 길거나 복잡하면 계산량이 늘고, 접속 지점이 멀거나 요청이 몰려도 지연이 생깁니다.

GPU는 왜 부족하다고 하나요?

AI 수요가 빠르게 늘어난 데다 고성능 GPU를 만들 수 있는 곳이 한정돼 있어, 확보 경쟁이 이어지고 있습니다.

데이터센터는 왜 도시 근처에 짓나요?

이용자와 가까울수록 지연시간이 줄기 때문입니다. 다만 전력과 부지 조건 때문에 외곽에 짓는 경우도 많습니다.

| 참고 문서

1. IEA, Key Questions on Energy and AI (Executive Summary), 2026
2. Epoch AI (Josh You), How much energy does ChatGPT use?, 2025
3. Alex de Vries, The growing energy footprint of artificial intelligence, Joule, 2023
4. Sam Altman, The Gentle Singularity, 2025
5. IEA, Key Questions on Energy and AI, 2026
6. 환산 근거: 한국 1인당 전력소비량 연 10,735 kWh 기준 (3.65 TWh ÷ 10.7 MWh ≈ 34만 명). 한국전력거래소·KOSIS, 2024
7. Equinix, AI’s engine room: inside the high-performance data centers powering the future, 2025