인공지능(AI) 모델에 무심코 건넨 '고마워요' 한마디가 전구를 켤 정도의 전력을 소모하는 것으로 나타났다.

AI 모델에게 사람들이 무심코 건네는 공손한 인사말이 막대한 비용을 발생시킨다는 증언이 나왔다. 이는 AI 모델이 작동할 때, 사람이 입력한 문자와 모델이 생성한 응답을 모두 '토큰(token)' 단위로 처리하며, 이 과정에서 상당한 연산 자원이 요구되기 때문이다. 토큰은 AI 모델이 이해하거나 생성할 수 있는 최소한의 문자다.

22일 <메트로경제신문> 취재를 종합해보면 AI 모델이 이용자의 요구에 따라 답변을 출력하기 위한 과정에서 고난이도·대용량 연산이 비용부담을 더 가중시키는 것으로 확인됐다. '고마워' '미안해'와 같은 공손한 표현을 덧붙이는 것도 AI 모델 특유의 알고리즘으로 인해 비용을 추가로 발생시켰다.

최근 샘 올트먼 오픈AI CEO는 SNS 플랫폼 X(구 트위터)에서 한 이용자가 "사람들이 챗GPT에 '제발' '고맙습니다'를 반복할 때마다 전기 비용이 얼마나 들었는지 궁금하다"고 묻자 "수천만 달러의 전기요금을 발생 시켰다"고 답했다.

사람들의 공손한 표현만으로도 수천만 달러의 비용이 소모되는 이유는 생성형 AI가 텍스트를 분해해서 이해하고 연산, 출력하는 과정의 특수성 때문이다.

GPT 모델은 입력 텍스트를 자주 등장하는 문자열 단위로 분해해 토큰화하며, 한국어의 경우 보통 한 음절 또는 짧은 단어 하나가 1토큰 정도로 처리한다. 영어는 4~5자당 1토큰 정도가 소모된다. 이에 따라 '사과'는 2토큰, '사랑해'는 3토큰이 된다. 여기에 출력시에도 토큰을 하나씩 생성하는 방식이기 때문에, 대화가 길어질수록 연산량이 기하급수적으로 늘어난다. 샘 올트먼의 말대로 '고마워' 한 마디도 수천 번의 연산이 이뤄질 수밖에 없는 셈이다.

이러한 연산 과정에서 탄소 발생 논란도 일어난다. GPT-4 등의 대형 모델은 연산을 위해 수천 개의 고성능 GPU가 연결된 대규모 데이터센터를 이용하는데, 토큰 수가 많아질수록 해당 GPU 자원의 점유율과 동작 시간도 함께 증가하고, 필요로 하는 전력량 또한 비례해 늘어난다.

대표적인 AI 모델인 챗GPT를 기준으로 할 때 1토큰은 단순계산 기준 입출력 난이도에 따라 최소 0.000001㎾h(1μWh)에서 최대 0.000005㎾h (5μWh)를 소모한다. 이는 전구를 약 0.4초에서 2초 가량 켤 수 있는 수준이다. 즉, '사과'는 9W 전구를 0.4초, '사랑해'는 4초 가량 켤 수 있게 된다.

챗GPT를 다양한 고난이도 연산에 사용하는 이용자들(개발자 등)의 평균 이용량인 1일 1만~2만 토큰은 0.01~0.1 ㎾h로, 9W 전구를 약 1시간 6분에서 11시간 6분 켤 수 있는 수준에 달한다. 이는 생수 40병 분량의 물을 1℃ 데우는데 드는 전력량이다.

토큰에 따른 비용이 막대하게 늘어나면서 생성형 AI 모델을 상업적으로 운용하는 기업은 토큰 사용량에 따라 정해진 AI 모델 이용 비용을 줄이기 위해 토크나이저 최적화나 출력 제한 기술도 고도화하는 추세다.

IT 업계 관계자는 "최근 AI 기술은 전력 소모량을 줄이고 데이터 입출력을 효율화 하는 데에 중점을 두고 있다"며 "사람들이 AI에도 '고마워' '사랑해' 등 인사를 하는 현상은 무척 흥미롭다"고 말했다.