AI 시장의 중심 지표가 바뀌고 있다
AI 시장을 볼 때 많은 사람은 GPU 출하량, 모델 성능 순위, 클라우드 매출부터 확인한다. 모두 중요한 숫자다. 그러나 지금 시장이 상대적으로 덜 보는 숫자는 토큰이다. 토큰은 AI가 읽고 쓰는 데이터의 최소 단위에 가깝고, 사용자가 질문하고 모델이 추론하며 답을 만드는 과정이 대부분 토큰으로 측정된다. 즉 토큰은 AI가 실제로 얼마나 쓰이는지, 인프라가 얼마나 바쁘게 돌아가는지, 비용이 어디서 발생하는지를 한 번에 보여주는 운영 지표다.
Google은 I/O 2026에서 자사 제품과 API 전반의 월간 처리량이 2024년 9.7조 토큰, 2025년 약 480조 토큰에서 2026년 3.2경 토큰 이상으로 늘었다고 설명했다. 숫자의 크기보다 중요한 것은 방향이다. AI가 검색, 문서, 코딩, 영상, 업무 자동화로 들어가면서 사용량이 모델 발표 주기보다 빠르게 쌓이고 있다. 시장이 이 흐름을 제대로 읽으려면 “누가 가장 똑똑한 모델을 가졌나”보다 “누가 더 많은 토큰을 더 낮은 비용과 지연시간으로 처리하나”를 물어야 한다.
토큰이 매출과 비용을 동시에 설명하는 이유
토큰은 단순한 기술 단위가 아니다. AI 서비스 기업에는 매출 단위이고, 클라우드와 반도체 기업에는 수요 단위이며, 이용 기업에는 비용 관리 단위다. 사용자가 긴 문서를 넣고, 에이전트가 여러 도구를 호출하고, 코딩 모델이 수십 분 동안 작업하면 입력 토큰과 출력 토큰이 함께 늘어난다. 모델이 똑똑해질수록 토큰이 줄어드는 경우도 있지만, 에이전트형 워크플로에서는 오히려 더 긴 맥락과 반복 실행이 필요해질 수 있다.
| 지표 | 무엇을 보여주나 | 시장 해석 |
|---|---|---|
| 월간 처리 토큰 | AI 실제 사용량 | 제품 채택과 인프라 수요의 강도 |
| 토큰당 비용 | 추론 원가와 가격 경쟁력 | 마진, 가격 인하 여력, 모델 라우팅 전략 |
| 초당 토큰 | 응답 속도와 처리량 | 사용자 경험과 데이터센터 효율 |
| 와트당 토큰 | 전력 대비 생산성 | AI 팩토리, 전력 투자, 냉각 설계의 핵심 |
NVIDIA가 AI 팩토리를 토큰 생성 중심으로 설명하고, Google이 TPU와 추론 칩의 성능을 토큰 처리량과 전력 효율로 말하는 이유도 여기에 있다. 데이터센터는 더 이상 저장과 전송만 하는 시설이 아니다. 전력, 칩, 네트워크, 모델, 애플리케이션이 묶여 토큰이라는 산출물을 만드는 생산 설비에 가까워지고 있다.
에이전트 시대에는 토큰 변동성이 더 커진다
2026년 공개된 에이전트 코딩 작업 연구는 토큰 사용량이 예측보다 훨씬 흔들릴 수 있음을 보여준다. 같은 과제에서도 실행마다 토큰 소비가 크게 달라질 수 있고, 더 많은 토큰이 항상 더 높은 정확도로 이어지는 것도 아니다. 이는 기업이 AI 예산을 단순 사용료가 아니라 운영 리스크로 관리해야 한다는 뜻이다. 특히 긴 문맥, 멀티스텝 추론, 도구 호출, 코드 실행이 결합되면 입력 토큰이 비용의 중심이 될 가능성이 커진다.
따라서 기업은 모델 성능표만 보지 말고 업무별 토큰 예산을 따로 잡아야 한다. 고객 상담, 문서 요약, 코드 생성, 데이터 분석은 필요한 맥락 길이와 반복 횟수가 다르다. 같은 모델을 모든 업무에 쓰기보다 저비용 모델, 고성능 모델, 로컬 모델을 조합하는 라우팅 전략이 비용 안정성에 도움이 될 수 있다.
투자 관점에서 볼 세 가지 질문
토큰 증가는 곧바로 수익 증가를 뜻하나?
아니다. 토큰 처리는 수요를 보여주지만 수익성은 가격, 전력비, 칩 감가상각, 모델 효율, 고객 유지율에 따라 달라진다. 수익은 변동될 수 있으며, 토큰 증가가 곧바로 주가나 실적 개선으로 연결된다고 단정하기는 어렵다.
왜 토큰당 비용이 중요한가?
AI 서비스는 사용량이 늘수록 추론 비용이 반복 발생한다. 토큰당 비용을 낮추는 기업은 같은 예산으로 더 많은 기능을 제공하거나 가격 경쟁에 대응할 여지가 생긴다. 반대로 비용 구조가 약하면 사용자가 늘어도 이익률이 압박받을 수 있다.
개인 투자자는 어떤 숫자를 봐야 하나?
기업 발표에서 월간 토큰 처리량, API 사용량, 데이터센터 전력 확보, 추론 전용 칩 성능, 토큰당 가격 변화를 함께 보는 편이 좋다. 단일 지표만으로 판단하기보다 사용량 증가와 비용 효율 개선이 같은 방향으로 움직이는지 확인해야 한다.
결론: 토큰은 AI 경제의 사용량 계기판이다
AI 시장의 다음 경쟁은 모델 이름보다 토큰 경제에서 드러날 가능성이 크다. 누가 더 많은 토큰을 안정적으로 처리하는지, 누가 토큰당 비용을 낮추는지, 누가 에이전트의 예측 어려운 사용량을 관리하는지가 핵심이다. 시장이 놓치고 있는 숫자는 하나의 유행어가 아니라 AI 산업의 매출, 비용, 전력, 사용자 경험을 연결하는 계기판이다.
참고 자료: https://blog.google/intl/en-africa/products/explore-get-answers/sundar-pichai-io-2026/ , https://hai.stanford.edu/ai-index/2026-ai-index-report , https://arxiv.org/abs/2601.10088 , https://arxiv.org/abs/2604.22750