본문으로 건너뛰기

AI 에이전트가 토큰을 태우는 이유 (그리고 청구서를 억제하는 법)

중급

채팅 한 번의 비용은 1센트의 일부다. 같은 질문을 에이전트에게 넘기면 — 파일을 읽고, 도구를 호출하고, 끝날 때까지 반복하는 에이전트 — 비용은 달러 단위가 될 수 있다. 팀들은 이 사실을 어렵게 깨닫고 있다: 방치된 코딩 에이전트는 키보드 앞의 사람이라면 결코 만들지 않을 청구서를 쌓아 올린다. 무서운 부분은 평균이 아니다. 미리 예측할 수 없다는 것, 그리고 같은 작업의 비용이 크게 요동칠 수 있다는 것이다.

이 페이지는 에이전트가 토큰을 태우는 이유(대부분의 사람이 짐작하는 것과 다르다)를 설명하고, 노련한 빌더조차 놀라게 하는 숫자들을 보여주며, 실제로 청구서를 줄이는 네 가지 레버를 제공한다 — Claude Code, Cursor, Codex를 쓰든, 어떤 모델 위에서 직접 만든 루프를 쓰든 동일한 레버다.

What you'll learn
  • 컨텍스트 눈덩이를 설명한다 — 에이전트 비용이 단계 수에 따라 선형이 아니라 대략 제곱으로 증가하는 이유
  • 실제 배수를 인용한다: 에이전트 작업은 채팅 토큰의 약 1000배, 그리고 동일 작업이 최대 30배까지 변동
  • 두 번째 에이전트가 언제 가치 있는지 안다 — 그리고 대개 그렇지 않다는 것을 보여주는 벤치마크
  • 실제로 작동하는 네 가지 비용 레버를 당긴다: 예산 상한, 프롬프트 캐싱, 모델 티어 라우팅, 컨텍스트 정리
  • 폭주하는 에이전트 청구서를 진단하고 그것에 단단한 상한선을 건다

컨텍스트 눈덩이: 비용이 제곱으로 증가하는 이유​

여기에 함정이 있다. 채팅은 한 번의 턴이다 — 입력 하나, 출력 하나, 끝. 에이전트는 루프다: 작업을 읽고, 행동을 취하고, 결과를 읽고, 다음 행동을 취하며, 일이 끝날 때까지 계속한다. 문제는 매 단계마다 모델이 지금까지 누적된 전체 대화를 다시 읽는다는 것이다 — 원래 프롬프트, 이전의 모든 행동, 그리고 모든 도구 결과를 — 다음에 무엇을 할지 결정하기 전에.

그래서 입력은 매 단계마다 커지고, 눈덩이가 앞으로 구를 때마다 그 전체에 대해 다시 비용을 지불한다:

  • 1단계는 프롬프트를 처리한다.
  • 2단계는 프롬프트 + 1단계의 행동 + 결과를 다시 읽는다.
  • 3단계는 그 전부 + 2단계의 행동 + 결과를 다시 읽는다.
  • …그리고 계속 이어진다.

한 번의 실행에서 입력을 모두 합하면, 총합은 선형이 아니라 대략 단계 수의 제곱에 비례해서 커진다. Stanford Digital Economy Lab은 에이전트 작업이 *"독특하게 비싸며, 코드 추론과 코드 채팅보다 1000배 많은 토큰을 소비한다"*는 것을 발견했다 — 그리고 결정적으로, 지배하는 것은 출력이 아니라 입력 토큰이다. 에이전트는 더 많이 쓰는 게 아니다. 더 많이 다시 읽고 있는 것이다.

What you'll learn
  • 비용 동인은 생각이 아니라 재읽기다. 각 루프 단계는 전체 대화 기록을 다시 처리하므로, 20단계 실행은 초기 컨텍스트에 대해 약 20번 지불한다.
  • 이것이 '그냥 에이전트가 알아서 하게 두자'가 비싼 이유다: 에이전트가 취하는 모든 추가 단계는 그 이전의 모든 것에 대해 배가된다.
  • 출력이 많은 작업(에세이를 써줘)은 상대적으로 싸다. 입력이 많은 루프(이 레포를 탐색한 다음 버그를 고쳐라)가 돈이 나가는 곳이다.

사람들을 놀라게 하는 숫자들​

세 가지 수치가 대부분의 사람들의 직관을 재설정한다:

  • 약 1000배. Stanford 분석에 따르면, 에이전트 작업은 동등한 채팅이나 코드 완성의 약 천 배 토큰을 소비할 수 있다 — 더 큰 모델 때문이 아니라 위의 눈덩이에 의해 추동된다.
  • 같은 작업에서 최대 30배 변동. 같은 에이전트를 같은 작업에서 실행해도 한 번은 다른 번보다 최대 30배 더 들 수 있다 — 에이전트가 취하는 경로(도구를 몇 번 호출하는지, 얼마나 멀리 헤매는지)가 비결정적이기 때문이다. 끝나기 전까지는 청구서를 정말로 알 수 없다. 이것이 에이전트에 대한 "결과 기반 가격 책정"이 그토록 어려운 이유다: 비용은 모든 것이 실행된 후에야 보인다.
  • 더 많은 에이전트가 스스로 비용을 회수하는 경우는 드물다. 2026년 프로덕션 벤치마크는 작업의 64%에서, 잘 구성된 단일 에이전트 대비 멀티 에이전트 구성이 2배의 비용으로 정확도를 약 2.1%만 추가한다는 것을 발견했다. 계층적 감독자 패턴은 문서 작업을 85% → 95% 정확도로 밀어 올렸다 — 하지만 단일 에이전트의 작업당 $0.003 대비 약 $0.15(약 50배)의 비용으로. 더 많은 에이전트는 많은 돈으로 약간의 정확도를 산다.
Watch out
  • 같은 작업이 최대 30배까지 변동하기 때문에, 평균 기반 예산은 꼬리에 의해 반드시 초과된다. 평균으로 예산을 짜지 말고, 상한선을 걸어라.
  • '안전하게 하려고' 에이전트를 추가하는 것은 대개 정확도를 더하는 것보다 훨씬 빠르게 비용을 배가시킨다. 작업이 진정으로 병렬적이고 독립적인 하위 작업으로 분해될 때만 두 번째 에이전트에 손을 뻗어라.

도구 표면도 청구서의 일부다​

루프가 시작되기도 전에, 에이전트가 도구에 도달하는 방식이 비용의 하한을 정한다. MCP 서버 집합을 연결하면 눈덩이의 모든 단계에 수만 토큰의 도구 정의를 주입할 수 있다. 많은 빌더가 마주치는 대략적인 비교: 순수한 CLI 명령은 평균 약 200토큰인 반면, 동등한 MCP 작업은 도구 스키마와 래핑까지 세면 32k~82k 토큰이 들 수 있다. 그 격차는 모든 루프 단계에 함께 실려간다.

그렇다고 MCP가 틀린 것은 아니다 — 인증, 멀티 테넌시, 통제된 접근에는 올바른 선택이다. 그것은 도구 표면이 설계 시점에 선택한 비용 레버라는 뜻이다. AILmanac에는 전용 심층 분석이 있다: MCP 토큰 세금은 세 가지 해법으로 Tool Search, 지연 로딩, 코드 실행을 다룬다.

실제로 청구서를 줄이는 네 가지 레버​

최적화 조언은 끝이 없다. 오직 네 가지 레버만이 숫자를 실질적으로 움직인다. 대략적인 레버리지 순서로:

Guided walkthrough1 of 4
  1. 에이전트를 강제 중단시키는 실행당 또는 사용자당 토큰/달러 상한을 설정하라. 같은 작업이 나쁜 실행에서 30배 더 들 수 있으므로, 상한선만이 꼬리를 경계 짓는 유일한 것이다. 대부분의 에이전트 하니스는 max-tokens 또는 max-steps 제한을 노출한다 — 그것을 써라. 이것이 단일하게 가장 중요한 통제다.

폭주하는 에이전트를 감사하라 (실행의 토큰 분석을 붙여넣으세요)

You are a cost engineer. Here is a token-usage breakdown of one agentic run
(input vs output tokens per step, tool calls, model used).

Diagnose where the money went, in priority order:
1. Is input or output driving cost? (Agents are almost always input-heavy.)
2. Which repeated content should be prompt-CACHED (system prompt, tools, rules)?
3. Which steps could run on a CHEAPER model without losing correctness?
4. Where is context snowballing — what can be pruned, compacted, or summarized?
5. What is a safe per-run token CAP that stops the worst tail without hurting the median run?

Give me the estimated % saving per fix and the ONE change to make first.

에이전트가 잘못된 도구일 때​

가장 싼 에이전트 실행은 하지 않는 실행이다. 작업이 단일하고 잘 명세된 변환 — 이걸 요약해, 저걸 분류해, 이걸 다시 써 — 이라면, 순수한 채팅/완성 호출이 비용의 일부로 그것을 해낸다, 눈덩이가 전혀 없이. 작업이 변화하는 환경에 대해 루프 속에서 읽고, 결정하고, 행동하고, 다시 확인하는 것을 진정으로 요구할 때(레포 탐색, 파일 간 디버깅, 브라우저 조작) 에이전트에 손을 뻗어라. 정확한 단계를 직접 쓸 수 있다면, 그것을 스크립트로 만들어라 — 매 실행마다 모델이 그것을 다시 도출하도록 돈을 내지 마라.

Enter 또는 스페이스 키를 눌러 카드를 뒤집습니다. 좌우 화살표 키로 카드를 이동할 수 있습니다.용어가 표시되었습니다.
1 / 5

Check yourself

0/3
  1. 같은 질문인데도 에이전트 실행이 단일 채팅 턴보다 훨씬 더 많은 비용이 드는 이유는?
  2. 한 동료가 단일 에이전트가 이미 85% 정확도로 처리하는 작업에 '안전하게 하려고' 두 번째와 세 번째 에이전트를 추가하려고 한다. 2026년 벤치마크는 무엇을 시사하는가?
  3. *같은* 작업이 한 실행에서 다른 실행보다 최대 30배 더 들 수 있다는 점을 고려할 때, 지출을 통제하는 올바른 방법은?

출처 및 더 읽을거리​