Quanto custa um agente de IA em producao (e por que o problema nao e o modelo): FinOps de IA na camada de integracao

98% das empresas já gerenciam gasto com IA e 3 em 4 não provam o valor ao CFO. O custo do agente não está no modelo — está no desenho. Veja como cortar com cache, roteamento e custo por ação.

Por CCX Company6 de novembro de 202610 min de leitura
Quanto custa um agente de IA em producao (e por que o problema nao e o modelo): FinOps de IA na camada de integracao

Um piloto de agente de IA quase sempre comeca barato. Ele roda em um ambiente controlado, com poucos usuarios, e a fatura mal aparece. O problema aparece depois, em producao: a conta explode, o uso cresce de forma nao-linear e, quando o financeiro pergunta "quanto custa cada atendimento que esse agente resolve?", ninguem sabe responder. Em 2026 esse deixou de ser um incomodo pontual e virou disciplina de gestao.

O dado que mudou a conversa: de 31% para 98% em tres anos

O State of FinOps 2026, da FinOps Foundation (1.192 praticantes, representando mais de US$83 bilhoes de gasto em nuvem), mostra um salto que resume o momento: a parcela de organizacoes que ja gerencia ativamente o gasto com IA passou de 31% em 2024 para 63% em 2025 e 98% em 2026. Em outras palavras, o custo de IA deixou de ser um detalhe de rodape e virou uma linha formal de FinOps, com dono, meta e relatorio.

Ao mesmo tempo, o State of Tokenomics (Tokenomics Foundation, set/2026, 472 respostas) entrega o numero que dói do outro lado: cerca de 3 em cada 4 empresas nao conseguem provar o resultado de negocio da IA ao CFO. Ou seja, quase todo mundo ja mede que esta gastando, mas a maioria ainda nao consegue ligar esse gasto a um valor. Gastar virou visivel; justificar, nao.

A tentacao, nesse ponto, e tratar o problema como uma questao de preco de modelo: "vamos trocar por um modelo mais barato". Essa leitura quase sempre erra o alvo. O preco do token, alias, vem caindo de forma consistente a cada geracao de modelo — e, ainda assim, a conta de IA das empresas sobe. Se o problema fosse o preco unitario, ele teria melhorado sozinho. Nao melhorou porque a origem do custo e outra: e o volume de tokens que o desenho do agente consome, nao o preco de cada um.

Essa distincao e o coracao do FinOps de IA. Tratar custo de IA como preco de insumo leva a decisoes erradas (trocar de fornecedor, negociar desconto) que mal arranham a fatura. Tratar custo de IA como consequencia de arquitetura — quantas vezes o agente chama o modelo, com quanto contexto, com qual modelo e para qual resultado — abre as alavancas que realmente movem o numero.

Onde o dinheiro realmente vaza: re-leitura de contexto e GPU ociosa

Quando se abre a conta de um loop de agente, o padrao que aparece e desconfortavel: ate ~92% do custo de um loop pode ser apenas re-leitura de contexto quando nao ha cache. A cada passo, o agente reenvia todo o historico, as instrucoes e os resultados anteriores para o modelo — pagando de novo por tokens que ja processou. Um loop de 20 passos que custa cerca de US$1,58 cai para algo em torno de US$0,42 apenas ligando cache de contexto. O gasto nao estava no modelo; estava no desenho que obriga a reprocessar tudo o tempo todo.

Do lado da infraestrutura, a historia se repete. Medicoes de mercado (Cast AI) apontam utilizacao media de GPU em torno de 5%. Isso significa pagar por maquina parada: capacidade provisionada "por garantia" que fica ociosa na maior parte do tempo. Right-sizing, auto-scaling e consolidacao de workloads nao sao refinamento de FinOps avancado — sao a diferenca entre pagar pelo que se usa e pagar pelo que se reservou.

Um terceiro sinal fecha o diagnostico: 86% das empresas ja usam ou avaliam model routers, e quem roteia tem cerca de 4 vezes mais chance de mostrar valor ao CFO. Roteamento nao e moda; e o reconhecimento de que usar o modelo mais caro para toda tarefa — inclusive as triviais — e desperdicio estrutural.

Ha ainda uma frente de hardware em movimento. A Oracle e o Google anunciaram levar as TPUs do Google para a Oracle Cloud (OCI), mirando workloads agentic e de contexto longo a partir de 2027 — mais uma alavanca para baratear a inferencia por fora da GPU tradicional. E uma boa noticia para o custo de longo prazo, mas convem a cautela: hardware mais barato reduz o preco de cada passo, nao o numero de passos nem a re-leitura. Se o desenho continua ineficiente, inferencia barata apenas adia a conta. O gargalo economico do agente nasce na camada de software e integracao, e e la que ele se resolve primeiro.

Nao e "modelo mais barato", e desenho

Juntando as pecas, o custo de um agente em producao se decide em tres escolhas de arquitetura, nenhuma delas sobre qual LLM usar:

1. Cache — de contexto e de resultado de tool. Reaproveitar o contexto estavel entre passos e guardar o resultado de chamadas deterministicas (a mesma consulta ao catalogo, ao CRM, ao status de pedido) evita pagar duas vezes pela mesma informacao. E a alavanca de maior impacto imediato.

2. Roteamento de modelo por tarefa. Classificar a tarefa e mandar a trivial para o modelo pequeno e barato, reservando o modelo caro para o que realmente exige raciocinio. Um roteador bem calibrado corta custo sem o usuario perceber diferenca de qualidade.

3. Menos passos. Um loop desenhado para resolver em 6 passos custa a fracao de um que tropeca em 20. Reduzir idas e vindas, consolidar chamadas e dar ao agente o contexto certo de uma vez e engenharia de custo tanto quanto de qualidade.

Repare que as tres alavancas vivem onde o agente encosta nos seus sistemas — na camada de integracao e orquestracao, nao dentro do modelo. E por isso que trocar de LLM raramente resolve: o vazamento esta no caminho entre o agente e os dados, nao no preco do token.

Essas alavancas tambem se reforcam. Cache reduz o volume de contexto que o roteador precisa classificar; roteamento diminui o custo dos passos que sobram; e um loop com menos passos gera menos oportunidades de re-leitura. Tratadas isoladamente, cada uma corta uma fatia; tratadas como um sistema, elas se multiplicam. A pratica recomendada e instrumentar primeiro (para enxergar onde esta o desperdicio), aplicar a alavanca de maior impacto, medir de novo e iterar — exatamente o ciclo de FinOps que a disciplina de nuvem ja consolidou, agora aplicado a tokens e chamadas de modelo.

Como medir: custo por acao, o numero que o CFO pede

O CFO nao quer saber quantos tokens foram consumidos. Ele quer saber quanto custa cada atendimento resolvido, cada pedido processado, cada caso encerrado. Traduzir gasto de tokens em custo por acao de negocio exige observabilidade de verdade: instrumentar o agente para registrar tokens, chamadas de tool e latencia por transacao, atribuir esse custo a uma unidade de negocio e alertar quando o gasto por acao desvia do esperado.

Sem essa camada de medicao, FinOps de IA vira adivinhacao: a fatura total sobe, mas ninguem sabe qual fluxo, qual cliente ou qual passo esta puxando o custo — e, portanto, ninguem sabe onde cortar. Com ela, a conversa com o financeiro muda de "a IA esta cara" para "cada caso resolvido custa X, caiu Y% desde que ligamos cache e roteamento, e o teto por modelo esta aqui".

Na pratica, isso significa atribuir cada chamada de modelo e cada chamada de tool a uma transacao de negocio e a um responsavel. Um agente de atendimento, por exemplo, pode ter seu custo decomposto por tipo de solicitacao: uma consulta simples de status de pedido deveria custar centavos, enquanto um caso complexo de troca com validacao fiscal custa mais — e so comparando esse custo ao valor gerado por cada tipo de caso e que se decide onde o agente compensa e onde ele precisa ser redesenhado. Teto de custo por modelo (um "Model Wallet" proprio) e alertas de desvio completam o quadro: em vez de descobrir o estouro na fatura do mes seguinte, a operacao e avisada no momento em que o gasto por acao sai da curva.

Esse e o numero que destrava a confianca do CFO. Nao e um relatorio de tokens consumidos, que para o financeiro e abstrato; e o custo unitario de um resultado de negocio, comparavel a qualquer outra linha de custo operacional. Empresas que chegam a esse nivel de granularidade sao justamente as que conseguem provar valor — e, nao por acaso, as que mais roteiam e cacheiam.

Como a CCX faz

A leitura da CCX e direta: o custo do agente nao se controla no modelo — se controla na camada de integracao e observabilidade. E ai que a CCX atua.

Com Observabilidade 360°, a CCX instala a medicao de custo por acao/transacao do agente — tokens, chamadas de tool, latencia — com alertas quando o gasto desvia, usando o ferramental de observabilidade que o cliente ja tem ou adotando um novo. E o numero que o CFO pede, medido na fonte.

Com Integracoes & APIs Enterprise, a CCX implementa as alavancas onde elas moram: cache de contexto e de resultado de tool, roteamento de modelo por tarefa e orquestracao event-driven (Kafka/RabbitMQ) para reduzir passos e re-leitura. E a camada que decide a conta.

E com Arquitetura Cloud & FinOps somada a IA para negocios, a CCX ataca o right-sizing de GPU/inferencia, o auto-scaling e o TCO, alem de redesenhar o proprio loop do agente para gastar o minimo — menos passos, menos re-leitura, modelo certo para cada tarefa.

O agente nao estoura o orcamento por causa do modelo — estoura por desenho: re-le tudo a cada passo, usa o modelo caro para tudo e ninguem mede custo por acao. A CCX instala a camada que mede custo por transacao e corta o desperdicio no ponto de integracao. Pare de pagar 92% da conta so para re-ler contexto. Conheca as solucoes da CCX.

Perguntas frequentes

Por que meu agente de IA ficou caro em producao? Quase sempre por desenho, nao por preco de modelo: o loop re-le o contexto inteiro a cada passo (sem cache de contexto nem de resultado de tool), usa o modelo caro para tarefas triviais (sem roteamento) e da voltas demais. Em muitos casos ate ~92% do custo de um loop e so re-leitura de contexto.

O que e FinOps de IA? E a disciplina de tornar o gasto com IA visivel, atribuivel e otimizavel — medir custo por acao de negocio, dar dono e meta a esse custo e aplicar alavancas (cache, roteamento, right-sizing) para controla-lo. Em 2026, 98% das organizacoes ja gerenciam gasto com IA de alguma forma.

Como reduzir custo de tokens sem trocar de modelo? Ligando cache de contexto e de resultado de tool, roteando a tarefa para o modelo do tamanho certo, reduzindo o numero de passos do loop e medindo custo por transacao para saber onde cortar. Essas alavancas vivem na camada de integracao, nao no modelo.

Como provar o valor da IA ao CFO? Traduzindo gasto de tokens em custo por acao de negocio (por atendimento, por pedido, por caso) com observabilidade, e mostrando a evolucao desse numero depois de aplicar cache e roteamento. Empresas que roteiam tem cerca de 4x mais chance de demonstrar valor.

Receba os próximos Insights por e-mail

No máximo um e-mail por semana, com os artigos novos. Sem spam.

Ao assinar, você concorda em receber os Insights da CCX por e-mail, conforme a Política de Privacidade e a LGPD. Sem spam; cancele quando quiser, em qualquer e-mail.

Leve a discussão para a sua operação.

O primeiro passo é um diagnóstico: trinta minutos com um engenheiro da CCX, sem custo, para entender seu cenário de plataforma, integrações e dados.