Colocar um agente de IA em produção é mais do que publicar uma versão. Esta lista de conferência reúne o que precisa existir antes do lançamento: medição, integração, avaliação, segurança, monitoramento, rollback, treinamento e responsabilidade. Use-a como revisão final. Se algum item não tem resposta, o projeto ainda é um piloto.
Medição
- Tempo, erro e custo do processo atual estão registrados.
- Os critérios de sucesso foram definidos antes do lançamento, e a operação concorda com eles.
- O custo por tarefa soma tokens, busca e revisão humana.
Integração
- O agente acessa os sistemas por API, com integrações mantidas e monitoradas.
- Ele usa um usuário próprio, com as permissões mínimas para a tarefa.
- Há tratamento para sistema fora do ar, tempo esgotado e nova tentativa, sem criar registros em duplicidade.
- Cada gravação é validada contra as regras do sistema antes de acontecer.
Avaliação
- Existe um conjunto de casos reais, incluindo os difíceis e as exceções.
- Cada mudança de prompt, de ferramenta ou de modelo passa por esse conjunto antes de entrar.
- O resultado foi comparado com a referência humana, e não com a expectativa.
Segurança e dados
- O DPO revisou que dados pessoais entram, onde são processados e por quanto tempo ficam guardados.
- Os registros mascaram dados pessoais.
- Há proteção contra injeção de prompt: o que vem de mensagens e documentos é tratado como dado, não como instrução. As recomendações da OWASP para LLMs são um bom ponto de partida.
- As ações sensíveis têm limite de valor e de tipo de operação fora do modelo.
Monitoramento
- Há alertas de erro, custo e queda de qualidade, cada um com alguém definido para receber.
- Cada execução fica registrada: entrada, consultas, decisão e resultado.
- Uma amostra é revisada por pessoas com frequência definida.
- A operação tem um painel que consulta de verdade.
Rollback
- Existe um interruptor para desligar o agente sem nova publicação.
- O processo anterior continua possível, e a equipe sabe como voltar a ele.
- Está definido quem decide desligar e em que situações.
- Está definido o que acontece com o trabalho em andamento.
- O procedimento foi testado antes do lançamento.
Treinamento
- As pessoas sabem o que o agente faz e o que não faz.
- Quem revisa sabe onde ele costuma errar e como corrigir. Veja como dividir o trabalho entre o agente e as pessoas.
- Há um caminho claro para reportar um erro.
- O atendimento sabe responder a um cliente que questiona uma ação do agente.
Responsabilidade
- Uma pessoa da operação responde pelo resultado e decide o que muda.
- Está definido quem cuida do agente depois da entrega, incluindo novas versões de modelo.
- Há uma rotina para rever limites e regras quando o processo muda.
Liberação gradual
Com a lista completa, comece por um grupo pequeno de casos e uma revisão humana ampla. Reduza a revisão conforme as medições permitirem e amplie o volume por etapas. Um novo caso de uso entra quando o anterior está estável. O caminho até aqui está detalhado em IA do piloto à produção.
Perguntas frequentes
Qual item da lista é mais esquecido?
Costuma ser o rollback e o dono na operação. Os dois parecem desnecessários enquanto tudo funciona, e fazem falta justamente quando algo dá errado.
O que é rollback em um agente de IA?
É a forma de desligar o agente, ou de voltar a uma versão anterior, sem parar a operação. Inclui prompts e modelo, e também o processo que as pessoas seguem enquanto o agente estiver desligado.
Preciso de tudo isso em um primeiro agente?
Sim, em escala proporcional à tarefa. Um agente de baixo risco pode ter um monitoramento simples e uma avaliação pequena, mas cada item precisa ter resposta. Só assim fica claro quem age quando algo muda.
Com que frequência devo reavaliar um agente em produção?
A cada mudança de prompt, de modelo ou de regra de negócio, além da amostra revisada em rotina. Se quiser revisar a lista com um engenheiro antes do seu lançamento, fale com a CCX.