- Início
- IA para negócios
- LLM para empresas
O modelo de linguagem certo para cada tarefa.
Comparamos modelos pela tarefa, pelo volume, pelo tempo de resposta e pelas regras de dados, e deixamos a troca de modelo simples para quando o cenário mudar.
A pergunta útil não é qual modelo é o melhor, mas qual resolve esta tarefa com a qualidade, o custo e o tempo que ela pede. Em geral a resposta é mais de um, e ela muda a cada nova versão.
Como um LLM entra na operação
Entre a tarefa e a aplicação ficam as regras de dados, a escolha do modelo, as proteções e a avaliação.
- TarefaLer, extrair, classificar
- Regras de dadosO que pode sair da rede
- Metas da tarefaQualidade, custo e tempo
- GatewayChama o modelo certo
- Contexto longoDocumentos densos
- Modelo rápidoClassificação em volume
- Modelo abertoNa rede da empresa
- GuardrailsDados pessoais e injeção
- AvaliaçãoCasos reais de referência
- AplicaçãoAgente, busca ou atendimento
Arquitetura de referência. Modelos e camadas mudam conforme a tarefa e as regras de dados de cada empresa.
Como escolhemos o modelo
Quatro critérios, medidos na sua tarefa e com os seus dados.
Qualidade na tarefa
Um conjunto de casos reais compara os modelos na sua tarefa. Benchmark público serve de ponto de partida, não de decisão.
Custo por tarefa
Soma tokens, cache, busca e revisão humana. O preço por token, sozinho, não diz quanto custa resolver uma tarefa.
Tempo de resposta
Atendimento ao vivo pede resposta rápida. Uma análise em lote pode usar um modelo mais lento e mais barato.
Regras de dados
A LGPD, os contratos e a política interna definem o que pode sair da rede e onde o modelo precisa rodar.
Quando usar cada família de modelos
Um ponto de partida, que a avaliação confirma ou muda.
O que vai em volta do modelo
O modelo é a parte que mais muda. A camada em volta dele é o que fica.
Gateway
Um ponto único para chamar modelos, com limite de uso, fallback e troca de modelo sem reescrever a aplicação.
Guardrails
Filtro de dados pessoais, proteção contra injeção de prompt e limites do que o modelo pode fazer, seguindo as recomendações da OWASP para LLMs.
Prompts versionados
Prompts no Git, com teste a cada mudança, como qualquer outro código.
Telemetria
Registro de custo, tempo e qualidade por tarefa, com dados pessoais mascarados.
Como começamos
- 1
Definir a tarefa
O que entra, o que sai e como saber se a resposta está boa.
- 2
Comparar modelos
Testamos alguns modelos nos seus casos reais e medimos qualidade, custo e tempo.
- 3
Integrar
Colocamos o modelo escolhido atrás do gateway, com proteções e telemetria.
- 4
Acompanhar
Cada nova versão de modelo passa pela mesma avaliação antes de entrar.
Perguntas frequentes
O que é um LLM?
É um modelo de linguagem de grande porte (large language model), treinado para prever texto. Na prática, ele lê, resume, classifica, extrai dados e escreve. Sozinho, não conhece os dados da sua empresa nem age nos seus sistemas: para isso entram o RAG sobre os documentos da empresa e os agentes de IA integrados ao ERP.
Qual o melhor LLM para empresas?
Não existe um só. O melhor é o que resolve a sua tarefa com a qualidade, o custo e o tempo necessários, dentro das suas regras de dados. É comum combinar um modelo para análise pesada, um rápido para classificação e um aberto para dado que não pode sair da rede.
É seguro usar LLM com dados da empresa?
Pode ser, com o desenho certo: contratos de API que não usam seus dados para treinar, mascaramento de dados pessoais, criptografia, registro das operações e, quando preciso, modelo aberto rodando na sua própria rede. A decisão envolve o DPO desde o escopo.
Vale a pena rodar um modelo próprio?
Só quando há motivo claro: dado que não pode sair da rede, latência muito baixa ou volume que torna a API mais cara do que a operação. Modelo próprio traz custo de infraestrutura e de equipe, que precisa entrar na conta.
Preciso fazer fine-tuning?
Raramente no começo. Antes, vale esgotar prompt, contexto e RAG. Fine-tuning faz sentido quando há muitos exemplos bons e uma tarefa bem definida que esses caminhos não resolveram.
Como evitar ficar preso a um fornecedor de modelo?
Com um gateway entre a aplicação e os modelos, prompts versionados e um conjunto de avaliação próprio. Assim dá para testar e trocar de modelo medindo o efeito, sem reescrever a aplicação.
Para continuar
Fale com um especialista em IA.
Trinta minutos com um engenheiro da CCX, sem custo, para olhar a sua tarefa e o que ela pede de um modelo.