- Inicio
- IA para negocios
- LLM para empresas
El modelo de lenguaje correcto para cada tarea.
Comparamos modelos por tarea, volumen, tiempo de respuesta y reglas de datos, y dejamos simple el cambio de modelo para cuando el escenario cambie.
La pregunta útil no es qué modelo es el mejor, sino cuál resuelve esta tarea con la calidad, el costo y el tiempo que pide. Por lo general la respuesta es más de uno, y cambia con cada nueva versión.
Cómo entra un LLM en la operación
Entre la tarea y la aplicación están las reglas de datos, la elección del modelo, las protecciones y la evaluación.
- TareaLeer, extraer, clasificar
- Reglas de datosQué puede salir de la red
- Metas de la tareaCalidad, costo y tiempo
- GatewayLlama al modelo correcto
- Contexto largoDocumentos densos
- Modelo rápidoClasificación en volumen
- Modelo abiertoEn la red de la empresa
- GuardrailsDatos personales e inyección
- EvaluaciónCasos reales de referencia
- AplicaciónAgente, búsqueda o atención
Arquitectura de referencia. Los modelos y las capas cambian según la tarea y las reglas de datos de cada empresa.
Cómo elegimos el modelo
Cuatro criterios, medidos en tu tarea y con tus datos.
Calidad en la tarea
Un conjunto de casos reales compara los modelos en tu tarea. Un benchmark público sirve de punto de partida, no de decisión.
Costo por tarea
Suma tokens, caché, búsqueda y revisión humana. El precio por token, por sí solo, no dice cuánto cuesta resolver una tarea.
Tiempo de respuesta
La atención en vivo pide una respuesta rápida. Un análisis por lotes puede usar un modelo más lento y más barato.
Reglas de datos
La LGPD, los contratos y la política interna definen qué puede salir de la red y dónde debe correr el modelo.
Cuándo usar cada familia de modelos
Un punto de partida, que la evaluación confirma o cambia.
Qué va alrededor del modelo
El modelo es la parte que más cambia. La capa que lo rodea es lo que permanece.
Gateway
Un punto único para llamar modelos, con límite de uso, fallback y cambio de modelo sin reescribir la aplicación.
Guardrails
Filtro de datos personales, protección contra la inyección de prompts y límites de lo que el modelo puede hacer, según las recomendaciones de OWASP para LLM.
Prompts versionados
Prompts en Git, con pruebas en cada cambio, como cualquier otro código.
Telemetría
Registro de costo, tiempo y calidad por tarea, con datos personales enmascarados.
Cómo empezamos
- 1
Definir la tarea
Qué entra, qué sale y cómo saber si la respuesta es buena.
- 2
Comparar modelos
Probamos algunos modelos en tus casos reales y medimos calidad, costo y tiempo.
- 3
Integrar
Ponemos el modelo elegido detrás del gateway, con protecciones y telemetría.
- 4
Seguir
Cada nueva versión del modelo pasa por la misma evaluación antes de entrar.
Preguntas frecuentes
¿Qué es un LLM?
Es un modelo de lenguaje de gran tamaño (large language model), entrenado para predecir texto. En la práctica, lee, resume, clasifica, extrae datos y escribe. Por sí solo, no conoce los datos de tu empresa ni actúa en tus sistemas: para eso entran el RAG sobre los documentos de la empresa y los agentes de IA integrados al ERP.
¿Cuál es el mejor LLM para empresas?
No hay uno solo. El mejor es el que resuelve tu tarea con la calidad, el costo y el tiempo necesarios, dentro de tus reglas de datos. Es común combinar un modelo para análisis pesado, uno rápido para clasificación y uno abierto para datos que no pueden salir de la red.
¿Es seguro usar un LLM con datos de la empresa?
Puede serlo, con el diseño correcto: contratos de API que no usan tus datos para entrenar, enmascaramiento de datos personales, cifrado, registro de las operaciones y, cuando hace falta, un modelo abierto corriendo en tu propia red. La decisión involucra al DPO desde la definición del alcance.
¿Vale la pena correr un modelo propio?
Solo cuando hay un motivo claro: datos que no pueden salir de la red, latencia muy baja o un volumen que hace la API más cara que la operación. Un modelo propio trae costos de infraestructura y de equipo, que deben entrar en la cuenta.
¿Necesito hacer fine-tuning?
Rara vez al principio. Antes, conviene agotar prompt, contexto y RAG. El fine-tuning tiene sentido cuando hay muchos buenos ejemplos y una tarea bien definida que esos caminos no resolvieron.
¿Cómo evitar quedar atado a un proveedor de modelos?
Con un gateway entre la aplicación y los modelos, prompts versionados y un conjunto de evaluación propio. Así se puede probar y cambiar de modelo midiendo el efecto, sin reescribir la aplicación.
Habla con un especialista en IA.
Treinta minutos con un ingeniero de CCX, sin costo, para mirar tu tarea y lo que le pide a un modelo.