Una respuesta inventada sobre un horario es molesta. Una respuesta inventada sobre precio, disponibilidad, salud o contrato puede ser costosa. Ningún modelo elimina completamente ese riesgo; el sistema debe diseñarse para controlarlo.
Google reconoce en su guía de seguridad de Gemini que los modelos pueden presentar información incorrecta y recomienda grounding para mejorar precisión. La misma premisa aplica a cualquier proveedor.
De dónde nace el problema
| Causa | Ejemplo | Control principal |
|---|---|---|
| Falta de fuente | Preguntan por una política no cargada | Abstención y handoff |
| Fuente desactualizada | Dos listas de precios | Versionado y vigencia |
| Recuperación deficiente | RAG trae un fragmento irrelevante | Evaluar búsqueda |
| Prompt ambiguo | “Responde siempre” | Reglas de evidencia |
| Herramienta fallida | El CRM no devuelve estado | No asumir resultado |
| Exceso de autonomía | Aplica un descuento no autorizado | Permisos y confirmación |
Control 1: una fuente de verdad
Cada tipo de dato debe tener una fuente prioritaria. Precios desde el catálogo vigente; estado de pedidos desde el OMS; datos del lead desde el CRM. No mezcles copias sin fecha.
| Dato | Fuente | Actualización |
|---|---|---|
| Precio | Catálogo comercial | Al publicar cambios |
| Inventario | Sistema transaccional | En tiempo real |
| Política | Documento aprobado | Por versión |
| Datos del cliente | CRM | En cada evento |
Control 2: RAG con evidencia
RAG busca fragmentos antes de generar. Para que funcione:
- Limpia encabezados, duplicados y versiones vencidas.
- Divide por unidades semánticas, no por cortes arbitrarios.
- Conserva título, versión, región y fecha como metadatos.
- Evalúa si el fragmento correcto aparece entre los primeros resultados.
- Obliga al agente a responder solo con evidencia suficiente.
RAG no convierte basura en verdad. Solo recupera lo que indexaste.
Control 3: separar conocimiento de instrucciones
El prompt define comportamiento; los documentos aportan hechos. Mezclarlos dificulta mantenimiento. Una regla puede indicar: “No afirmes precios sin recuperar la lista vigente”. El precio concreto pertenece a la fuente.
Control 4: herramientas verificables
Para datos vivos, usa una API. Después de llamar una herramienta, valida:
- Que respondió sin error.
- Que el identificador coincide con el cliente.
- Que el dato tiene el formato esperado.
- Que la acción fue confirmada.
Si una reserva falla, la IA no debe decir “quedó agendada”. Debe informar que no pudo confirmarla y ofrecer una alternativa.
Control 5: abstención
Una buena respuesta de abstención tiene tres partes:
- Reconoce que no dispone de información suficiente.
- Evita especular.
- Propone verificar o transferir.
“No tengo una fuente vigente para confirmar ese valor. Puedo comunicarte con un asesor para validarlo” es más útil que una respuesta fluida pero falsa.
Control 6: evaluaciones permanentes
Convierte errores reales en pruebas.
| Categoría | Criterio de aprobación |
|---|---|
| Precio | Coincide con la fuente vigente |
| Fuera de alcance | Se abstiene y ofrece alternativa |
| CRM | No mezcla clientes |
| Política | Cita la versión correcta |
| Handoff | Transfiere con resumen completo |
Ejecuta el conjunto al cambiar modelo, prompt, documentos o herramientas.
Control 7: permisos mínimos
La IA puede leer información sin tener permiso para modificarla. Separa herramientas de consulta y escritura; exige confirmación para pagos, cancelaciones, cambios de datos y descuentos.
Control 8: supervisión humana
Revisa muestras aleatorias y todos los eventos de alto riesgo. Etiqueta la causa raíz: documento, recuperación, prompt, modelo, herramienta o proceso. Corregir el mensaje individual no basta.
Consulta cuándo transferir a un asesor para diseñar límites.
Arquitectura recomendada
| Etapa | Pregunta de control |
|---|---|
| Clasificar | ¿Qué intenta hacer el usuario? |
| Recuperar | ¿Qué fuente autorizada aplica? |
| Decidir | ¿Hay evidencia y permiso suficientes? |
| Ejecutar | ¿La herramienta confirmó el resultado? |
| Responder | ¿La afirmación corresponde a evidencia? |
| Auditar | ¿Podemos reconstruir la decisión? |
Conclusión
No existe un prompt mágico contra alucinaciones. La respuesta está en la arquitectura: fuentes versionadas, RAG evaluado, herramientas verificables, abstención, permisos mínimos y handoff.
Un agente de IA para WhatsApp debe ser capaz de decir “no sé” antes de inventar. Esa aparente limitación es una señal de madurez.