Los clientes no conversan en formatos limpios. Envían una nota de voz desde la calle, una foto borrosa del producto, una captura de pantalla y una frase: “¿tienen este?”. Un agente que solo procesa texto deja trabajo crítico al equipo.
La IA multimodal convierte esos mensajes en contexto, pero no debe confundir reconocimiento con certeza.
Flujo por modalidad
| Entrada | Procesamiento | Acción posible |
|---|---|---|
| Nota de voz | Transcripción + detección de intención | Responder o crear tarea |
| Imagen de producto | Visión + búsqueda de catálogo | Mostrar coincidencias |
| Captura de error | Extracción de texto + clasificación | Abrir soporte |
| Documento | Extracción segura + reglas | Validar requisitos |
| Catálogo | Datos estructurados | Recomendar y consultar inventario |
Notas de voz
Una transcripción puede omitir nombres, números o negaciones. Antes de ejecutar una acción sensible, el agente debe confirmar el dato crítico.
| Riesgo | Control |
|---|---|
| Ruido | Indicar que una parte no se entendió |
| Número mal transcrito | Repetir y pedir confirmación |
| Idioma mezclado | Detectar idioma por segmento |
| Mensaje largo | Resumir y conservar transcripción |
| Dato sensible | Aplicar política de tratamiento |
Meta anunció en 2025 la expansión de opciones de voz y llamadas para empresas dentro de WhatsApp Business Platform, señalando una evolución más allá del texto. Consulta el anuncio oficial.
Imágenes
La visión puede identificar características visibles, pero debe buscar la referencia en un catálogo. Una respuesta responsable distingue:
- “Parece un modelo de la línea X”.
- “El catálogo confirma que la referencia es X-204”.
- “El inventario informa tres unidades”.
Solo las dos últimas afirmaciones provienen de sistemas verificables.
Catálogos como datos, no como fotografías
Un catálogo útil para IA contiene SKU, nombre, variantes, precio vigente, inventario, compatibilidad, imágenes y región.
| Campo | Uso conversacional |
|---|---|
| SKU | Identidad estable |
| Variante | Talla, color o capacidad |
| Precio | Cotización vigente |
| Stock | Disponibilidad real |
| Compatibilidad | Evitar recomendación incorrecta |
| Enlace | Facilitar compra |
En ecommerce por WhatsApp, la combinación de catálogo, inventario y conversación permite recuperar carritos sin inventar disponibilidad.
Diseño de una recomendación multimodal
- Describe brevemente lo reconocido.
- Pide aclaración si existen varias coincidencias.
- Busca en catálogo estructurado.
- Consulta inventario.
- Presenta una o dos opciones con diferencias.
- Confirma antes de crear pedido o pago.
Privacidad y seguridad
Una imagen puede incluir rostros, direcciones o documentos. Una nota puede contener información sensible. Define retención, acceso y eliminación. La política de WhatsApp Business prohíbe solicitar determinados identificadores confidenciales y exige cumplir las leyes aplicables.
También valida tipo, tamaño y origen de archivos antes de procesarlos. No confíes en la extensión enviada por el cliente.
Métricas multimodales
| Métrica | Qué revela |
|---|---|
| Transcripción confirmada | Calidad en datos críticos |
| Coincidencia de catálogo | Precisión de búsqueda |
| Correcciones del usuario | Error percibido |
| Acción completada | Valor operacional |
| Handoff multimodal | Casos que requieren revisión |
Conclusión
La multimodalidad acerca la automatización a la conversación real. La IA puede transcribir, interpretar y buscar; los sistemas del negocio deben confirmar identidad, precio, stock y resultado.
Conoce cómo evitar alucinaciones y cómo aplicar un agente de IA para WhatsApp a tu operación.