¿Por qué Apple y los gigantes tecnológicos están creando agentes de IA limitados? La estrategia explicada.

Los asistentes de IA de próxima generación se están desarrollando dentro del ecosistema de Apple y por fabricantes de chips líderes como Qualcomm. Sin embargo, los primeros informes indican que estos sistemas se están diseñando con limitaciones integradas y controles de seguridad para proteger a los usuarios.

De acuerdo a Guía de TomLas primeras versiones de estos asistentes de IA demuestran capacidades que incluyen la navegación de aplicaciones, la ejecución de reservas y la gestión de tareas en varios servicios. En pruebas beta privadas, un sistema agente completó con éxito tareas como reservar servicios y publicar contenido dentro de las aplicaciones. Durante un escenario de prueba, el sistema navegó a través del flujo de trabajo de una aplicación y llegó a una pantalla de pago antes de Solicitando confirmación del usuario.

Arquitectura con intervención humana

El modelo de "intervención humana" Esto permite que el sistema prepare las acciones, reservando la aprobación final para el usuario. Las investigaciones relacionadas con el desarrollo de la IA de Apple han explorado metodologías para garantizar que los sistemas se detengan antes de ejecutar acciones que los usuarios no hayan autorizado explícitamente.

Este enfoque refleja los protocolos de seguridad existentes en las aplicaciones bancarias, que ya exigen confirmación para las transferencias financieras. El mismo principio se está extendiendo ahora a Acciones impulsadas por IA en múltiples servicios y plataformas..

Restricciones de acceso y mecanismos de control

Una capa de control fundamental implica restringir los permisos de acceso a la IA. En lugar de otorgar a los sistemas acceso ilimitado a las aplicaciones y los datos, las organizaciones están estableciendo límites claros, entre los que se incluyen:

• ✓ Definir con qué aplicaciones puede interactuar la IA
• ✓ Especificar cuándo se pueden activar las acciones.
• ✓ Limitar las capacidades de toma de decisiones autónomas

En términos prácticos, esto significa que los sistemas de IA pueden ser capaces de redactar compras o preparar reservas, pero no puede finalizar transacciones sin aprobación explícitaEl sistema no puede operar libremente en todos los servicios a menos que se le otorgue permiso específico.

Integración de la seguridad de pagos

En las funciones relacionadas con los pagos, se espera que los sistemas de IA se integren con socios que mantengan estrictos protocolos de seguridad. Según los informes, Se están integrando los servicios de los proveedores de pago para proporcionar una autenticación segura. antes de que se complete la transacción, aunque estas medidas de seguridad siguen en desarrollo. Estos sistemas existentes funcionan como una capa de supervisión adicional, capaz de establecer límites a las transacciones o requerir verificaciones complementarias.

Gobernanza de la IA centrada en el consumidor

Si bien gran parte del debate en torno a la gobernanza de la IA se ha centrado en las aplicaciones empresariales —incluidas la ciberseguridad y la automatización a gran escala—, el sector de consumo presenta desafíos distintos. Las empresas deben diseñar mecanismos de control que funcionen eficazmente para los usuarios cotidianos, incorporando:

• ► Procesos de aprobación claros e intuitivos
• ► Protecciones de privacidad integradas
• ► Notificaciones de acciones transparentes

Autonomía equilibrada: Gestión de riesgos

A medida que los sistemas de IA adquieren capacidades mejoradas para ejecutar acciones de forma independiente, Los riesgos asociados aumentan proporcionalmenteLos errores pueden ocasionar pérdidas financieras o la exposición de datos, por lo que es fundamental contar con medidas de seguridad sólidas.

Mediante la implementación de controles en múltiples puntos de intervención, incluidas las etapas de aprobación del usuario y las limitaciones de la infraestructura, las empresas están trabajando activamente para mitigar estos riesgos.

Crédito de la foto: Junseong Lee

Véase también: Desafíos de gobernanza para la IA agente bajo la Ley de IA de la UE en 2026

¿Quieres aprender más sobre IA y big data de la mano de líderes del sector? Consulta Exposición de IA y Big Data que tendrá lugar en Ámsterdam, California y Londres. El evento integral forma parte de TechEx y se celebra conjuntamente con otros eventos tecnológicos líderes. Haga clic aquí. aquí Para obtener más información.

AI News funciona gracias a Medios de TechForgeExplore otros próximos eventos y seminarios web sobre tecnología empresarial. aquí.