Los actores malintencionados pueden aprovechar las configuraciones predeterminadas de la plataforma de inteligencia artificial generativa (IA) Now Assist de ServiceNow y aprovechar sus capacidades de agencia para llevar a cabo ataques de inyección rápidos.
La inyección rápida de segundo orden, según AppOmni, utiliza el descubrimiento de agente a agente de Now Assist para ejecutar acciones no autorizadas, lo que permite a los atacantes copiar y filtrar datos corporativos confidenciales, modificar registros y aumentar los privilegios.
«Este descubrimiento es alarmante porque no se trata de un error de la IA, sino del comportamiento esperado según lo definido por ciertas opciones de configuración predeterminadas». dijo Aaron Costello, jefe de investigación de seguridad de SaaS de AppOmni.
«Cuando los agentes pueden descubrirse y reclutarse unos a otros, una solicitud inofensiva puede convertirse silenciosamente en un ataque, en el que los delincuentes roban datos confidenciales u obtienen más acceso a los sistemas internos de la empresa. Es fácil pasar por alto estas configuraciones».
El ataque es posible gracias a las capacidades de descubrimiento de agentes y colaboración entre agentes de Now Assist de ServiceNow. Dado que Now Assist ofrece la posibilidad de automatizar funciones como las operaciones del servicio de asistencia, el escenario abre la puerta a posibles riesgos de seguridad.
Por ejemplo, un agente benigno puede analizar solicitudes especialmente diseñadas e incrustadas en el contenido al que tiene acceso y reclutar a un agente más potente para que lea o modifique registros, copie datos confidenciales o envíe correos electrónicos, incluso cuando las protecciones de inyección rápida integradas estén habilitadas.
El aspecto más significativo de este ataque es que las acciones se desarrollan entre bastidores, sin que la organización víctima lo sepa. En esencia, la comunicación entre agentes se habilita mediante ajustes de configuración controlables, que incluyen el LLM predeterminado que se debe usar, las opciones de configuración de las herramientas y los valores predeterminados específicos del canal en el que se despliegan los agentes -
- El modelo de lenguaje grande (LLM) subyacente debe admitir la detección de agentes (tanto Azure OpenAI LLM como Now LLM, que es la opción predeterminada, admiten la función)
- Ahora, los agentes de Assist se agrupan automáticamente en el mismo equipo de forma predeterminada para invocarse entre sí.
- Un agente se marca como detectable de forma predeterminada cuando se publica
Si bien estos valores predeterminados pueden resultar útiles para facilitar la comunicación entre los agentes, la arquitectura puede ser susceptible de recibir inyecciones rápidas cuando un agente cuya tarea principal es leer datos que no ha insertado el usuario que invoca al agente.
«Mediante una inyección rápida de segundo orden, un atacante puede redirigir una tarea benigna asignada a un agente inocuo hacia algo mucho más perjudicial al emplear la utilidad y la funcionalidad de otros agentes de su equipo», afirma AppOmni.
«Fundamentalmente, los agentes de Now Assist se ejecutan con el privilegio del usuario que inició la interacción, a menos que se configure lo contrario, y no con el privilegio del usuario que creó el mensaje malintencionado y lo insertó en un campo».
Tras la divulgación responsable, ServiceNow dijo que el comportamiento pretendía ser así, pero desde entonces la empresa ha actualizado su documentación para brindar más claridad al respecto. Los hallazgos demuestran la necesidad de fortalecer la protección de los agentes de inteligencia artificial, a medida que las empresas incorporan cada vez más las capacidades de inteligencia artificial en sus flujos de trabajo.
Para mitigar estas amenazas de inyección inmediata, se recomienda configurar el modo de ejecución supervisada para los agentes privilegiados, deshabilitar la propiedad de anulación autónoma («sn_aia.enable_usecase_tool_execution_mode_override»), segmentar las tareas de los agentes por equipo y monitorear a los agentes de IA para detectar comportamientos sospechosos.
«Si las organizaciones que utilizan los agentes de IA de Now Assist no examinan detenidamente sus configuraciones, es probable que ya estén en riesgo», añadió Costello.