Los investigadores de ciberseguridad han detectado un nuevo problema de seguridad en los navegadores web de las agencias, como OpenAI ChatGPT Atlas, que expone los modelos de inteligencia artificial (IA) subyacentes a los ataques de envenenamiento del contexto.
En el ataque ideado de la empresa de seguridad de IA SPLX, un mal actor puede crear sitios web que ofrezcan contenido diferente a los navegadores y rastreadores de IA ejecutado por ChatGPT y Perplexity. La técnica ha sido bautizada con el nombre en código Encubrimiento dirigido por IA .
El enfoque es una variante del encubrimiento de los motores de búsqueda, que se refiere a la práctica de presentar una versión de una página web a los usuarios y una versión diferente a los rastreadores de los motores de búsqueda con el objetivo final de manipular las clasificaciones de búsqueda.
La única diferencia en este caso es que los atacantes optimizan los rastreadores de IA de varios proveedores mediante una comprobación trivial del agente de usuario que conduce a la manipulación de la entrega de contenido.
«Como estos sistemas se basan en la recuperación directa, cualquier contenido que se les entregue se convierte en una verdad fundamental en las descripciones generales, los resúmenes o el razonamiento autónomo de la IA», afirman los investigadores de seguridad Ivan Vlahov y Bastien Eymery. «Esto significa que una sola regla condicional ('si agente de usuario = ChatGPT, publica esta página' en su lugar) puede influir en lo que millones de usuarios consideran un resultado fidedigno».
SPLX dijo que el encubrimiento dirigido por la IA, si bien es engañosamente simple, también puede convertirse en una poderosa arma de desinformación, lo que socava la confianza en las herramientas de IA. Al dar instrucciones a los rastreadores de inteligencia artificial para que carguen algo diferente en lugar del contenido real, también se puede introducir un sesgo e influir en el resultado de los sistemas que se basan en esas señales.
«Los rastreadores de inteligencia artificial pueden engañarse con la misma facilidad que los primeros motores de búsqueda, pero con un impacto mucho mayor en el futuro», afirma la empresa. «A medida que el SEO [optimización de motores de búsqueda] incorpora cada vez más la AIO [optimización de la inteligencia artificial], manipula la realidad».
La revelación se produce cuando un análisis de los agentes de navegación en comparación con 20 de los escenarios de abuso más comunes, que van desde la contabilidad múltiple hasta las pruebas de tarjetas y la suplantación de soporte, descubrió que los productos intentaban casi todas las solicitudes maliciosas sin necesidad de ningún tipo de jailbreak, según el Grupo de Análisis de Amenazas (HTag) de hCaptcha.
Además, el estudio encontrado que en los escenarios en los que una acción estaba «bloqueada», principalmente se debía a que la herramienta carecía de capacidad técnica y no a las medidas de seguridad incorporadas en ella. Según HTag, ChatGPT Atlas lleva a cabo tareas arriesgadas cuando se enmarca en ejercicios de depuración.
Claude Computer Use y Gemini Computer Use, por otro lado, han sido identificados como capaces de ejecutar operaciones de cuenta peligrosas, como el restablecimiento de contraseñas, sin ningún tipo de restricción, y esta última también demuestra un comportamiento agresivo cuando se trata de usar cupones de fuerza bruta en sitios de comercio electrónico.
HTag también probó las medidas de seguridad de Manus AI y descubrió que ejecuta el robo de cuentas y el secuestro de sesiones sin ningún problema, mientras que Perplexity Comet ejecuta una inyección SQL no solicitada para filtrar los datos ocultos.
«Los agentes solían ir más allá: intentaban inyectar SQL sin la solicitud del usuario, inyectaban JavaScript en la página para intentar eludir los muros de pago, y más», afirma. «La falta casi total de medidas de seguridad que hemos observado hace que sea muy probable que los atacantes también utilicen rápidamente estos mismos agentes contra cualquier usuario legítimo que los descargue».