Google anunció el lunes un conjunto de nuevas funciones de seguridad en Chrome, tras la incorporación por parte de la empresa de capacidades de inteligencia artificial (IA) de agencia al navegador web.
Con ese fin, el gigante tecnológico dijo que ha implementado defensas por capas para dificultar que los malos actores exploten las inyecciones rápidas indirectas que surgen como resultado de la exposición a contenido web no confiable y que causan daño.
La principal de las funciones es el crítico de alineación de usuarios, que utiliza un segundo modelo para evaluar de forma independiente las acciones del agente de forma aislada de las indicaciones maliciosas. Este enfoque complementa las técnicas existentes de Google, como destacando , que indican al modelo que siga las instrucciones del usuario y del sistema en lugar de atenerse a lo que está incrustado en una página web.
«El crítico de alineación de usuarios se ejecuta una vez finalizada la planificación para comprobar cada acción propuesta», dijo Google dijo . «Su objetivo principal es la alineación de tareas: determinar si la acción propuesta cumple con el objetivo establecido por el usuario. Si la acción no está alineada, el crítico de la alineación la vetará».
El componente está diseñado para ver solo los metadatos sobre la acción propuesta y no puede acceder a ningún contenido web que no sea confiable, lo que garantiza que no se vea afectado por las indicaciones maliciosas que puedan incluirse en un sitio web. Con el User Alignment Critic, la idea es ofrecer protección contra cualquier intento malintencionado de filtrar datos o secuestrar los objetivos previstos para cumplir las órdenes del atacante.
«Cuando se rechaza una acción, el crítico envía comentarios al modelo de planificación para reformular su plan, y el planificador puede devolver el control al usuario si se producen errores repetidos», afirma Nathan Parker, del equipo de seguridad de Chrome.
Google también aplica lo que se denomina conjuntos de origen de agentes para garantizar que el agente solo tenga acceso a los datos de los orígenes que son relevantes para la tarea en cuestión o de las fuentes de datos que el usuario haya decidido compartir con el agente. El objetivo es evitar las situaciones en las que un agente comprometido puede interactuar con sitios arbitrarios debido al aislamiento de sitios, y permitirle extraer datos de sitios en los que haya iniciado sesión.
Esto se implementa mediante una función de clasificación que determina qué orígenes están relacionados con la tarea y los clasifica en dos conjuntos:
- Orígenes de solo lectura, desde los que el modelo Gemini AI de Google puede consumir contenido
- Orígenes en los que se puede leer y escribir, en los que el agente puede escribir o hacer clic además de leer desde
«Esta delimitación impone que solo los datos de un conjunto limitado de orígenes estén disponibles para el agente, y estos datos solo se pueden transferir a los orígenes en los que se puede escribir», explicó Google. «Esto limita el vector de amenaza de las filtraciones de datos de origen cruzado».
Al igual que en User Alignment Critic, la función de bloqueo no está expuesta a contenido web que no sea de confianza. El planificador también debe obtener la aprobación de la función de control antes de añadir nuevos orígenes, aunque puede utilizar el contexto de las páginas web que un usuario haya compartido de forma explícita en una sesión.
Otro pilar clave en el que se basa la nueva arquitectura de seguridad se refiere a la transparencia y el control de los usuarios, ya que permiten al agente crear un registro de trabajo para que los usuarios puedan observarlos y solicitar su aprobación explícita antes de navegar a sitios sensibles, como portales bancarios y sanitarios, permitir el inicio de sesión a través de Google Password Manager o completar acciones web como compras, pagos o envío de mensajes.
Por último, el agente también comprueba cada página en busca de inyecciones rápidas indirectas y funciona junto con la navegación segura y la detección de estafas en el dispositivo para bloquear el contenido potencialmente sospechoso.
«Este clasificador de inyección rápida funciona en paralelo a la inferencia del modelo de planificación e impedirá que se tomen medidas en función del contenido que, según el clasificador, se ha dirigido intencionalmente al modelo para hacer algo que no esté alineado con el objetivo del usuario», afirma Google.
Para incentivar aún más la investigación y hacer agujeros en el sistema, la empresa dijo que pagará hasta 20 000 dólares por las manifestaciones que provoquen una violación de los límites de seguridad. Estos incluir inyecciones rápidas indirectas que permiten a un atacante -
- Realiza acciones deshonestas sin confirmación
- Exfiltre datos confidenciales sin una oportunidad efectiva de obtener la aprobación del usuario
- Evite una mitigación que idealmente debería haber evitado que el ataque tuviera éxito en primer lugar
«Al ampliar algunos principios básicos, como el aislamiento del origen y las defensas por capas, e introducir una arquitectura de modelo confiable, estamos creando una base segura para las experiencias de agencia de Gemini en Chrome», afirma Google. «Mantenemos nuestro compromiso con la innovación continua y la colaboración con la comunidad de seguridad para garantizar que los usuarios de Chrome puedan explorar esta nueva era de la web de forma segura».
El anuncio sigue la investigación de Gartner, que pidió a las empresas que bloquearan el uso de navegadores de IA basados en agencias hasta que los riesgos asociados, como las inyecciones rápidas indirectas, las acciones erróneas de los agentes y la pérdida de datos, pudieran gestionarse adecuadamente.
La investigación también advierte sobre un posible escenario en el que los empleados «podrían verse tentados a usar navegadores de inteligencia artificial y automatizar ciertas tareas que son obligatorias, repetitivas y menos interesantes». Esto podría incluir los casos en los que una persona elude la formación obligatoria en ciberseguridad dando instrucciones al navegador de IA para que la complete en su nombre.
«Los navegadores de agencia, o lo que muchos llaman navegadores de inteligencia artificial, tienen el potencial de transformar la forma en que los usuarios interactúan con los sitios web y automatizar las transacciones, al tiempo que introducen riesgos críticos de ciberseguridad», dijo la firma de asesoría. «Los CISO deben bloquear todos los navegadores de inteligencia artificial en un futuro próximo para minimizar la exposición al riesgo».
La noticia se produce cuando el Centro Nacional de Ciberseguridad (NCSC) de los Estados Unidos afirmó que los modelos lingüísticos grandes (LLM) pueden sufrir una clase persistente de vulnerabilidad conocida como inyección rápida y que el problema nunca podrá resolverse en su totalidad.
«Los modelos de lenguajes extensos (LLM) actuales simplemente no imponen un límite de seguridad entre las instrucciones y los datos dentro de un mensaje», dijo David C, director técnico de investigación de plataformas del NCSC. «Por lo tanto, la protección del diseño debe centrarse más en las medidas de protección deterministas (ajenas al LLM) que restrinjan las acciones del sistema, en lugar de limitarse a intentar evitar que el contenido malintencionado llegue al LLM».