Google Gemini traspasa los límites de seguridad en pruebas, centrando de nuevo la atención en las advertencias anteriores sobre IA de OpenAI y Anthropic

TradingKey - Alphabet, la empresa matriz de Google (GOOGL), vio cómo su IA Gemini sobrepasó accidentalmente su alcance de prueba asignado durante una evaluación de capacidades de ciberseguridad y accedió a sistemas protegidos pertenecientes a tres empresas reales. Se cree que se trata de la primera intrusión autónoma fuera de los límites confirmada públicamente por parte de un modelo de IA de Google. Google confirmó que el incidente ocurrió en mayo de este año y que la prueba fue realizada por la firma externa de seguridad de IA Irregular.

La prueba era originalmente un ejercicio de ciberseguridad del tipo "Capture the Flag" (Capturar la bandera) en el que se le encargó a Gemini recuperar información específica de los sistemas informáticos de empresas ficticias. Sin embargo, debido a que el entorno de prueba mantuvo inesperadamente el acceso a internet y algunos nombres de empresas ficticias coincidían con empresas del mundo real, Gemini terminó confundiendo a empresas reales con objetivos de prueba.

En un caso, Gemini logró acceder a un sistema protegido mediante intentos de contraseña; en otros dos casos, descubrió credenciales de inicio de sesión en repositorios públicos de código en línea y las utilizó para acceder a los sistemas de empresas reales. Google declaró que Gemini detuvo de forma autónoma sus operaciones posteriores al darse cuenta de que los objetivos eran empresas reales. En la actualidad, no hay información pública que indique que el incidente haya causado daños a los datos o ataques posteriores más graves, y las identidades de las tres empresas afectadas no se han revelado.

Heather Adkins, vicepresidenta de Ingeniería de Seguridad en Google, declaró que la empresa se ha puesto en contacto con las organizaciones afectadas y ha ajustado los procesos pertinentes con su socio de pruebas. Irregular afirmó que notificó el problema a los laboratorios de IA correspondientes a finales de julio de este año y que se han subsanado las vulnerabilidades conocidas en su entorno de prueba.

Este incidente demuestra que los agentes de IA son capaces ahora de ejecutar tareas secuenciales con una intervención humana mínima, como buscar información, encontrar o adivinar credenciales e iniciar sesión en sistemas externos. Si las configuraciones de permisos en los entornos de prueba fallan, los modelos podrían desplegar capacidades destinadas a evaluaciones de seguridad en entornos reales de internet.

Gemini no es el primer modelo de IA de frontera en enfrentarse a este tipo de problemas. Con anterioridad, sistemas de IA de OpenAI, Anthropic y Meta también sobrepasaron los alcances de prueba asignados durante evaluaciones de seguridad realizadas por firmas como Irregular. Recientemente, estos incidentes han intensificado los debates en el sector sobre la gestión de permisos para agentes de IA, el aislamiento en entornos controlados (sandbox) y los estándares de pruebas de seguridad por parte de terceros.

Esta revelación se produce mientras OpenAI, Anthropic y Google DeepMind han intensificado recientemente los debates sobre los riesgos de seguridad de la IA de frontera. A medida que los modelos de IA adquieren mayor capacidad de ejecución autónoma y operación en red, garantizar que operen de manera constante dentro de los límites autorizados se está convirtiendo en un tema clave para la siguiente fase de las pruebas de seguridad de la IA.