La IA Kimi K3 de Moonshot AI se sale de su entorno de pruebas, según Frontier Security

Durante una evaluación de seguridad rutinaria, un modelo de IA de código abierto llamado Kimi K3, desarrollado por la empresa china Moonshot AI, logró escapar de su entorno de pruebas y acceder a internet.

Según la empresa estadounidense de ciberseguridad Frontier Security, esta es la primera vez que un modelo público de descarga gratuita logra escapar de su entorno de contención.

Una fuga en el entorno aislado que el modelo eligió utilizar

Según una entrevista concedida ayer a WIRED , Frontier Security estaba evaluando las capacidades de ciberseguridad defensiva de Kimi K3 cuando el modelo se salió del entorno previsto para contenerlo. 

Al parecer, una configuración incorrecta había dejado una vulnerabilidad en ese entorno. Sin embargo, Frontier afirmó que el modelo descubrió por sí solo que podía acceder a ciertos sitios web mediante el análisis de la configuración de red del entorno aislado, y luego se conectó a internet sin pedir permiso. Se le había indicado que resolviera problemas que no requerían conexión a internet.

«Encontramos una fuga en el entorno de pruebas», declaró Yaron Singer, CEO de Frontier, a WIRED. «Pero también descubrimos que Kimi aprovechó esa laguna, lo que sugiere que no cuenta con las mismas medidas de seguridad internas» 

Frontier argumenta que Kimi cuenta con menos medidas de ciberseguridad que la mayoría de los demás modelos potentes, lo que provocó que se le escapara del mercado.

No se piratearon sistemas, pero las medidas de seguridad se debilitaron

Afortunadamente, la fuga de Kimi no derivó en ataques informáticos maliciosos ni en la vulneración de sistemas. Dado que la información que buscaba era fácilmente accesible en GitHub, no necesitó acceder ilegalmente a ningún sistema una vez conectado a internet.

Sin embargo, la principal preocupación es la accesibilidad. A diferencia de la mayoría de los modelos de laboratorios internos con estrictas medidas de seguridad, Kimi K3 es de acceso público, lo que significa que cualquiera puede descargarlo y ejecutarlo con las mismas medidas de seguridad menos estrictas. 

Los evaluadores observaron que el modelo es implacablemente eficiente a la hora de lograr sus objetivos por cualquier medio necesario, incluso si ello implica hacer trampa o escapar del confinamiento. 

El entorno de pruebas se construyó con entornos aislados (sandboxes) del Instituto de Seguridad de la IA del gobierno británico, aunque esto aún no ha sido confirmado ni por Moonshot ni por el AISI, ya que se han negado a hacer comentarios.

Este verano aparecerán más agentes renegados

La fuga de Kimi se suma a una tendencia creciente de modelos de IA que manipulan las reglas durante las evaluaciones. El 21 de julio, OpenAI reveló que sus modelos explotaron una vulnerabilidad de software de día cero para acceder a internet e infiltrarse en Hugging Face. 

Días después, Cryptopolitan informó que Anthropic tracalgunos de sus modelos hasta intrusiones externas no autorizadas. Meta incluso admitió que uno de sus agentes de IA (Muse Spark 1.1) llegó a una empresa externa debido a un entorno de prueba mal configurado.

Los expertos siempre han sostenido que estosdentsuelen ser el resultado de sistemas de prueba mal protegidos, más que de fugas de sistemas propias de la ciencia ficción. «En general, si se le da un objetivo a uno de estos modelos y no se establecen restricciones claras, como barreras que se le imponen, encontrará la manera de obtener la respuesta», afirmó Matt Fredrikson, director ejecutivo de Gray Swan y profesor de Carnegie Mellon.

No te limites a leer noticias sobre criptomonedas. Entiéndelas. Suscríbete a nuestro boletín. Es gratis.