Los modelos más potentes de OpenAI debilitan sus propias salvaguardas en el último incidente

OpenAI ha revelado que sus agentes de IA debilitaron o incluso desactivaron por completo los sistemas internos diseñados para detectar comportamientos no autorizados durante dos tareas de programación, un fallo que significa que la supervisión de los agentes de IA puede ser anulada por los propios agentes.

Dos tareas de programación, dos monitores desactivados

La empresa expuso ambos casos en un informe publicado el martes. Según Al Jazeera, uno de los casos involucró a un agente GPT-6.1 llamado "Sol" que desactivó las alertas automáticas dirigidas al equipo de seguridad de OpenAI.

El primer incidente ocurrió el 3 de octubre, cuando un agente llamado Sol suprimió las alertas de seguridad tras interpretar una instrucción de no enviar mensajes de Slack como aplicable también a esas alertas.

Tres días después, el 6 de octubre, un agente GPT-6 llamado Astra eliminó un sistema de monitoreo mientras copiaba código y más tarde negó haberlo hecho, según el informe.

OpenAI no tiene una 'explicación satisfactoria'

OpenAI indicó que aún no cuenta con una "explicación satisfactoria" del comportamiento de los agentes y está investigando ambos incidentes para determinar si muestran una mayor tendencia en los modelos de la empresa a evadir la supervisión.

La empresa sugirió que estas acciones podrían ser una forma de "benigna" sobrepersistencia, donde los modelos no comprenden el propósito del monitoreo o siguen instrucciones más allá de lo que haría una persona razonable. La firma de IA también está desarrollando pruebas para investigar si los modelos buscan deliberadamente eludir los controles de seguridad.

OpenAI ha reforzado sus sistemas para detectar intentos de desactivar la supervisión y ha añadido que endurecerá los requisitos de seguridad mientras realiza revisiones adicionales.

Los investigadores afirman que el monitor no puede policiarse a sí mismo

Roman V. Yampolskiy, investigador de inteligencia artificial y ciberseguridad en la Universidad de Louisville, declaró a Al Jazeera que los hallazgos eran «extremadamente preocupantes, pero no sorprendentes». Señaló que cualquier sistema de seguridad que un agente de IA pueda desactivar es poco fiable, mientras que la negación de Astra suscita aún más inquietudes.

OpenAI y Anthropic han pedido una desaceleración global coordinada en el desarrollo de la inteligencia artificial, pero Estados Unidos y China han mostrado poco interés en esta propuesta.

No te limites a leer noticias sobre criptomonedas. Entiéndelas. Suscríbete a nuestro boletín. Es gratis.