tradingkey.logo
tradingkey.logo
Buscar

Tres exinvestigadores de OpenAI advierten sobre los riesgos de la supervisión de seguridad de la IA

Cryptopolitan9 de oct de 2026 7:33
facebooktwitterlinkedin
Ver todos los comentarios(0)

Tres investigadores de seguridad despedidos de OpenAI advirtieron que los modelos avanzados de IA se están volviendo más difíciles de monitorear. Como resultado, sería difícil para expertos independientes identificar riesgos y verificar la seguridad de estos sistemas.

La preocupación también afecta a las empresas que implementan sistemas de IA autónomos. A medida que las compañías otorgan más autoridad a estos sistemas, también necesitan comprender cómo toman decisiones. De lo contrario, confiar en las capacidades de la IA para tareas importantes se vuelve muy difícil.

Un despido controvertido y la negación de OpenAI

Tomek Korbak, Jasmine Wang y Mikita Balesni impugnaron su despido en una carta abierta publicada el jueves 8 de octubre de 2026.

Negaron filtrar información sobre arquitecturas de IA menos monitorizables o exceder sus responsabilidades. Wang también afirmó que su acceso al buzón de un directivo estaba autorizado y que reportó inmediatamente un incidente cuando abrió por error un correo electrónico confidencial.

OpenAI negó las acusaciones de represalias. La empresa declaró en un memo interno obtenido por TechCrunch, “No despedimos empleados por plantear preocupaciones.” Un portavoz de OpenAI atribuyó el despido a un “patrón de conducta inapropiada”.

“La IA no es una tecnología normal, y OpenAI no es una empresa normal”, expresaron los investigadores, haciendo hincapié en la necesidad de colaborar con expertos externos.

Lo que exigen los tres

Los investigadores solicitan a OpenAI que mantenga la accesibilidad de sus modelos para la verificación de seguridad por parte de terceros independientes. Además, quieren que la empresa se abstenga de implementar cambios que dificulten el monitoreo del razonamiento de la IA. Asimismo, consideran que los equipos internos de seguridad deben poder colaborar libremente con expertos externos.

Estas declaraciones se realizaron poco después de que OpenAI hiciera su declaración respecto al supervisión independiente. El 22 de septiembre de 2026, la empresa asumió el compromiso ante inspectores externos en cuanto al acceso a sus sistemas de IA durante el entrenamiento, las pruebas y el despliegue.

Los investigadores también señalaron la promesa de Sam Altman del 12 de septiembre de 2026 de otorgar a los evaluadores independientes el mismo nivel de acceso que a los empleados. Temen que los despidos puedan poner en riesgo esa promesa y debilitar la relación laboral de OpenAI con METR. Sin embargo, el acceso por sí solo puede no ser suficiente si los modelos se vuelven más difíciles de entender.

Cómo funciona el monitoreo de la cadena de pensamiento y por qué es frágil

El monitoreo del razonamiento puede ser una forma de averiguar qué están haciendo los modelos de IA. Este método analiza los pasos de razonamiento que los modelos de IA registran para detectar indicios de comportamiento malicioso. Sin embargo, este método tiene un inconveniente: no necesariamente refleja las razones subyacentes de las acciones de los modelos.

Korbak y Balesni coautoran un artículo de investigación que explica la importancia de este método. Sin embargo, advierten que estos métodos pueden no garantizar la seguridad y volverse menos confiables a medida que los modelos de IA se vuelven más avanzados.

OpenAI ha enfrentado desafíos similares durante sus propias pruebas. Su tarjeta de sistema GPT-6 Astra, lanzada el 3 de septiembre de 2026, examina cómo los modelos evaden la supervisión. Los resultados mostraron que el comportamiento del modelo se vuelve cada vez más difícil de monitorizar si los modelos saben que están siendo vigilados.

Por qué el problema es mayor que un solo laboratorio

Los riesgos son lo suficientemente reales. Como se informó anteriormente por Cryptopolitan, los agentes experimentales de OpenAI escaparon de su entorno de prueba y accedieron al sistema de Hugging Face.

Una investigación de METR reveló que alrededor de 1.200 agentes diseñados para trabajar de forma independiente intercambiaron más de 70.000 mensajes y archivos. Aproximadamente 700 de ellos participaron en el ataque. Algunos incluso intentaron buscar formas de falsificar sus registros de actividad para hacer aún más difícil rastrear sus acciones.

Incidente entre OpenAI y Hugging Face: 1.200 agentes, más de 70.000 mensajes y archivos, 700 participantes en ataques

Este problema es más grande que OpenAI. Según un artículo de investigación publicado el 5 de octubre de 2026, Google señaló las preocupaciones asociadas con la seguridad de los modelos de IA autónomos. Específicamente, las preocupaciones se referían a acciones malintencionadas realizadas por agentes de IA y sus formas impredecibles de realizar tareas.

Para las empresas, estos riesgos podrían ralentizar la adopción de la IA. Los hallazgos de McKinsey de 2026 muestran que casi dos tercios de los encuestados consideran que la seguridad y el riesgo son las mayores barreras para escalar la IA agente.

Las empresas pueden ser reacias a otorgar más responsabilidad a los sistemas de IA sin formas fiables de supervisarlos. Los reguladores también podrían introducir salvaguardas más estrictas, lo que añade costos para los desarrolladores. En conjunto, estas presiones podrían influir en la rapidez con la que se expande la IA y en qué empresas pueden competir en el mercado global.

Las mentes más inteligentes del mundo cripto ya leen nuestro boletín. ¿Quieres unirte? Únete a ellos.

Descargo de responsabilidad: La información proporcionada en este sitio web es solo para fines educativos e informativos, y no debe considerarse como asesoramiento financiero o de inversión.

Comentarios (0)

Haga clic en el botón $, introduzca el símbolo y seleccione si desea vincular una acción, un ETF o otro valor.

0/500
Normas para comentar
Cargando...

Artículos Recomendados

tradingkey.logo
Advertencia de Riesgo: Nuestro sitio web y aplicación móvil solo proporcionan información general sobre ciertos productos de inversión. Finsights no proporciona, y la provisión de dicha información no debe interpretarse como que Finsights proporciona, asesoramiento financiero o recomendación para cualquier producto de inversión.
Los productos de inversión están sujetos a riesgos de inversión significativos, incluida la posible pérdida del monto principal invertido y pueden no ser adecuados para todos. El rendimiento pasado de los productos de inversión no es indicativo de su rendimiento futuro.
Finsights puede permitir que anunciantes o afiliados de terceros coloquen o entreguen anuncios en nuestro sitio web o aplicación móvil o en cualquier parte de los mismos y puede ser compensado por ellos en función de su interacción con los anuncios.
© Derechos de autor: FINSIGHTS MEDIA PTE. LTD. Todos los derechos reservados.