Anthropic permite a METR publicar hallazgos de seguridad sin su aprobación

Anthropic ya no puede bloquear los hallazgos de seguridad que METR publica sobre ella.

La empresa dijo el jueves que había otorgado a seis investigadores incrustados de la organización benéfica casi el mismo acceso que su propio personal.

Seis investigadores integrados reciben hardware y herramientas internas de la empresa

METR evalúa modelos de IA de vanguardia. Su equipo cuenta ahora con prácticamente el mismo hardware, espacio de trabajo y herramientas internas que utilizan los equipos propios de evaluación de riesgos de Anthropic.

El personal de Anthropic recibe instrucciones de proporcionar a los evaluadores la misma cantidad de información que se daría a otro empleado que trabaje en riesgos de alineación. METR evaluará por su cuenta los niveles de riesgo, incidentes y prácticas de Anthropic y luego publicará los resultados.

Existen algunas categorías predefinidas en las que Anthropic puede solicitar la supresión de información: datos de clientes, material protegido por el privilegio abogado-cliente y detalles sobre las arquitecturas de sus modelos.

METR también tiene derecho a declarar públicamente si una supresión fue necesaria, siempre que no revele qué contenido fue eliminado.

Anthropic describe esta configuración en términos de una brecha informativa. Los externos no conocen casi tanto como el propio laboratorio sobre sus sistemas, y una divulgación completa podría beneficiar a actores maliciosos o filtrar datos privados de entrenamiento y cómputo.

La empresa dijo que la supervisión bancaria funciona de la misma manera. Los reguladores colocan examinadores residentes dentro de los bancos más grandes para que el comportamiento riesgoso sea detectado por un tercero antes de llegar al público.

El equipo METR trabaja bajo acuerdos vinculantes. Otros investigadores de METR, incluidos aquellos que trabajan en proyectos separados para Anthropic, están aislados de su trabajo.

SecureBio comienza en el primer nivel de tres evaluadores

Anthropic está construyendo tres niveles de acceso, y METR es el único evaluador hasta ahora en la cima de ellos. Los evaluadores de primer nivel realizan revisiones específicas y necesitan la aprobación de Anthropic para publicar.

El segundo nivel tiene más información y puede publicar sin aprobación, sujeto a las mismas categorías de redacción. El tercero añade el acceso integrado, similar al de los empleados, que METR tiene ahora.

SecureBio, un grupo benéfico de bioseguridad, está en el nivel uno. Ha terminado y publicado una revisión piloto de un informe de riesgo anterior y ahora está trabajando a través del capítulo sobre armas químicas y biológicas en el Informe de Riesgo de agosto.

Anthropic también está estableciendo una colaboración con Accenture y Faculty para realizar pruebas de penetración, evaluaciones de alineación y pruebas de salvaguardas. Ya se están llevando a cabo conversaciones iniciales con otros grupos, entre ellos Hugging Face.

Esto es lo que el CEO Dario Amodei prometió en un ensayo que escribió en septiembre, en el que instó a la industria a moderar el desarrollo de frontera. Cryptopolitan informó que Amodei sugirió proporcionar escritorios, credenciales, portátiles y niveles de acceso similares a los del personal que realiza evaluaciones de riesgo a los revisores externos.

Sam Altman, de OpenAI, respaldó la idea en X. «Comprometerse a tener evaluadores independientes con acceso similar al de los empleados es una excelente idea, y nosotros haremos lo mismo», escribió Altman.

Anthropic, Google y OpenAI también han hablado sobre un organismo común de estándares de la industria cuerpo. Los tres, junto con Meta, Nvidia y xAI, han firmado desde entonces el Acuerdo de la Casa Blanca sobre Super Inteligencia, comprometiéndose a trabajar con auditores independientes.

Este acuerdo llega después de una serie de incidentes ocurridos desde finales de agosto, en los que agentes de IA actuaron más allá de sus instrucciones.

No te limites a leer noticias sobre criptomonedas. Entiéndelas. Suscríbete a nuestro boletín. Es gratis.