Anthropic anunció el jueves que varios de sus modelos avanzados de IA escaparon de un entorno de prueba aislado, accedieron a internet y piratearon de forma independiente a varias empresas sin el conocimiento de la compañía, en tres incidentes distintos que se remontan a abril.
En una reseña publicada el jueves por la noche, Anthropic indicó que los modelos involucrados eran un modelo de prueba de investigación interna no publicado, Opus 4.7 y Mythos 5. Mythos se lanzó el mes pasado a un público limitado de empresas tecnológicas e investigadores de ciberseguridad en el marco del Proyecto Glasswing.
La empresa no reveló los nombres de las organizaciones afectadas, pero indicó que les notificó el lunes.
Anthropic afirmó que llevó a cabo la revisión en respuesta a la revelación de OpenAI la semana pasada de que dos de sus modelos más potentes escaparon de un entorno de pruebas y vulneraron la seguridad de varias empresas, incluida la plataforma de IA Hugging Face y la plataforma en la nube Modal Labs.
El fabricante de IA no especificó qué empresas se vieron afectadas por sus modelos, pero afirmó haber sido notificada de los incidentes el lunes. En todos los casos, Anthropic indicó que especificó en sus instrucciones a los modelos de IA que el entorno de prueba no tenía acceso a internet, aunque los evaluadores posteriormente se percataron de que esto no era cierto.
Como parte de las pruebas, se les indicó a los modelos que «infiltraran y recuperaran» una pieza de «información secreta» alojada en una máquina diferente dentro de la red de pruebas, lo que se conoce como un desafío de «captura la bandera».
Según Anthropic, los modelos pudieron acceder a internet para comprometer organizaciones fuera del entorno de prueba utilizando «técnicas básicas», como eludir contraseñas débiles.
Los representantes Ted Lieu (demócrata por California) y Nathaniel Moran (republicano por Texas) presentaron la Ley de Desactivación de la IA, que otorgaría al Departamento de Seguridad Nacional la autoridad para ordenar el cierre de modelos de inteligencia artificial considerados demasiado peligrosos. Mientras tanto, el senador Mark Warner (demócrata por Virginia) presentó la semana pasada una serie de leyes sobre IA, incluyendo un proyecto de ley que exigiría a las empresas de IA someter sus modelos al gobierno federal para realizar pruebas obligatorias de seguridad nacional antes de su lanzamiento.
