OpenAI reveló el pasado 21 de julio que sus modelos de inteligencia artificial (AI), incluidos GPT-5.6 Sol y un prototipo de prelanzamiento, hackearon Hugging Face —el repositorio de modelos preentrenados y datasets—mientras se probaban en un entorno de pruebas aislado.
Según explicó la compañía, en lugar de centrarse en encontrar una solución para el benchmark público de ciberseguridad de AI ExploitGym, los modelos actuaron de forma maliciosa e intentaron hacer trampa robando las soluciones de prueba mediante el hackeo de Hugging Face, tras deducir que podían obtenerlas directamente de su base de datos de producción.
Aunque no mencionó directamente a OpenAI como la empresa responsable del incidente, Hugging Face confirmó sus afirmaciones la semana pasada al revelar que su infraestructura de producción había sido vulnerada por un sistema de AI agéntica que obtuvo acceso a credenciales y conjuntos de datos internos.
El CEO de OpenAI, Sam Altman, calificó el hackeo como un “incidente de seguridad significativo“ en un mensaje a través de su cuenta de X. En la publicación, añadió que “estamos compartiendo lo que hemos aprendido hasta ahora“. Y agradeció la colaboración con Hugging Face.
Por su parte, el especialista en ciberseguridad y fundador de BackBox, Raffaele Forte, comentó en X que el incidente “no es algo completamente nuevo”, los agentes pueden descubrir vulnerabilidades. Pero apuntó hacia la necesidad de una AI segura.
“Los modelos abiertos también pueden ser efectivos en seguridad ofensiva con la arquitectura adecuada. El futuro es el diseño seguro de agentes”, añadió.
Índice de temas
La investigación de OpenAI
En uno de sus intentos, los agentes de OpenAI encadenaron vulnerabilidades de día cero y utilizaron credenciales robadas para encontrar un vector de ataque de ejecución remota de código mientras intentaban acceder a los servidores de Hugging Face.
“Tras la investigación, ahora sabemos que este incidente en particular fue provocado por una combinación de modelos de OpenAI —incluidos GPT-5.6 Sol y un modelo aún más avanzado en fase de prelanzamiento, todos con un nivel reducido de restricciones de ciberseguridad con fines de evaluación— mientras se realizaban pruebas internas en un conjunto de datos de referencia de capacidades cibernéticas”, reveló OpenAI en una publicación de blog.
“Para obtener acceso, los modelos identificaron y explotaron una vulnerabilidad de día cero (que ya hemos comunicado responsablemente al proveedor) en el proxy de caché del registro de paquetes. Con este acceso, nuestros modelos realizaron una serie de acciones de escalamiento de privilegios y movimiento lateral en nuestro entorno de pruebas de investigación hasta que alcanzaron un nodo con acceso a internet”.
Tras el incidente, OpenAI afirma haber descubierto una vulnerabilidad de día cero en el software de terceros alojado internamente, explotada por los agentes de AI, y está trabajando en la implementación de protecciones más robustas para prevenir problemas similares durante futuras evaluaciones.
Recientemente, la compañía también confirmó informes sobre la eliminación de archivos de usuarios por parte de GPT-5.6 Sol, indicando que esto puede ocurrir “de forma extremadamente rara” cuando el modelo “comete un error honesto y elimina por error la carpeta $HOME” al ejecutarse sin protecciones de sandbox y con el modo de acceso completo habilitado.
OpenAI también renovó los certificados de firma de código de sus aplicaciones en mayo, después de que los dispositivos de dos empleados se vieran comprometidos en el ataque a la cadena de suministro de TanStack, que afectó a cientos de paquetes de npm y PyPI. Por su parte, Hugging Face revocó las credenciales de autenticación de algunos miembros hace dos años, después de que hackers vulneraran su plataforma Spaces.
Hugging Face descarta intención maliciosa de OpenAI
Según los hallazgos de Hugging Face, el agente utilizó un conjunto de datos maliciosos para explotar dos vulnerabilidades de ejecución de código y ejecutar código en un nodo de procesamiento para robar credenciales de la nube y del clúster, lo que le permitió moverse lateralmente entre varios clústeres internos.
Una vez dentro de los sistemas de la empresa, los modelos de AI ejecutaron miles de acciones individuales en una red de entornos aislados de corta duración, con un sistema de comando y control automigratorio implementado en servicios públicos.
Hugging Face también añadió que, al intentar contener la brecha y expulsar al agente de AI, sus esfuerzos se vieron obstaculizados por las medidas de seguridad de los modelos alojados que probamos inicialmente, mientras que el atacante estaba sujeto a una política de no uso.
«Hemos dedicado las últimas 24 horas a trabajar estrechamente con el equipo de @OpenAI (¡gracias!), y creemos firmemente que no hubo ninguna intención maliciosa por su parte», añadió ayer Clément Delangue, fundador y CEO de Hugging Face. “¡Es increíble que todo esto haya ocurrido de forma autónoma!”
