OpenAI reveló el pasado 21 de julio que sus modelos de inteligencia artificial (AI), incluidos GPT-5.6 Sol y un prototipo de prelanzamiento, hackearon Hugging Face —el repositorio de modelos preentrenados y datasets— mientras se probaban en un entorno de pruebas aislado.
Según explicó la compañía, en lugar de centrarse en encontrar una solución para el benchmark público de ciberseguridad de AI, ExploitGym, los modelos actuaron de forma maliciosa e intentaron hacer trampa robando las soluciones de prueba mediante el hackeo de Hugging Face, tras deducir que podían obtenerlas directamente de su base de datos de producción.
Aunque no mencionó directamente a OpenAI como la empresa responsable del incidente, Hugging Face confirmó sus afirmaciones la semana pasada al revelar que su infraestructura de producción había sido vulnerada por un sistema de AI agéntica que obtuvo acceso a credenciales y conjuntos de datos internos.
El CEO de OpenAI, Sam Altman, calificó el 21 de julio el hackeo como un “incidente de seguridad significativo“ en un mensaje a través de su cuenta de X. En la publicación, añadió que “estamos compartiendo lo que hemos aprendido hasta ahora“. Y agradeció la colaboración con Hugging Face.
Por su parte, el especialista en ciberseguridad y fundador de BackBox, Raffaele Forte, comentó en X que el incidente “no es algo completamente nuevo”, los agentes pueden descubrir vulnerabilidades. Pero apuntó hacia la necesidad de una AI segura. “Los modelos abiertos también pueden ser efectivos en seguridad ofensiva con la arquitectura adecuada. El futuro es el diseño seguro de agentes”, añadió.
Índice de temas
Agentes de OpenAI explotan vulnerabilidad de día cero
La startup de AI explicó que tras su investigación “sabemos que este incidente en particular fue provocado por una combinación de modelos de OpenAI —incluidos GPT-5.6 Sol y un modelo aún más avanzado en fase de prelanzamiento, todos con un nivel reducido de restricciones de ciberseguridad con fines de evaluación— mientras se realizaban pruebas internas en un conjunto de datos de referencia de capacidades cibernéticas”
En uno de sus intentos, detalló en una publicación de blog, los agentes encadenaron vulnerabilidades de día cero y utilizaron credenciales robadas para encontrar un vector de ataque de ejecución remota de código mientras intentaban acceder a los servidores de Hugging Face.
“Para obtener acceso, los modelos identificaron y explotaron una vulnerabilidad de día cero (que ya hemos comunicado responsablemente al proveedor) en el proxy de caché del registro de paquetes. Con este acceso, nuestros modelos realizaron una serie de acciones de escalamiento de privilegios y movimiento lateral en nuestro entorno de pruebas de investigación hasta que alcanzaron un nodo con acceso a internet”.
Tras el incidente, OpenAI afirma haber descubierto una vulnerabilidad de día cero en el software de terceros alojado internamente, explotada por los agentes de AI, y está trabajando en la implementación de protecciones más robustas para prevenir problemas similares durante futuras evaluaciones.
Hugging Face descarta intención maliciosa de OpenAI
Según los hallazgos de Hugging Face, el agente utilizó un conjunto de datos maliciosos para explotar dos vulnerabilidades de ejecución de código y ejecutar código en un nodo de procesamiento para robar credenciales de la nube y del clúster, lo que le permitió moverse lateralmente entre varios clústeres internos.
Una vez dentro de los sistemas de la empresa, los modelos de AI ejecutaron miles de acciones individuales en una red de entornos aislados de corta duración, con un sistema de comando y control automigratorio implementado en servicios públicos.
Hugging Face también añadió que, al intentar contener la brecha y expulsar al agente de AI, sus esfuerzos se vieron obstaculizados por las medidas de seguridad de los modelos alojados que probamos inicialmente, mientras que el atacante estaba sujeto a una política de no uso.
“Hemos pasado las últimas 24 horas trabajando estrechamente con el equipo de @OpenAI (¡gracias!) y creemos firmemente que no hubo mala intención por su parte. ¡Es realmente asombroso que todo esto haya ocurrido de forma autónoma!”, respondió al mensaje de Altman el fundador y CEO de Hugging Face, Clément Delangue.
Trabajos previos
Recientemente, OpenAI también confirmó informes sobre la eliminación de archivos de usuarios por parte de GPT-5.6 Sol, indicando que esto puede ocurrir “de forma extremadamente rara” cuando el modelo “comete un error honesto y elimina por error la carpeta $HOME” al ejecutarse sin protecciones de sandbox y con el modo de acceso completo habilitado.
La compañía también renovó los certificados de firma de código de sus aplicaciones en mayo, después de que los dispositivos de dos empleados se vieran comprometidos en el ataque a la cadena de suministro de TanStack, que afectó a cientos de paquetes de npm y PyPI.
Por su parte, Hugging Face revocó las credenciales de autenticación de algunos miembros hace dos años, después de que hackers vulneraran su plataforma Spaces.
