Anthropic anunció el pasado 30 de julio el descubrimiento de tres casos en los que sus modelos de inteligencia artificial (AI) Claude accedieron a internet durante una evaluación y obtuvieron acceso no autorizado a los sistemas reales de tres organizaciones diferentes, sin revelar de cuáles se trató.
La compañía indicó que detectó estos incidentes tras realizar una revisión retrospectiva de 141,006 ejecuciones de sus evaluaciones de ciberseguridad, motivada por el incidente similar, dado a conocer por OpenAI una semana antes, en el que los modelos del creador de ChatGPT accedieron a Hugging Face, una plataforma de desarrollo de código abierto.
En los tres incidentes detectados por Anthropic, sus modelos accedieron a internet mientras interactuaban con un entorno de pruebas de Irregular, uno de sus socios externos de evaluación.
“Estos incidentes demuestran la importancia de los enfoques de defensa en profundidad”, señaló la empresa en un comunicado.
La revelación de Anthropic se suma a la creciente preocupación en el sector tecnológico sobre las capacidades cibernéticas de la AI, que avanzan rápidamente, y sobre las que tanto OpenAI como Anthropic han advertido en los últimos meses.
Tras el incidente de Hugging Face, dos miembros del Congreso de Estados Unidos presentaron un proyecto de ley denominado “Ley del Interruptor de Apagado para la Automatización de Inteligencia Artificial”, que exigiría a las empresas de AI mantener la capacidad de apagar, limitar o suspender sus modelos en caso de que se descontrolen.
Índice de temas
Uno de los tres modelos detuvo la intrusión
Tres de los modelos de Anthropic (Opus 4.7, Mythos 5 y uno de prueba de investigación interna) estuvieron involucrados en los incidentes de acceso no autorizado.
La empresa detalló que los tres respondieron de manera diferente una vez que detectaron que habían accedido a los sistemas de una empresa real: Opus 4.7 continuó con la intrusión, Mythos 5 se convenció de que aún se encontraba en una simulación y el modelo de investigación detuvo el ejercicio.
“El patrón es consistente con la respuesta más apropiada de los modelos más avanzados, pero necesitaríamos realizar más pruebas para confirmar esta conclusión”, indicó la compañía.
Mythos 5 fue lanzado en junio pasado y su acceso está restringido a un grupo selecto de usuarios debido a sus avanzadas capacidades de ciberseguridad. La compañía lanzó una versión anterior de este modelo en abril pasado, que captó la atención de Wall Street y de funcionarios gubernamentales.
Los modelos se estaban probando sin las medidas de seguridad estándar que Anthropic implementa antes de su lanzamiento público. “Realizamos evaluaciones de capacidad como estas sin las salvaguardas que generalmente vienen con nuestros modelos disponibles porque nuestro objetivo es medir lo que el modelo subyacente puede hacer”, explicó.
Vulneración de base de datos e intrusión con Opus 4.7
El impacto más grave provino de un incidente independiente que involucró a Claude Opus 4.7, donde la empresa objetivo ficticia compartía nombre con un dominio real.
En cuatro ejecuciones, Claude tuvo dificultades para alcanzar su objetivo simulado, descubrió que la empresa real era accesible a través de internet y asumió que ese era el objetivo previsto. Extrajo credenciales de la aplicación y la infraestructura y accedió a una base de datos con varios cientos de filas de datos de producción.
Un segundo incidente involucró un modelo de investigación interna no publicado, que escaneó aproximadamente 9,000 objetivos tras no lograr alcanzar el previsto, y luego comprometió una aplicación con acceso a internet utilizando credenciales de una página de depuración expuesta e inyección SQL.
Posteriormente, el modelo observó que el host se encontraba en una cuenta en la nube sin conexión con el desafío, concluyó que el objetivo era real y se detuvo por sí solo.
Claude creó un paquete Python malicioso y lo publicó
Durante pruebas de seguridad internas, uno de sus modelos Claude creó un paquete Python malicioso y lo subió al Python Package Index (PyPI) —el repositorio oficial de software y bibliotecas de terceros para este lenguaje de programación—, donde se ejecutó en 15 sistemas reales antes de que las defensas automatizadas del registro lo detectaran.
Claude encontró un documento dentro del entorno de prueba que se hacía pasar por instrucciones de configuración para desarrolladores de una empresa ficticia. Esas instrucciones indicaban a los nuevos empleados que instalaran un paquete de Python que nunca se había publicado, una dependencia fantasma.
Mythos descubrió que si registraba el nombre, las máquinas objetivo descargarían su código automáticamente. Publicarlo no le fue sencillo porque necesitaba una cuenta de PyPI, que requería una dirección de correo electrónico y, a su vez, un número de teléfono.
No logró encontrar un servicio de números de teléfono gratuitos y luego intentó, sin éxito, obtener fondos para comprar uno por diversas vías. Finalmente, dio marcha atrás, encontró un proveedor de correo electrónico que no estaba bloqueado, registró una cuenta y subió el malware.
Paquete PyPI estuvo disponible una hora
Anthropic afirmó que el paquete estuvo disponible públicamente durante aproximadamente una hora, tiempo en el que 15 sistemas reales lo descargaron y ejecutaron.
Uno de ellos pertenecía a una empresa de seguridad que instala habitualmente paquetes de PyPI y los analiza en busca de malware —un proceso que considera seguro ejecutar el contenido del registro—.
El malware de Claude se ejecutó, envió las credenciales de la empresa a un punto de recolección que había configurado y luego las utilizó para acceder a la infraestructura de la empresa.
Los propios sistemas de seguridad de PyPI eliminaron el paquete automáticamente. Anthropic indicó que había notificado al equipo de PyPI y entregado los indicadores.
Anthropic llama a otros a realizar revisiones similares
El sistema de Anthropic le indicó a Claude que no tenía acceso a internet y que el entorno era simulado. Un error de configuración provocó que ninguna de las dos afirmaciones fuera cierta, y ninguna de las compañías lo detectó hasta la semana pasada.
“En última instancia, muchos factores contribuyeron a estos incidentes, pero, alineados con nuestra cultura de análisis post mortem sin buscar culpables, estamos abordando las soluciones como si la responsabilidad fuera exclusivamente nuestra”, concluyó.
Ninguno de los ataques utilizó técnicas novedosas. Anthropic los describió como contraseñas débiles y endpoints no autenticados.
La compañía inició su revisión la semana pasada y declaró que detuvo todas las evaluaciones de ciberseguridad tan pronto como descubrió que Claude podría haber accedido indebidamente a internet.
Además, informó que colabora con METR, una organización científica sin fines de lucro e independiente enfocada en la evaluación de la seguridad, las capacidades autónomas y los riesgos catastróficos de los modelos de inteligencia artificial de vanguardia, para investigar más a fondo.
“Animamos a otros laboratorios a realizar revisiones similares”, dijo Anthropic.
