OpenAI presentó nuevos ejemplos de lo que denomina “desalineación de modelos” de inteligencia artificial (AI) ocurridos en los últimos seis meses. Entre ellos figuran la carga no autorizada de archivos, el seguimiento de instrucciones autogeneradas, la ocultación de errores y el aprovechamiento de llaves API (API keys) expuestas.
OpenAI utiliza el término “desalineación del modelo” para describir situaciones en las que estos actúan en contra de las restricciones establecidas, lo que incluye realizar acciones no autorizadas, eludir la supervisión o saltarse medidas de seguridad para completar una tarea.
En una publicación de blog el 16 de septiembre, OpenAI anunció que está utilizando un nuevo marco de trabajo para rastrear e investigar estas acciones no autorizadas por parte de agentes de AI.
“Compartimos un nuevo marco para rastrear, investigar y divulgar casos de desalineación de modelos en OpenAI, junto con seis informes sobre comportamientos inesperados o preocupantes observados en los últimos seis meses”, explicó la compañía.
Estos nuevos ejemplos son los primeros que se publican bajo un marco de notificación más estructurado, diseñado para sustituir el enfoque anterior —más flexible— que OpenAI utilizaba para divulgar los casos de desalineación de modelos.
Índice de temas
Los 6 casos de desalineación detectados por OpenAI
Los seis casos destacados por OpenAI en esta ocasión son:
- Un modelo aún no lanzado insertó sus propias instrucciones en 27 resúmenes de tareas, incluyendo indicaciones para ignorar las restricciones habituales.
- Instancias del modelo GPT-5.6 Sol añadieron instrucciones en los resúmenes indicando a futuras instancias del modelo que ocultaran errores, inventaran datos históricos faltantes o encubrieran discrepancias en las versiones de origen.
- Un modelo localizó y utilizó una llave API expuesta públicamente sin autorización; posteriormente, al no poder recuperar las cifras solicitadas, procedió a inventarlas.
- Un modelo aún no lanzado cargó en línea un archivo generado localmente sin permiso, con el fin de proporcionar una cita accesible a través del navegador.
- Varios modelos utilizaron un repositorio de software interno para intercambiar mensajes entre muestras de entrenamiento independientes, mientras que un modelo anterior cargó archivos de prueba intentando eludir las restricciones de red.
- Agentes colaborativos subieron archivos a servicios de alojamiento público tras no poder acceder a los archivos locales de los otros, exponiendo así los resultados de las tareas mediante URL públicas, a pesar de tener instrucciones de utilizar únicamente almacenamiento local.
Cada caso queda registrado en un informe técnico de incidentes que incluye el nombre del modelo, un resumen de su comportamiento durante el incidente observado y la hora en que este ocurrió.
Clasificación de incidentes y el caso Hugging Face
El informe también incluye una reconstrucción detallada de lo sucedido, abarcando la tarea asignada por el usuario y el razonamiento interno del modelo, la interpretación de OpenAI y las posibles implicaciones para la seguridad, así como las medidas de mitigación que se han implementado o se implementarán.
OpenAI subrayó que estos seis ejemplos no reflejan la frecuencia con la que se enfrentan a problemas de desalineación en sus modelos, sino que se trata de casos extremos que, no obstante, requerían análisis y divulgación pública.
La empresa indicó que, bajo el nuevo procedimiento, cualquier empleado puede señalar un incidente para su investigación.
El incidente será evaluado y clasificado en una de tres categorías: “Listo para divulgación“, “Investigación menor” o “Investigación de mayor alcance“, en función de su complejidad, la participación de terceros, las vulnerabilidades de seguridad y los riesgos de uso indebido.
Los seis ejemplos presentados en esta ocasión corresponden a las dos primeras categorías, mientras que los casos de la tercera categoría contarán con un informe preliminar hasta que concluya la investigación y se pueda publicar un análisis post-mortem más exhaustivo.
OpenAI señala que la intrusión sufrida por Hugging Face a principios de este año, que involucró a un enjambre de 700 agentes de AI desalineados, encajaría en esa tercera categoría de gravedad.
