Seed, la unidad de investigación en inteligencia artificial (AI) del gigante tecnológico chino ByteDance, estableció un equipo de “Alineación y Preparación” y lanzó una campaña global para contratar investigadores.
“Estamos comprometidos a invertir en este campo a largo plazo y a proporcionar al equipo recursos y apoyo acordes con la investigación en modelos de vanguardia. Planeamos contratar inicialmente a 10 investigadores de todo el mundo”, explicó la propietaria de TikTok en una publicación de blog.
Los puestos de trabajo tienen sede tanto en Pekín y Shanghái (China), como en San José (California, Estados Unidos).
De acuerdo con la agencia Reuters, que citó a The Paper, Seed es el primer laboratorio chino de AI de vanguardia en establecer un departamento independiente dedicado a la seguridad y la alineación.
Índice de temas
Alineación y gobernanza, el nuevo reto de la AI
El anuncio de ByteDance constituye una inusual revelación pública, por parte de un importante desarrollador chino de AI, sobre una iniciativa dedicada específicamente a la seguridad, la alineación y la preparación ante riesgos emergentes en modelos de vanguardia.
La “alineación” de la AI se refiere a los esfuerzos por garantizar que los sistemas de AI avanzados actúen en consonancia con los objetivos humanos y los requisitos de seguridad, particularmente al ejecutar tareas complejas que requieren múltiples etapas.
Esta iniciativa de contratación surge en un contexto de creciente escrutinio sobre la seguridad de los agentes de AI, tanto en China como en Estados Unidos, especialmente a medida que los desarrolladores les conceden autonomía para acceder a internet.
Además, se produce en medio de conversaciones más amplias entre Estados Unidos y China sobre marcos de gobernanza, riesgos de seguridad y canales de comunicación ante incidentes graves relacionados con la AI, todo ello mientras ambos países compiten por el liderazgo en este campo.
A medida que mejoran las capacidades de los modelos, la seguridad y la alineación ya no son solo mecanismos de protección frente a riesgos, sino capacidades fundamentales que determinarán si dichos modelos pueden implementarse a gran escala, señaló Seed en una publicación de reclutamiento difundida el miércoles a través de su cuenta oficial en WeChat.
Pruebas independientes y colaboración académica
Seed señaló que buscará realizar pruebas independientes y colaborar con universidades e instituciones de investigación, aplicando los resultados de sus estudios sobre seguridad en las fases de entrenamiento, evaluación e implementación de los modelos.
La labor de investigación de este equipo abarcará el entrenamiento en seguridad a lo largo de todas las etapas de desarrollo de los modelos, pruebas automatizadas para detectar vulnerabilidades, herramientas para supervisar y explicar el comportamiento de los modelos, entornos de prueba para AI agéntica y preparativos frente a riesgos emergentes.
“Juntos, impulsaremos simultáneamente las capacidades y la seguridad de la AI, y continuaremos expandiendo los límites de la inteligencia”, agregó la compañía.
