Ante el riesgo que puede representar el uso de inteligencia artificial (AI), Scitum propone un semáforo que modere las actividades que se pueden o no realizar con esta tecnología.
En las organizaciones, la implementación de AI se asocia con impactos positivos como mejorar la gestión de procesos, agilizar el análisis de grandes volúmenes de datos e incrementar la productividad. Pero, en contraparte, puede poner en peligro la seguridad de la información, tener sesgos del algoritmo y el entrenamiento, así como provocar riesgos éticos.
Un reporte reciente de SCILabs, los laboratorios de inteligencia cibernética de Scitum, señala que en América Latina las amenazas digitales crecieron 19% el último año.
Por eso, como cualquier aplicación, la AI tiene que ser revisada con controles determinados por la organización, indicó el director ejecutivo de Gobierno Corporativo y CISO de Scitum, Marcos Polanco.
“La AI accede a los datos, tiene comunicación, corre en un servidor. Por eso es importante que tengamos prácticas de seguridad, tanto en la infraestructura, donde corre el ambiente de AI, como en el propio aplicativo, para asegurar que esté correctamente configurado y no exista ninguna vulnerabilidad en el código que pueda permitir acceso a una persona con malas intenciones”, señaló.
Índice de temas
Los tres niveles del semáforo seguro para la AI
De acuerdo con Polanco, las organizaciones deben clasificar las tareas que pueden realizarse con AI en tres niveles.
En verde caben tareas de bajo impacto, como la presentación de un reporte o alertas y, dependiendo del contexto particular del activo, definir si dicha alerta requiere atención o si es más bien un falso positivo.
En amarillo entran las tareas que hay que ir acompañando, también llamadas “humano en el bucle” (HITL por sus siglas en inglés), porque la persona participa activamente en la operación, supervisión o toma de decisiones, como sería aislar el equipo de un usuario o bloquear una IP o un hash.
En rojo las actividades que hay que evitar a toda costa porque el impacto podría ser significativo, como sería permitir que la AI borre una base de datos, tire una red o sistemas críticos, en caso de que acceda a llaves privadas, certificados o cuentas con privilegios elevados.
La AI no es para acciones de contención automática
Polanco afirmó que hace tiempo se llegó a pensar que la AI sería la panacea y resolvería todo, lo que no sucede.
En entrevista, reconoció que ayuda mucho, por ejemplo, en tareas muy repetitivas, para contextualizar y dar una visibilidad que de otra forma no tendríamos. Sin embargo, hoy no ve factible que la AI per se ejecute acciones de contención automática, que vea algo y bloquee en el dispositivo alguna actividad.
“Para eso consideramos que se requiere la intervención humana, del ingeniero que entiende el contexto de la alerta ante determinado evento y que tiene el raciocinio para saber qué acción se debe ejecutar en el ambiente operativo. La decisión recae en una persona, que será quien diga si se aplica o no, entendiendo las consecuencias que eso puede tener en la operación de una organización”.
De acuerdo con el entrevistado, aún es necesario el HITL, para revisar y mantener siempre al menos dos de los principios más importantes: la trazabilidad y la explicabilidad de la AI.
“La trazabilidad es saber cómo llegamos a una decisión. La explicabilidad es que los responsables o el CISO responsable de la acción dentro de la organización pueda decir por qué se decidió algo”, detalló.
Primer paso: el gobierno de la AI
Polanco parte de la premisa de que la AI no es determinística; es decir, una persona puede hacer la misma pregunta varias veces, planteándola de una manera diferente y la respuesta que la AI dará a cada interrogante una será distinta, no es consistente.
Además, añadió, existe el riesgo de las alucinaciones. Cuando hay vacíos de información, tiende a llenarlos con lo que puede o con lo que estadísticamente pudiera ser y eso hace que la situación sea preocupante.
Ante estos retos, el especialista de Scitum recomendó empezar por el modelo de gobierno de la AI: “Hay que definir cómo se va a adoptar, para qué se quiere, cómo se van a tomar las decisiones, qué principios habrá que tener, cómo los van a trabajar y cómo se van a regular las iniciativas. No se trata de limitar, sino de regular o de gobernar y de alinear las iniciativas de AI con los principios y valores de la organización y con los objetivos para la cual se está implementando”.
Polanco sugirió que en toda nueva tecnología se vean las dos caras de la moneda: el uso previsto, adecuado, y el que le podrían dar los atacantes por que estos buscan cómo hacer más eficientes sus ataques, cómo invertir menos tiempo y cómo aumentar la efectividad de sus tareas.
“La AI ya está siendo usada para hacer phishing y deep fakes, donde vemos suplantación de personas y correos muy bien hechos. Antes era fácil encontrar fallas, ahora es muy difícil. Además de que pueden hacerse a un ritmo muy acelerado. Si ahora se publica un portal web o un aplicativo, encuentran vulnerabilidades a través de estas herramientas de AI para explotarlas de una manera más rápida”.
Riesgo de usar AI de manera no gobernada
Polanco se refirió al Shadow AI como un riesgo del uso de la AI de manera no gobernada: “En las organizaciones, esta amenaza suele disfrazarse de buena intención, porque los usuarios quieren analizar un documento con ChatGPT y no se dan cuenta de que están exponiendo información confidencial o sensible de la compañía”.
Desde el punto de vista del proceso de gobernanza, apuntó, se trata de una vulnerabilidad porque no se tiene identificado el riesgo o se carece de mecanismos de control asociados a la fuga de información.
A propósito de este punto, cabe recordar que en el pasado IT Masters CON Ciudad de México, Imelda Flores, subdirectora de Innovación y Desarrollo de Scitum, destacó la importancia de que las organizaciones empiecen a tener políticas de lo qué está permitido y lo qué no.
Flores afirmó que la gente no sabe si debería de usar AI o no, para qué cosas debería utilizarse y para cuáles no: “Para evitar que sus estados financieros terminen por ahí, es mejor establecer políticas”. Compartió el caso de un usuario de uno de sus clientes que utilizaba una versión gratuita de una herramienta de las que toma notas en las juntas. El usuario tomaba screenshots de todo lo que sucedía en la sesión, los slides y las notas, sin ser consciente de ello, estaba posteando todo eso de una manera abierta al público.
Lo que depara el futuro
Actualmente, el uso empresarial de AI en México se concentra en áreas como inteligencia de negocios y analytics (32%), Machine Learning (23%) y automatización robótica de procesos (RPA) y robótica (13%), de acuerdo con Santander y Endeavor.
Polanco ha observado que la cantidad de startups que están surgiendo con temas de ciberseguridad asociados con AI tiene una curva exponencial. “Vienen cambios muy interesantes, habrá que estar muy atentos a cómo se mueve el mercado y a las adquisiciones que pueden hacer de esas startups los grandes fabricantes”, advirtió.
Y agregó que cuando estas nuevas organizaciones se integran a plataformas más completas, podrán ir mucho más rápido. “Lo mejor está por venir —dicen—. Los cambios ayudarán mucho a los que nos dedicamos a la defensa. Esa es la expectativa: Terminar de consolidar todo esto”, concluyó.
