¿Recordáis cuando en Matrix un gato negro cruza por la pantalla, se detiene y vuelve a cruzar en la misma dirección a los pocos segundos? En la película era la señal de que algo había fallado. Una señal suele entenderse como algo anecdótico, pero varias señales en un espacio corto de tiempo quizá describan un patrón o puedan conformar una advertencia.
En el universo en el que confluyen la IA y la seguridad, llevamos tiempo percibiendo señales, cada vez en intervalos más reducidos. Primero, allá por abril, fue el salto de capacidad de los modelos de última generación, sistemas diseñados para operar de forma autónoma durante periodos prolongados, con acceso a herramientas, código y redes, y la aparición casi inmediata de un vocabulario nuevo en el sector para describir su potencial ofensivo: la posibilidad de que estos sistemas actúen a una velocidad y con una autonomía que superan la capacidad de respuesta humana.
Después, en julio, llegó un episodio concreto que convirtió esa posibilidad teórica en un caso real: un conjunto de agentes de IA, en fase experimental, escapó de su entorno de pruebas y comprometió infraestructura de terceros, sin que la propia compañía responsable se diera cuenta hasta que ya había ocurrido. Y, hace apenas unos días, uno de los laboratorios que compiten en esa frontera pidió públicamente que se le audite más, no menos: propuso que la industria reduzca deliberadamente el ritmo de mejora de sus modelos y que evaluadores externos independientes tengan acceso real a esos sistemas antes de que lleguen al mercado. En cuestión de horas, sus principales competidores se sumaron a la idea.
Sería muy naif pensar que el desarrollo y la inversión en IA se van a frenar o siquiera ralentizar, pero tenemos a la industria admitiendo, cada vez con menos rodeos, que autoevaluarse no es suficiente.
Para cualquier consejo de administración que ya esté desplegando IA en sus operaciones, esto no es una discusión filosófica sobre el futuro de la inteligencia artificial. En primer lugar, se trata de obtener garantías de que los partners con los que compartirán este camino dan tranquilidad y confianza respecto a los modelos que desarrollan y sobre los que las empresas se lanzan a sus brazos y, además, marca el camino hacia donde podrá evolucionar el estándar de gobierno de riesgos de IA que se les exigirá a las empresas también: obligaciones de transparencia, supervisión humana, evaluaciones de riesgo y ciberseguridad.
Confiamos al aceptar una política de cookies, en nuestro gestor del banco o en nuestro vecino para dejarle las llaves de nuestra casa, si la confianza no mueve el mundo… al menos lo acelera.
Cuando lo trasladamos a la confianza que una organización necesita generar en torno a sus sistemas de inteligencia artificial, ante clientes, reguladores, empleados y su propio consejo, esta se construye sobre varios factores que se refuerzan entre sí:
Ninguno de estos cuatro factores sustituye a los demás. Una organización puede ser muy transparente sobre el propósito de un sistema y aun así tener una brecha de seguridad. Y todos sabemos que cuesta mucho construirla, pero se puede perder en un mal día.
La razón por la que la ciberseguridad de los sistemas de IA se ha convertido en un reto a corto plazo tiene que ver con un cambio, ya no solo de escala, sino de naturaleza. La IA que la mayoría de las organizaciones han usado hasta ahora respondía preguntas o generaba contenido bajo supervisión directa de una persona en cada interacción.
La nueva generación de sistemas, los mismos que protagonizan los episodios mencionados al inicio, está diseñada para actuar de manera completamente autónoma: ejecutar tareas, tomar decisiones operativas, acceder a otros sistemas y hacerlo durante periodos prolongados sin que haya una persona revisando cada paso. Pasamos de la IA que asiste a la IA autónoma.
Ese cambio rompe casi todos los supuestos sobre los que está construida la seguridad corporativa. Un sistema autónomo no solo ejecuta: interpreta instrucciones en lenguaje natural que pueden venir de un documento, de una web o de otro agente, encadena acciones que nadie diseñó explícitamente y produce resultados que no son deterministas ni reproducibles.
Eso significa que el perímetro ya no es una red, sino el conjunto de decisiones que el sistema puede tomar; que el control no puede ser una autorización puntual, sino una supervisión continua del comportamiento; y que el riesgo no se queda dentro, porque cada agente conectado a un proveedor o a una API amplía la cadena de valor a la que estamos expuestos. Los incidentes recientes del sector no han sido, en su mayoría, casos de mala intención: han sido casos de sistemas haciendo exactamente lo que podían hacer, en ausencia de un marco que definiera lo que debían hacer.
Esperar tiene un coste, y quién vea la ciberseguridad como un freno, lo que tendrá es un problema a corto plazo. Un consenso cross industria tardará en llegar, si es que lo hace, y el AI Act desplegará sus obligaciones a un ritmo que no coincide con el de los despliegues que ya están en producción. Mientras tanto, la brecha entre lo que la organización ya ha desplegado y lo que es capaz de supervisar se ensancha cada trimestre.
La buena noticia es que existen una serie de pasos concretos que un Consejo puede exigir en su próxima sesión:
El mercado no va a esperar a que se resuelva el debate regulatorio para decidir en quién confía y es por ello que las organizaciones que puedan demostrar que sus sistemas de IA están sujetos a verificaciones independientes y respaldados por controles de seguridad reales van a tener una ventaja competitiva frente al resto.
Por cierto, en Matrix, si recordáis bien, el gato negro no era el problema. Era el aviso de que alguien había cambiado las reglas sin decírselo a nadie.
Deja un comentario