El Consejo de la Unión Europea (UE) finalmente ha aprobado el tan esperado Reglamento europeo de Inteligencia Artificial (RIA), el cual, está siendo base inspiradora de otras tantas normas internacionales sobre la materia. Basada en un enfoque de riesgo y con una mirada puesta en las personas, sus derechos, el impulso de la innovación, la competitividad empresarial, así como la salud, la seguridad y la sostenibilidad, esta nueva norma tiene como objetivo primordial prever un marco jurídico uniforme en toda la UE para el adecuado desarrollo de la Inteligencia Artificial (IA) y de los sistemas asociados, permitiendo situar a Europa como unos de los principales líderes mundiales en el desarrollo seguro, ético, responsable y confiable de esta tecnología emergente (Considerando 8 del RIA).

¿Qué es un sistema de Inteligencia Artificial?

Según la definición dada en el Reglamento de Inteligencia Artificial (EU AI Act), que parte de la definición previa dada al efecto por la OECD, se trata de un sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtuales.

 

A estos efectos, es muy importante considerar las distintas tipologías de datos definidos también en el RIA (datos de entrada, datos de entrenamiento, datos de validación, o los datos de prueba). Del mismo modo, es importante distinguir, con claras implicaciones legales y de seguridad, la distinción entre datos personales y no personales, así como la posible elaboración de perfiles a partir de esta tecnología.

La definición que ofrece el Reglamento de Inteligencia Artificial es una definición amplia que resulta crucial interpretar en cada caso, pues esta marcará la identificación e inventariado final de los sistemas de IA en la organización y, con ello, su control y monitorización conforme lo previsto en la norma.

¿Cómo se clasifican los sistemas de IA en términos de nivel de riesgo?

Los sistemas de IA se clasifican, fundamentalmente, como prácticas de IA prohibidas, de alto riesgo y de riesgo limitado (estos dos últimos sistemas de IA autorizados, pero sujetos a un régimen de obligaciones bien distinto). Y es que, mientras los sistemas de alto riesgo se sujetan a requisitos y a obligaciones jurídicas más rígidas, en el caso de los sistemas de riesgo limitado tales obligaciones lo son de transparencia y muy leves.

Así, los sistemas de inteligencia artificial como, por ejemplo, la manipulación cognitivo-conductual, la explotación de vulnerabilidades de personas o de colectivos vulnerables (menores, personas con discapacidad,etc.), la puntuación social, o la puesta en servicio de sistemas para inferir las emociones de una persona física en los lugares de trabajo, salvo determinados casos, son sistemas prohibidos en la UE porque su riesgo se considera inaceptable. También se prohíbe el uso de IA para vigilancia policial predictiva basada en perfiles y sistemas que utilizan datos biométricos para clasificar a las personas según categorías específicas como raza, religión u orientación sexual.

Por su parte, son sistemas de IA de alto riesgo, entre otros, los sistemas de IA destinados a ser utilizados para reconocimiento de las emociones, sistemas de IA destinados a ser utilizados como componentes de seguridad en gestión y funcionamiento de las infraestructuras críticas, sistemas de IA destinados a ser utilizados para la contratación o la selección de personas o para la toma de decisiones en el ámbito laboral, sistemas de IA para evaluar la solvencia de las personas o establecer su calificación crediticia.

En todo caso, se debe considerar que existen excepciones incluso en estos casos, dejando de considerarse un sistema de IA de alto riesgo como tal cuando se cumplan ciertas condiciones, por ejemplo, cuando el sistema de IA está destinado a realizar una tarea de procedimiento limitada. Ello obliga a los destinatarios de la RIA a realizar un ejercicio muy aterrizado no sólo en la determinación de la existencia o no de un sistema de IA, en el sentido legal del término, sino también a trabajar intensamente en la clasificación precisa de los mismos, todo ello, en la medida en que esto impacta directamente en el nivel de obligaciones a cumplir.

Sabes cómo podemos ayudarte a integrar esta tecnología en tu negocio

Con carácter adicional a lo indicado, se regulan también en el Reglamento de Inteligencia Artificial (EU AI Act) obligaciones concretas para los modelos de IA de propósito general (con o sin riesgo sistémico[1]). Este es un modelo de IA, también uno entrenado con un gran volumen de datos utilizando autosupervisión a gran escala, que presenta un grado considerable de generalidad y es capaz de realizar de manera competente una gran variedad de tareas distintas, independientemente de la manera en que el modelo se introduzca en el mercado, y que puede integrarse en diversos sistemas o aplicaciones posteriores, excepto los modelos de IA que se utilizan para actividades de investigación, desarrollo o creación de prototipos antes de su introducción en el mercado.

¿Qué obligaciones principales impone la nueva normativa en IA?

El nuevo Reglamento de Inteligencia Artificial tiene como objetivo fomentar el desarrollo y la adopción de sistemas de IA seguros y confiables en todo el mercado de la UE por parte de las entidades públicas y privadas, planteando obligaciones concretas en función de dos parámetros principales:

  • El nivel de riesgo del sistema de IA de que se trate (planteándose más obligaciones para los sistemas de IA calificados como de alto riesgo) y;
  • El rol o papel que ostenten las entidades en el ciclo de vida del sistema de IA o en su cadena de valor (proveedores[2], fabricantes, importadores, distribuidores, responsables del despliegue de sistemas de IA[3], etc.).

Antes de pasar a indicar las principales obligaciones legales contenidas en la norma, sobre todo, por relación a los sistemas de IA de alto riesgo, es muy importante considerar que la norma pone foco especial en la alfabetización en materia de IA, planteando la obligación para los proveedores y los responsables del despliegue de sistemas de IA de adoptar medidas para garantizar que, en la mayor medida posible, su personal y demás personas que se encarguen en su nombre del funcionamiento y la utilización de sistemas de IA tengan un nivel suficiente de alfabetización en materia de IA[1], teniendo en cuenta sus conocimientos técnicos, su experiencia, su educación y su formación, así como el contexto previsto de uso de los sistemas de IA y las personas o los colectivos de personas en que se van a utilizar dichos sistemas.

Principales obligaciones para los sistemas de IA de alto riesgo

Los sistemas de IA de alto riesgo deberán cumplir con los requisitos dispuestos en la norma teniendo en cuenta sus finalidades y el estado actual de la técnica, destacándose los que siguen a continuación:

  • Sistema de gestión de riesgos: Contar con un sistema de control y de gestión de los riesgos para los derechos fundamentales, la salud y la seguridad, que deberá implantarse y mantenerse en el tiempo, debiendo revisarse periódicamente.
  • Gobernanza de datos: Usar conjuntos de datos de entrenamiento, validación y prueba, cuando apliquen, que cumplan ciertos criterios de calidad, según describe la propia norma.
  • Documentación técnica: Establecer y mantener la documentación técnica asociada a un sistema de IA de alto riesgo.
  • Conservación de registros: Se permitirá técnicamente el registro automático de acontecimientos y la trazabilidad a lo largo de todo el ciclo de vida del sistema.
  • Transparencia y comunicación de información a los responsables del despliegue: Estos sistemas se diseñarán y desarrollarán de tal modo que garanticen la transparencia suficiente para que estos responsables interpreten y usen correctamente los resultados de salida del sistema, debiendo acompañarse de instrucciones de uso para los mismos, las cuales, tendrán un contenido mínimo descrito en el artículo 13 del Reglamento de Inteligencia Artificial.
  • Supervisión humana: Los sistemas de IA de alto riesgo se diseñarán y desarrollarán de modo que puedan ser vigilados de manera efectiva por personas físicas humanas durante el tiempo en que estén en uso, lo que incluye dotarlos de herramientas de interfaz humano-máquinas adecuadas.
  • Precisión, solidez y ciberseguridad: Estos sistemas deberán diseñarse y desplegarse de modo que alcancen un nivel adecuado de precisión, solidez y de ciberseguridad durante todo su ciclo de vida. La norma apunta diversas soluciones técnicas destinas a subsanar vulnerabilidades específicas de la IA.

Al hilo de lo anterior, los proveedores y los responsables del despliegue de sistemas de IA de alto riesgo deberán cumplir con obligaciones concretas, según su posición.

Por ejemplo, entre otras obligaciones, los proveedores de estos sistemas deberán informar acerca del nivel de riesgo que presenta el sistema de IA (documentación técnica, embalaje…), contar con sistema de calidad ajustado a lo previsto en el artículo 17 del Reglamento de Inteligencia Artificial, conservar la documentación técnica asociada por períodos temporales concretos,  conservar los archivos de registro si el sistema está bajo su control, someterlos al proceso de evaluación de la conformidad a que se refiere el artículo 43 de la RIA antes de introducirlos al mercado, cumplir con las obligaciones de registro pertinentes en la base de datos europea prevista a tal fin (ex artículo 71 de la RIA), adoptar las medidas correctoras e informar cuando crean que un sistema de IA no es conforme con la RIA para retirarlo, desactivarlo, etc.

También son importantes reseñar las obligaciones de vigilancia poscomercialización, de intercambio de información sobre incidentes graves con las autoridades competentes, o la garantía de cumplimiento a cargo de los proveedores de sistemas de IA de alto riesgo.

Respecto a los responsables del despliegue de sistemas de IA de alto riesgo (entidades usuarias de estos sistemas) estos deberán asegurarse de adoptar medidas técnicas y organizativas adecuadas para garantizar que usan los sistemas de forma adecuada a las instrucciones de uso vinculadas, en comendando la supervisión humana a personas físicas que tengan la competencia, la formación y la autoridad necesarias. Esto significa que deberá existir una estructura de gobernanza de la IA en las Organizaciones u entidades usuarias de sistemas de IA de alto riesgo, así como activar modelos de capacitación y de formación ajustados a lo dispuesto en la ley (alfabetización en IA).

Asimismo, tales responsables deberán prestar especial atención al funcionamiento del sistema y a la gestión de los incidentes asociados (obligación de vigilancia), debiendo informar de cualquier situación que pueda afectar a tales extremos, en primer lugar, al proveedor y a la autoridad pertinente, suspendiendo el uso del sistema. También ostentan obligaciones adicionales en torno a la conservación de los archivos de registro, de transparencia algorítmica en el lugar del trabajo, de evaluación de impacto relativa a los derechos fundamentales, sin perjuicio de otras. Destacar, por último, que el Reglamento de Inteligencia Artificial (EU AI Act) hace especial mención a sectores como el financiero y el público, matizando alguna de las anteriores obligaciones.

Al margen de lo anterior, existen específicas obligaciones de transparencia de los proveedores y responsables del despliegue de determinados sistemas de IA a la que se refiere el artículo 50 de la RIA de cara a las personas físicas de que se trate, debiendo darse información clara y distinguible con ocasión de la primera interacción y exposición.

Los modelos de IA de uso general que no presenten riesgos sistémicos estarán sujetos a algunos requisitos limitados, por ejemplo, con respecto a la transparencia, pero aquellos con riesgos sistémicos tendrán que cumplir con reglas más estrictas.

Medidas de apoyo a la innovación

 La RIA fomenta y obliga a crear espacios controlados de pruebas en IA a escala nacional (Estados miembros), pudiendo crearse estos a escala regional o local también. Estos espacios controlados de pruebas para la IA deberán proporcionar un entorno controlado que fomente la innovación y facilite el desarrollo, el entrenamiento, la prueba y la validación de sistemas innovadores de IA durante un período limitado antes de su introducción en el mercado o su puesta en servicio.

La RIA también plantea la posibilidad del tratamiento ulterior de datos personales para el desarrollo de determinados sistemas de IA en favor del interés público en el espacio controlado de pruebas para la IA, lo que abre posibilidades interesantes para las compañías y otras organizaciones a estos fines.

Del mismo modo, promueve la realización de pruebas de sistemas de IA de alto riesgo en condiciones reales fuera de los espacios controlados de prueba para la IA bajo determinadas condiciones dispuestas en los artículos 60 y siguientes del RIA.

 Una nueva Gobernanza a escala de la UE

Para garantizar una aplicación adecuada del Reglamento de Inteligencia Artificial (EU AI Act), se crean varios órganos de gobierno:

  • Una Oficina de IA dentro de la Comisión para hacer cumplir las normas comunes en toda la UE. Esta Oficina, junto con los Estados miembros, serán los encargados de fomentar y facilitar la elaboración de códigos de buenas prácticas y directrices a escala de la UE.
  • Un panel científico de expertos independientes para apoyar las actividades de aplicación de la ley.
  • Una Junta de IA con representantes de los estados miembros para asesorar y ayudar a la Comisión y a los estados miembros en la aplicación consistente y efectiva de la RIA.
  • Un foro consultivo para que las partes interesadas proporcionen conocimientos técnicos a la Junta de IA y a la Comisión.

Sanciones

Las multas por infracciones del Reglamento de Inteligencia Artificial se fijan como un porcentaje del volumen de negocios anual global de la empresa infractora en el ejercicio financiero anterior o una cantidad predeterminada, lo que sea mayor. Las pymes y las empresas de nueva creación están sujetas a multas administrativas proporcionales.

Estas multas pueden llegar a ser de 35.000.000 millones de euros o, si el infractor es una empresa, de hasta el 7% de su volumen de negocio mundial total correspondiente al ejercicio financiero anterior, si esta cuantía fuera superior. Se prevé un régimen sancionador específico para el caso de los modelos de IA de uso general.

Próximos pasos

 Tras ser firmado por los presidentes del Parlamento Europeo y del Consejo, el acto legislativo se publicará en el Diario Oficial de la UE en los próximos días y entrará en vigor veinte días después de esta publicación. El nuevo reglamento se aplicará dos años después de su entrada en vigor, con algunas excepciones para disposiciones específicas. Sin perjuicio de lo anterior se alentará a la aplicación proactiva y anticipada de la norma a través de la adhesión al Pacto de IA.

Algunas recomendaciones para el fomento de la IA Confiable (TrustedAI)

Las compañías y las organizaciones deben comenzar a analizar a la mayor brevedad posible en qué medida les afecta de esta norma, en función de su posición o rol en el ciclo de vida de los sistemas de IA o la cadena de valor asociada, así como el tipo de sistemas de IA que producen, distribuyen, usan o aplican.

Del mismo modo, deben tratar de identificar, inventariar y clasificar a la mayor brevedad posible los anteriores sistemas conforme lo descrito en el Reglamento de Inteligencia Artificial, promoviendo el cumplimiento anticipado y proactivo de la norma, sobre todo, en el caso de tratarse de sistemas de IA de alto riesgo, y de propósito general, con especial atención a los que puedan presentar carácter sistémico. Todo ello de conformidad con las obligaciones legales indicadas con anterioridad.

Cumplir con las obligaciones como la de establecer y llevar un adecuado sistema de gestión de los riesgos de IA que corresponda, evaluar el impacto en los derechos fundamentales, prever una adecuada gobernanza, calidad y seguridad de los datos aplicados, disponer de los protocolos y políticas adaptadas que apliquen, o las relativas a la formación y/o concienciación a las personas de la organización en estos temas, serán fundamentales.

También el prever una nueva estructura de apoyo a la gestión en IA en la organización planteando nuevas figuras como las del “Chief Artificial Intelligence Officer”, será un debate a abordar con seguridad, ya sea esta una figura interna o externa. También su equipo de apoyo en la gestión de la IA corporativa.

De igual modo, se debe considerar que, junto a la IA Legal, cuyo máximo exponente en la UE está representado por este nuevo Reglamento de Inteligencia Artificial, se encuentran los modelos de IA Ética, existiendo muchos estándares internacionales al respecto auspiciados por organizaciones como la UNESCO, la OECD, o el Consejo de Europa y que, sin duda, son un referente en el establecimiento de un marco corporativo responsable en Inteligencia Artificial.

Por último, atender a los distintos estándares internacionales de apoyo al cumplimiento de esta norma como ocurre, por ejemplo, con la reciente “ISO/IEC 42001:2023 Information technology — Artificial intelligence — Management System”, entre otros, puede resultar muy útil a la hora de acertar con los modelos de gestión apropiados y su aplicación práctica.

 

 

[1] Se trata de un riesgo específico de las capacidades de gran impacto de los modelos de IA de uso general, que tienen unas repercusiones considerables en el mercado de la Unión debido a su alcance o a los efectos negativos reales o razonablemente previsibles en la salud pública, la seguridad, la seguridad pública, los derechos fundamentales o la sociedad en su conjunto, que puede propagarse a gran escala a lo largo de toda la cadena de valor.
[2] Un proveedor es, según el Reglamento de Inteligencia Artificial (EU AI Act), una persona física o jurídica, autoridad pública, órgano u organismo que desarrolle un sistema de IA o un modelo de IA de uso general o para el que se desarrolle un sistema de IA o un modelo de IA de uso general y lo introduzca en el mercado o ponga en servicio el sistema de IA con su propio nombre o marca, previo pago o gratuitamente.
[3] Un responsable de despliegue de un sistema de IA es una persona física o jurídica, o autoridad pública, órgano u organismo que utilice un sistema de IA bajo su propia autoridad, salvo cuando su uso se enmarque en una actividad personal de carácter no profesional.
[4] Se refiere a las capacidades, los conocimientos y la comprensión que permiten a los proveedores, responsables del despliegue y demás personas afectadas, teniendo en cuenta sus respectivos derechos y obligaciones en el contexto del Reglamento de Inteligencia Artificial, llevar a cabo un despliegue informado de los sistemas de IA y tomar conciencia de las oportunidades y los riesgos que plantea la IA, así como de los perjuicios que puede causar.