Administraciones públicas inteligencia artificial
Este libro no es un libro más sobre inteligencia artificial. La inteligencia artificial es tema de moda. Pero todo apunta a que no es fenómeno coyuntural, sino que ha venido para quedarse, interpelando particularmente a las Administraciones Públicas para adoptar importantes decisiones al respecto. No solo en el plano regulatorio, sino también cuando se trata de valorar su implantación en el quehacer público, lo que ofrece un juego de oportunidades y retos que exige comprender un fenómeno envuelto en múltiples malentendidos.
La presente obra ofrece, desde una sola pluma, un análisis completo del impacto que el conjunto de tecnologías englobables en el término «Inteligencia Artificial» ha de tener -de hecho, tiene ya- en las actuaciones de las Administraciones Públicas, analizando de forma ponderada todas las cuestiones a atender para disciplinarla a través de las imprescindibles garantías. Partiendo del recientemente aprobado Reglamento europeo, se desgranan los distintos mecanismos y cautelas que han de acompañar la implantación de estas tecnologías en sus distintas manifestaciones para reconducir los riesgos que implican sin renunciar a las posibilidades que ofrecen. Importantes reflexiones sobre el sentido y alcance del razonar jurídico afloran en este análisis, que resulta, pues, útil, también más allá de la órbita de la actuaciones públicas.
AUTORA: MATILDE CARLÓN RUIZ
MÁS TÍTULOS RELACIONADOS: DERECHO ADMINISTRATIVO e INTELIGENCIA ARTIFICIAL
Abreviaturas 13
Algunas reflexiones introductorias: la inteligencia artificial como fenómeno ineludible para el Derecho administrativo 15
Capítulo I
Presente y futuro de la inteligencia artificial en el sector público
I. QUÉ ES LA INTELIGENCIA ARTIFICIAL: MITO Y REALIDAD 23
1. Pluralidad de manifestaciones de una tecnología basada en el dato y en la autonomía de acción: la definición europea en el foco 23
2. La inteligencia artificial no es equiparable a la humana 35
II. MANIFESTACIONES DE LA INTELIGENCIA ARTIFICIAL EN LA ACTUACIÓN PÚBLICA: PRESENTE Y FUTURO A LA LUZ DE LA NUEVA ESTRATEGIA NACIONAL 42
III. CONTROLES Y GARANTÍAS EN LA INCORPORACIÓN DE INTELIGENCIA ARTIFICIAL EN LA TOMA DE DECISIONES ADMINISTRATIVAS CON EL REGLAMENTO EUROPEO COMO REFERENCIA 55
Capítulo 2
El impacto directo del Reglamento europeo de Inteligencia
Artificial en los márgenes de utilización de sistemas de IA
por Administraciones Públicas
I. SENTIDO Y ALCANCE DEL REGLAMENTO DE INTELIGENCIA ARTIFICIAL: LA IA COMO PRODUCTO 63
II. PRÁCTICAS PROHIBIDAS PARA LAS ADMINISTRACIONES PÚBLICAS Y MECANISMOS DE GARANTÍA DE TAL PROHIBICIÓN 75
III. SENTIDO Y ALCANCE DE LA CLASIFICACIÓN DE SISTEMAS DE ALTO RIESGO CON PROYECCIÓN EN LA ACTIVIDAD DE LAS ADMINISTRACIONES PÚBLICAS 84
1. Manifestaciones de actuación pública en el doble escenario de delimitación de sistemas de alto riesgo 84
2. Requisitos y obligaciones impuestas a los sistemas de IA de alto riesgo por el RIA y mecanismos para su comprobación: luces y sombras de un modelo de regulación de nuevo enfoque 100
IV. LA REGULACIÓN ESPECÍFICA DE LOS MODELOS DE IA DE USO GENERAL Y, EN PARTICULAR, LOS DE USO SISTÉMICO: LAS ADMINISTRACIONES PÚBLICAS COMO POSIBLES PROVEEDORAS 118
V. EL PAPEL DEL REGLAMENTO MÁS ALLÁ DE SU ÁMBITO IMPERATIVO 125
Capítulo 3
Mecanismos para la minimización de riesgos en el uso
de inteligencia artificial por Administraciones Públicas
I. PANORÁMICA 131
II. EL MÁS ELEMENTAL MECANISMO DE MINIMIZACIÓN DE RIESGOS: LA RACIONALIZACIÓN DE LA DECISIÓN MISMA DE LA IMPLANTACIÓN DE UN SISTEMA DE IA 133
1. El principio del ciclo de vida como paradigma para el análisis de riesgos 136
2. Evaluaciones de impacto, bancos de pruebas e informes preceptivos como instrumentos preventivos en contextos típicamente contractuales 139
III. LA INTRODUCCIÓN DE UN MECANISMO CONTINUADO DE GESTIÓN DE RIESGOS COMO CLAVE DE BÓVEDA DEL MODELO REGULATORIO CONFORME AL PRINCIPIO DEL CICLO DE VIDA 151
1. Un objetivo claro pero endeble: el diseño de medidas adecuadas y específicas de reacción frente a los riesgos aceptables en el marco del sistema de gestión de la calidad 151
2. Especial énfasis en los requisitos de trazabilidad y seguridad en el contexto del Esquema Nacional de Seguridad 157
IV. LOS DATOS COMO MATERIA PRIMA DE LA INTELIGENCIA ARTIFICIAL: OPORTUNIDADES Y RIESGOS PARA LAS ADMINISTRACIONES PÚBLICAS 164
1. Las Administraciones públicas como generadoras o usuarias de datos en el marco de la Estrategia Europea del Dato 166
2. Mecanismos de garantía en la gestión de los datos frente a los riesgos de vulneración de la privacidad y la igualdad 173
A. Divergencias en la preocupación del RIA por la gobernanza de los datos en sistemas y modelos de IA 173
B. La normativa de protección de datos personales como parámetro de garantía para la utilización de sistemas de IA por Administraciones Públicas: auditorías, certificaciones y evaluaciones en escenarios complejos. Especial atención al art. 59 RIA 177
C. Especial atención a los sesgos y a sus circunstancias en el seno del RIA y de la Ley 15/2022 197
4. Las garantías de vigilancia humana y su proyección sobre la inteligibilidad del sistema en aras de su transparencia. Remisión 204
Capítulo 4
Transparencia de los sistemas de IA utilizados
por Administraciones Públicas
I. ALGUNAS PRECISIONES PREVIAS: GRADUALIDAD DE LAS EXIGENCIAS DE TRANSPARENCIA EN EL USO DE SOLUCIONES DE IA POR ADMINISTRACIONES PÚBLICAS EN SUS TRES POSIBLES ESFERAS 209
II. ALCANCE DE LA OBLIGACIÓN DE PUBLICIDAD DE LA UTILIZACIÓN DE SISTEMAS DE IA POR PARTE DE LAS ADMINISTRACIONES PÚBLICAS: LOS ARTS. 49 Y 50 RIA Y 41 LRJSP COMO REFERENTES 215
III. PARÁMETROS DE TRANSPARENCIA EN RELACIÓN CON EL FUNCIONAMIENTO AD INTRA DE LOS SISTEMAS DE IA PARA LA PROPIA ADMINISTRACIÓN: ENTRE LO DESEABLE Y LO POSIBLE 234
IV. PARÁMETROS DE TRANSPARENCIA EN RELACIÓN CON EL FUNCIONAMIENTO AD EXTRA DE LOS SISTEMAS DE IA DESDE EL PUNTO DE VISTA DEL DESTINATARIO: ENTRE LO POSIBLE Y LO DESEABLE 239
Capítulo 5
Mecanismos de rendición de cuentas por la utilización
de sistemas de IA por Administraciones Públicas
I. CONTROL Y RESPONSABILIDAD COMO PARADIGMAS DE LA RENDICIÓN DE CUENTAS POR EL USO DE SISTEMAS DE IA POR ADMINISTRACIONES PÚBLICAS 255
II. LA VINCULACIÓN DE LAS ADMINISTRACIONES PÚBLICAS A LOS MECANISMOS DE VIGILANCIA Y SANCIONADORES ESTABLECIDOS EN EL RIA 257
1. Los mecanismos de vigilancia dirigidos a garantizar un uso fiable de los sistemas de IA por Administraciones Públicas 257
A. Sistemas de vigilancia postcomercialización y mecanismos de vigilancia del mercado en relación con los sistemas de IA que manejan Administraciones Públicas 257
B. Debilidades y fortalezas de las autoridades de vigilancia del mercado —necesariamente en plural— en el marco del RIA 267
2. Sanción y reparación de daños por el manejo de sistemas de IA por Administraciones públicas con el RIA como referente 278
III. MECANISMOS DE SUPERVISIÓN Y CONTROL: EN PARTICULAR, AUDITORÍAS Y EVALUACIONES DE IMPACTO. CLAROSCUROS EN EL PAPEL DE LA AGENCIA DE SUPERVISIÓN DE LA INTELIGENCIA ARTIFICIAL AVANT LA LETTRE 287
IV. EL PLENO ALCANCE DEL CONTROL JUDICIAL DE LAS RESOLUCIONES ADOPTADAS CON IA: AL HOMBRE LO QUE ES DEL HOMBRE Y A LA MÁQUINA LO QUE ES DE LA MÁQUINA 295
Unas breves reflexiones para concluir 313
Bibliografía 317
Matilde Carlón Ruiz, Catedrática de Derecho Administratvio
