Diario de un sistema de IA Generativa en el país de la contratación pública

Escuchar este artículo ahora Getting your Trinity Audio player ready...

El pasado día 20 de diciembre de 2023, Manuel Caño de Plyca-Nexus IT y quien les escribe participamos en un Wébinar (seminario on-line) dedicado a la inteligencia artificial en la contratación pública.

En las sesiones preparatorias del Wébinar, ambos advertimos lo ambicioso de nuestro planteamiento para el poco tiempo del que disponíamos. Por el camino se quedó mucha parte del contenido que habíamos preparado para darle su espacio a lo que, con toda probabilidad, fuera el interés real del Wébinar: las experiencias de uso de la IA en la compra pública.

He escrito estas líneas a modo de memoria sobre algunas de las cuestiones que desde mi perspectiva podían merecer mayor detalle, pero como he comentado disponíamos de tiempo limitado.

La Inteligencia Artificial

De común el término inteligencia artificial (IA) nos sirve para referirnos de forma general a la capacidad de las máquinas y sistemas informáticos para aprender de su propia experiencia y adaptar su comportamiento o sus respuestas, asemejándose su funcionamiento a la inteligencia humana.

Esa referencia quizás sea la que describe los sistemas más avanzados de IA. En su base están algoritmos matemáticos complejos, técnicas de aprendizaje profundo o «Deep Learning», procesamiento de lenguaje natural y reconocimiento de imágenes que, impulsados por el aumento de capacidad de almacenamiento y recursos de procesamiento computacional de los ordenadores, permite el manejo de grandes volúmenes de datos e información y que las máquinas puedan asumir autónomamente tareas y procesos complejos, para los cuales siempre se ha necesitado la inteligencia humana.

El uso de estos sistemas de inteligencia artificial ofrece una gran oportunidad para el desarrollo y crecimiento económico, para innovación y la obtención de grandes beneficios sociales. Ahora bien, en las sombras del uso de estas nuevas tecnologías están grandes riesgos en relación con la seguridad y los Derechos de las personas.

Riesgos de la IA

Conscientes de estos peligros las distintas naciones han ido aprobando normas encaminadas a evitar, por decirlo de modo gráfico, el caos que puede generar un desarrollo descontrolado de esta tecnología. Puedes leer más información en este mapa de las diferentes iniciativas emprendidas a nivel mundial.

En lo que atañe a nuestro entorno, la Comisión Europea presentó en abril de 2021 una iniciativa orientada a regular el uso de la IA en el ámbito europeo. Aquí tienes la iniciativa original en castellano¹Si la página no se muestra en castellano, puedes cambiar el idioma en la parte superior derecha. y también sus anexos.

En ella proponía adoptar un conjunto diferente de normas del nivel de riesgo agrupado en cuatro niveles:

• IA de riesgo inaceptable. Establece prohibiciones para todos los sistemas de IA cuyo uso se considera inaceptable por ser contrario a los valores de la Unión, por ejemplo, porque violan derechos fundamentales, como la puntuación social o salvo determinadas excepciones el uso de sistemas de identificación biométrica remota «en tiempo real» en espacios de acceso público.
• IA de alto riesgo. Se consideran de alto riesgo una serie de sistemas de IA (enumerados en un anexo) que acarrean riesgos en la salud, en la seguridad de las personas o en sus derechos fundamentales. En consonancia con un enfoque basado en los riesgos, dichos sistemas están permitidos en el mercado europeo siempre que cumplan determinados requisitos obligatorios y sean sometidos a una evaluación de la conformidad ex ante ²Los sistemas deben someterse a una evaluación que tiene lugar antes de su introducción en el mercado..
• IA de riesgo limitado. Se aplicarán obligaciones de transparencia a los sistemas que:
  1. interactúen con seres humanos,
  2. se utilicen para detectar emociones o determinar la asociación a categorías (sociales) concretas a partir de datos biométricos, o
  3. generen o manipulen contenido (ultrafalsificaciones).

Cuando una persona interactúe con un sistema de IA o sus emociones o características sean reconocidas por medios automatizados, es preciso informarla de tal circunstancia. Si un sistema de IA se utiliza para generar o manipular imágenes, audios o vídeos que a simple vista parezcan contenido auténtico, debe ser obligatorio informar de que dicho contenido se ha generado por medios automatizados, salvo excepciones que respondan a fines legítimos (aplicación de la ley, libertad de expresión). De este modo, las personas pueden adoptar decisiones fundamentadas y evitar una situación determinada.

• IA de riesgo mínimo. Todos los demás sistemas de IA pueden desarrollarse y utilizarse en la UE sin obligaciones legales adicionales a las de la legislación existente.

La propuesta de la Comisión, además, determinaba la creación de una entidad de supervisión y control de la IA que será la encargada en cada país de realizar la verificación ex ante de los sistemas de alto riesgo.

En España, la Ley 22/2021, de 28 de diciembre, de Presupuestos Generales del Estado para el año 2022, recoge, en su disposición adicional centésima trigésima, la «Creación de la Agencia Española de Supervisión de Inteligencia Artificial», y el Real Decreto 729/2023, de 22 de agosto, aprueba su Estatuto.

A partir de la propuesta original el Consejo de Europa adoptó su posición común («orientación general») y el Parlamento Europeo adoptó su posición negociadora en junio de 2023, desarrollándose hasta el pasado día 8 de diciembre un diálogo tripartito (triálogo) encaminado a llegar a un acuerdo y consensuar el contenido de determinadas cuestiones respecto de las cuales se mantuvieron hasta el final ciertas fricciones.

Como una de las cuestiones más destacada en torno a la cual sí que ha habido consenso, al menos conceptualmente, es en la incorporación de determinaciones específicas con relación a los modelos fundacionales y los sistemas de inteligencia artificial de propósito general. Con relación a los primeros, como ChatGPT³Es la nueva herramienta de OpenAI que te permite conversar con una inteligencia artificial., son considerados avanzados y tienen el potencial de ser aplicados en una amplia gama de contextos. A estos sistemas se les exigen requerimientos adicionales de transparencia, el etiquetado de contenidos generados por IA y el control de riesgos asociados a estos sistemas avanzados.

Los sistemas IA de Propósito General son aquellos diseñados para realizar tareas diversas sin estar especializados en una sola función. Estarán sometidos a obligaciones menos estrictas, enfocadas más en la seguridad y el cumplimiento ético.

En el último tramo de las negociaciones y respecto de los modelos fundacionales (que son las bases sobre las que se desarrollan los modelos de IA generativa) Francia, Alemania e Italia presentaron una propuesta orientada a evitar obligaciones inflexibles que perjudicaran el desarrollo y la innovación basada en la autorregulación mediante “códigos de conducta”.

Finalmente se alcanzó un acuerdo intermedio que establece determinadas obligaciones particulares en el caso de los sistemas de Alto Impacto con riesgo sistémico (evaluación de modelos, mitigación de riesgos, reportes de incidencias relevantes, garantía de seguridad y reporte de eficiencia energética) en función del número de FLOPS ⁴Los FLOPS son una medida importante para evaluar el rendimiento de los procesadores utilizados en el entrenamiento de IA, ya que impactan directamente en la velocidad y eficiencia del proceso de entrenamiento. utilizados para entrenar la máquina.

Si quieres seguir con más detalle la evolución de este diálogo, aquí tienes más información sobre seguridad y la protección de los derechos fundamentales. Y para tener una idea clara de cómo han quedado las cuestiones más debatidas, un excelente resumen del resultado final del mismo, te recomiendo la conferencia de Carlos Romero Dulplá en el Wébinar que recientemente organizó la Cátedra Open Data Cajasiete de la Universidad de la Laguna. Eso a la espera del texto definitivo del Reglamento.

La IA generativa en el país de la contratación pública

En el ámbito concreto de la contratación pública, el potencial de la inteligencia artificial de mejorar la eficiencia, la transparencia y la igualdad, debe desplegarse de manera precisamente “inteligente”, porque en su uso también están presentes desafíos que es necesario mitigar, tales como el sesgo en el entrenamiento de los algoritmos, su falta de transparencia y explicabilidad⁵Un algoritmo es explicable cuando se puede interpretar y entender cómo ha obtenido sus predicciones o resultados., la seguridad de los datos, la dependencia tecnológica o la desigualdad en el uso de la inteligencia artificial, por reseñar algunos de los retos más importantes.

A la hora de hablar de inteligencia artificial en la compra pública debemos distinguir de partida dos ámbitos diferentes bien diferenciados: 1.) ¿Cómo puede utilizarse la IA en los procedimientos de compra pública?  2.) ¿Cómo se va a comprar IA en el sector público?

Veamos cada una de estas cuestiones:

¿Cómo puede utilizarse la IA en los procedimientos de compra pública?

En su momento, elaboramos un mapa interactivo de todos los ámbitos de nuestra compra en los incidirá de manera relevante la inteligencia artificial.

Con más detalle analizamos en su momento cómo ser más eficientes en la compra pública utilizando la IA, su uso en el control y supervisión de la contratación, incidencia del uso de la IA en el diseño y redacción de documentos, y finalmente dedicamos una entrada en nuestro blog a los riesgos de la IA en la compra pública y cómo mitigarlos.

Por descontado, esa implementación de la IA se puede iniciar simplemente con el uso de ChatGPT de OpenAI, su hermana Copilot de la suite de Microsoft Office, el Bard o el Gemini de Google…, por poner algunos ejemplos de chatbots⁶Es un software basado en Inteligencia Artificial capaz de mantener una conversación en tiempo real por texto o por voz. de inteligencia artificial generativa.

ChatGPT-4 es especialmente útil en la fase de preparación de los contratos. Por supuesto que las “habilidades” del sistema se pueden utilizar en mayor o menor medida en cada una de las fases: puede mejorar el diseño y la redacción de cualquier documento ya elaborado e incluso verificar errores, contradicciones o simplemente proponerte mejoras para que el documento sea más comprensible.…, pero creo, por experiencia, que la herramienta es especialmente útil, respetando el principio de confidencialidad y el derecho a la protección de datos personales, cuando se trata de preparar una licitación.

ChatGPT te puede ayudar a motivar cada una de las cuestiones cuya justificación debe realizarse de forma expresa y constar en el expediente de licitación.

A ChatGPT se pueden subir documentos y pedir que te haga un análisis de ese documento desde el punto de vista que desees. Por ejemplo, para preparar un SDA⁷Sistema Dinámico de Adquisición. Te puede identificar las tendencias en la contratación de determinado órgano, comentar cualquiera de las cuestiones relevantes para el diseño del SDA e incluso le puedes pedir que te proponga las categorías de los suministros recurrentes en las que se podría organizar el SDA y el importe.

Hoy, por ejemplo, le he pedido que me ayude a simular el comportamiento de una determinada fórmula en la valoración del precio de una licitación creando una hoja de cálculo con datos sintéticos y una gráfica del resultado.

Como digo, en el resto de fases de la licitación creo que ahora mismo tiene una aplicación limitada a las habilidades que ya hemos señalado y que pueden suponer un importante ahorro de tiempo. No obstante, hay algunas cuestiones en las que el desarrollo de la inteligencia artificial, especialmente el procesamiento del lenguaje natural (PLN), tiene un gran potencial en la evaluación de las ofertas.

La posibilidad de que estos sistemas realicen evaluaciones de forma independiente, más allá de la ponderación automática de los denominados “criterios objetivos”, aún está lejana, particularmente porque en esa labor se exige explicabilidad, transparencia, objetividad y estar basadas en un conocimiento profundo del producto o servicio.

No olvidemos que estos sistemas de inteligencia artificial no pueden asumir responsabilidad ni explicar su razonamiento. Sin embargo, pueden ser herramientas útiles para los evaluadores, ayudando a identificar información relevante y posibles omisiones. También a identificar contradicciones en las propuestas y si las mismas cumplen los requisitos del pliego de prescripciones técnicas…, eso es lo que ahora mismo se puede hacer, pero como Manuel Caño ha señalado, la inteligencia artificial que usamos hoy es la peor inteligencia artificial que nunca usaremos. La evolución de estos sistemas es muy rápida y probablemente estas observaciones se queden obsoletas en breve.

¿Cómo se va a comprar IA en el sector público?

Como señalé más arriba, en estos momentos se está pendiente de ultimar el texto definitivo del futuro Reglamento de la IA en la Unión Europea, Ley europea de IA. Teniendo en cuenta el texto de dicha iniciativa y las modificaciones que a lo largo del proceso se han ido introduciendo, desde la UE se han elaborado unas cláusulas contractuales tipo diseñadas para la adquisición de sistemas de inteligencia artificial (IA) por parte de las entidades del sector público.

Estas cláusulas se inspiran en las establecidas por el Ayuntamiento de Ámsterdam en 2018 para sistemas algorítmicos y han sido adaptadas al Reglamento de IA según hemos señalado, por lo que pueden necesitar un ajuste final para alinearse con el texto definitivo del Reglamento de la UE, pero ahora mismo son un referente excelente a tener en cuenta en la adquisición de sistemas de IA.

Hay dos versiones de cláusulas:

1. una orientada a la contratación de sistemas de IA, cuyos riesgos asociados no son altos, aunque se recomienda su uso para mejorar la fiabilidad de estas aplicaciones. El uso de estas cláusulas incluso podría extenderse a otros sistemas algorítmicos no considerados estrictamente como IA, cuando se pretenda una mayor transparencia y responsabilidad.
2. Por otro lado, la versión para sistemas de IA de alto riesgo, algo más compleja que la anterior y adaptada al cumplimiento de las exigencias y obligaciones del Reglamento para estos sistemas.

Estas cláusulas ayudan a aclarar los estándares, obligaciones y responsabilidades de las autoridades públicas y los proveedores de IA. Indican requisitos esenciales para los sistemas de IA, como sistemas de gestión de calidad y riesgos, documentación técnica, indicaciones de supervisión humana, cumplimiento y medidas de auditoría.

En definitiva, las entidades del sector público pueden usar estas cláusulas de forma voluntaria y adaptarlas según la necesidad y proporcionalidad para cada sistema de IA específico. Desde luego, como señalé anteriormente, si tuviera que contratar un sistema de IA, tendría estas cláusulas tipo como punto de partida.

En relación a esta última observación, quiero señalar que dentro de la Comunidad de Compradores Públicos de la UE se alberga una Comunidad de Práctica sobre Adquisición de IA, cuyo objetivo es ayudar a los compradores públicos a adquirir soluciones de IA que sean confiables, justas y seguras. 

El Uso de la Inteligencia Artificial Generativa dentro de las entidades públicas

En mi opinión, creo que las entidades del sector público, particularmente las Administraciones Públicas, no deberían dejar al albur de los acontecimientos el uso de estas tecnologías por parte de los empleados públicos. Principalmente, porque su uso tiene asociados riesgos de seguridad, confidencialidad y derechos de las personas, lo que hace recomendable la adopción de unas directrices, siquiera elementales, de uso de la inteligencia artificial generativa dentro de la organización.

 

Vídeo del Wébinar IA generativa en contratación pública

Índice del vídeo

00:03:15 – Contexto, intención y alcance.
00:05:59 – Introducción a la Inteligencia Artificial Generativa.
00:16:22 – Cómo comprar IA generativa en contratación pública.
00:17:13 – El reglamento de la IA en Europa.
00:19:25 – Cláusulas tipo para la contratación pública. 
00:22:09 – Recomendaciones gubernamentales para el uso de la IA generativa.
00:24:16 – Empezar a usar IA generativa en contratación pública.
00:29:24 – Reflexiones.
00:40:22 – Algunos casos de uso.
01:09:55 – Preguntas y respuestas.

* Descargar ponencia del webinar en formato pdf.