Sistemas de puntuación de Proveedores alimentados con IA, según el Reglamento Europeo

Los sistemas de puntuación de proveedores alimentados con IA plantean una duda concreta frente al Reglamento europeo: ¿pueden entrar en conflicto con la prohibición de puntuación social del artículo 5? No ve voy a repetir más, ya estás al tanto de la entrada en vigor del Reglamento Europeo de Inteligencia Artificial el pasado 1 de Agosto y el calendario de su aplicación para los próximos años. En este artículo tratábamos las distintas cuestiones que aborda el Reglamento.

Calendario de aplicación del Reglamento IA de la Unión Europea

Tampoco me voy a extender para reiterar que el Reglamento regula los sistemas de IA en función del riesgo que puede suponer para los derechos fundamentales de los ciudadanos, prohibiendo aquellos sistemas que se consideran inadmisibles por poder afectar gravemente esos derechos.

Sistemas de puntuación social con IA

El artículo 5 del Reglamento contempla esas prohibiciones y entre ellas, los sistemas de puntuación social. El artículo 5.1 c) del texto del Reglamento de Inteligencia Artificial de la UE, prohíbe:

“c) La introducción en el mercado, la puesta en servicio o la utilización de sistemas de IA con el fin de evaluar o clasificar a personas físicas o a grupos de personas durante un período determinado de tiempo atendiendo a su comportamiento social o a características personales o de su personalidad conocidas, inferidas o predichas, de forma que la puntuación ciudadana resultante provoque una o varias de las situaciones siguientes:

i) un trato perjudicial o desfavorable hacia determinadas personas físicas o grupos enteros de personas en contextos sociales que no guarden relación con los contextos donde se generaron o recabaron los datos originalmente;

ii) un trato perjudicial o desfavorable hacia determinadas personas físicas o grupos de personas que sea injustificado o desproporcionado con respecto a su comportamiento social o la gravedad de este;”[La negrita es nuestra]

Ejemplos de cada una de estas circunstancias mencionadas con anterioridad:

i) Trato perjudicial o desfavorable en contextos sociales no relacionados

ii) Trato perjudicial o desfavorable injustificado o desproporcionado

Para la correcta interpretación del precepto antedicho, además del tenor literal de la norma, podemos acudir al considerando 31 del Reglamento, que se refiere específicamente a esta prohibición:

“Los sistemas de IA que permiten a agentes públicos o privados llevar a cabo una puntuación ciudadana de las personas físicas  pueden tener resultados discriminatorios y abocar a la exclusión a determinados grupos. Pueden menoscabar el derecho a la dignidad y a la no discriminación y los valores de igualdad y justicia.

Dichos sistemas de IA evalúan o clasifican a las personas físicas o a grupos de estas sobre la base de varios puntos de datos relacionados con su comportamiento social en múltiples contextos o de características personales o de su personalidad conocidas, inferidas o predichas durante determinados períodos de tiempo. La puntuación ciudadana resultante de dichos sistemas de IA puede dar lugar a un trato perjudicial o desfavorable de determinadas personas físicas o grupos enteros en contextos sociales que no guardan relación con el contexto donde se generaron o recabaron los datos originalmente, o a un trato perjudicial desproporcionado o injustificado en relación con la gravedad de su comportamiento social.

Por lo tanto, deben prohibirse los sistemas de IA que impliquen esas prácticas inaceptables de puntuación y den lugar a esos resultados perjudiciales o desfavorables. Esta prohibición no debe afectar a las prácticas legales de evaluación de las personas físicas que se efectúen para un fin específico de conformidad con el Derecho nacional y de la Unión.”

En una conversación con Manuel Caño nos preguntábamos, con relación a esta prohibición, si para el sistema de puntuación de las grandes plataformas de compra on-line, que utilizan sistemas de IA para alimentar sus servicios, podría suponer un problema…, y nos poníamos como ejemplo el sistema de puntuación de vendedores de Amazon. Doy por descontado que este sistema de Amazon utiliza IA.

En este ejercicio teórico, de entrada, es importante determinar si el sistema de puntuación de proveedores de Amazon evalúa o clasifica a las personas físicas o a grupos de personas. Si el sistema sólo evalúa o clasifica a empresas, no estaría incluido en la prohibición.

Sin embargo, si el sistema evalúa o clasifica a las personas físicas al margen de su condición o no de empresaria, como los empleados o los clientes de Amazon, podría estar incurriendo en la prohibición. En principio he dado por buena la información del sistema que aporta Cillian Bracken-Conway en un artículo relacionado.

Obligaciones de los sistemas de puntuación de proveedores alimentados con IA

Para que un sistema de puntuación de proveedores, como el de Amazon, cumpla con el Reglamento:

• Debe centrarse exclusivamente en evaluaciones relacionadas con el desempeño profesional y comercial de los proveedores,
• debe ser transparente, permitiendo la revisión y corrección de puntuaciones.
• debe asegurarse que no utiliza datos personales o comportamientos sociales irrelevantes para la evaluación profesional.

Es poco probable que el sistema de puntuación de proveedores de Amazon, como se utiliza actualmente, se vea directamente afectado por esta prohibición específica. Su sistema se utiliza, principalmente, para evaluar la experiencia de compra y servicio al cliente, lo cual está dentro de un contexto específico y relacionado directamente con el propósito para el que se recopilan los datos.

Además, tiene propósito limitado. La puntuación se utiliza para mejorar el servicio al cliente y la experiencia de compra, no para una evaluación general de la «fiabilidad» de una persona en múltiples contextos sociales. No me consta que las consecuencias de la puntuación de proveedores de Amazon generalmente se extienden a otros aspectos de la vida de una persona, fuera del contexto de compras en línea.

Creo que la evaluación de clientes para mejorar el servicio es una práctica comercial común y legítima, que probablemente se consideraría conforme al Derecho nacional y de la Unión. No hay evidencia de que el sistema de Amazon lleve a una discriminación sistemática o a la exclusión de grupos enteros en múltiples contextos sociales.

Sin embargo, es importante notar que si Amazon (o cualquier otra empresa) expandiera el uso de su sistema de puntuación más allá del contexto de compras en línea, por ejemplo, utilizándolo para influir en el acceso a otros servicios no relacionados o compartiendo estas puntuaciones con terceros para su uso en contextos diferentes, entonces podría acercarse al tipo de sistema prohibido por el reglamento.

Puntuación de proveedores: contexto específico y propósito limitado

En resumen, mientras estos sistemas de puntuación de proveedores alimentados con IA se mantengan dentro de su contexto específico y propósito limitado, es poco probable que se vean afectados por esta prohibición particular del Reglamento de IA.

Previsión y ajustes preventivos

Es más, y ahora ya no sólo me refiero a Amazon sino a cualquier empresa o entidad que puntúe a sus proveedores, puede beneficiarse de una revisión proactiva del sistema de puntuación de proveedores que para ello utilice, para asegurarse de que cumple con los principios éticos y legales emergentes en este ámbito. Esta recomendación implica tomar la iniciativa de examinar y posiblemente ajustar el sistema de puntuación de proveedores antes de que surjan problemas o se implementen regulaciones más estrictas:

1. Revisión proactiva:

   • Significa que no esperar a que haya quejas o problemas legales para actuar.
   • La empresa debería anticiparse a posibles desafíos éticos o legales examinando su sistema actual.

2. Cumplimiento de principios

   éticos:

   • Evaluar si el sistema trata a todos los proveedores de manera justa, sin importar su tamaño o ubicación.
   • Asegurarse de que los criterios de evaluación no favorezcan injustamente a ciertos tipos de empresas.
   • Considerar el impacto del sistema en la diversidad de proveedores y en la competencia del mercado.
3. Cumplimiento de principios legales emergentes:
   • Deberían considerarse las tendencias regulatorias en áreas como:
     • Protección de datos y privacidad
     • Leyes antimonopolio y de competencia justa
     • Regulaciones sobre inteligencia artificial y toma de decisiones automatizada
4. Beneficios:
   • Mejora de la reputación: Demuestra compromiso con prácticas comerciales éticas.
   • Mitigación de riesgos: Reduce la probabilidad de enfrentar desafíos legales o regulatorios en el futuro.
   • Adaptabilidad: Facilita ajustes futuros si se implementan nuevas regulaciones.
   • Relaciones con proveedores: Puede mejorar la confianza y cooperación con su red de proveedores.
5. Pasos prácticos:
   • Realizar auditorías internas del sistema de puntuación.
   • Consultar con expertos en ética, derecho y regulación tecnológica.
   • Establecer un comité de supervisión ética para el sistema.
   • Desarrollar mecanismos de retroalimentación y apelación para los proveedores.
6. Transparencia:
   • Considerar la publicación de informes sobre cómo funciona el sistema y cómo se está mejorando.
   • Esto puede ayudar a generar confianza tanto con los proveedores como con los reguladores.

En resumen, al tomar estas medidas proactivas, las empresas dueñas de plataforma on- line pueden posicionarse como líder en prácticas comerciales éticas y responsables, al tiempo que se prepara para posibles cambios en el panorama regulatorio. Esto no solo protege a la empresa de riesgos futuros, sino que también puede fortalecer sus relaciones comerciales y su posición en el mercado.