El Gobierno y la Generalitat usan algoritmos que pueden ser discriminatorios

Los algoritmos ya afectan tu vida. Los usan gigantes tecnológicos como Google, Facebook o TikTok para conocerte mejor, recomendarte contenido y predecir tus acciones. Pero también lo usan cada vez más gobiernos y administraciones públicas de todo el mundo para agilizar procesos tan importantes como la concesión de ayudas al paro o la detección de casos de covid-19.

Los algoritmos son las fórmulas matemáticas que los ordenadores usan para tomar decisiones. Sin embargo, esas decisiones no son neutrales, sino que se fundamentan en datos recopilados por humanos que pueden acarrear sesgos (racistas, de género o socioeconómicos, entre otros) y traducirse en consecuencias no deseadas como una vigilancia perpetua de los ciudadanos o una mayor discriminación que perjudica especialmente a minorías.

¿Y si el algoritmo te acusa injustamente de fraude y te niega acceso a ayudas sociales? ¿Y si recompensa las notas en la selectividad de solo los estudiantes de barrios ricos? Eso ya ha sucedido tanto en los Países Bajos como en el Reino Unido.

¿Discriminaciones en España?

Este tipo de discriminaciones también están sucediendo en España. Además de los algoritmos creados por grandes compañías como Twitter, Netflix, Microsoft o Uber, las instituciones públicas españolas también recurren a unos sistemas que tienen potenciales peligros no intencionados para el ciudadano. Es el caso de la Generalitat catalana, que usa un algoritmo (Riscanvi) para calcular el riesgo de reincidencia de presos y que puede generar una discriminación socioeconómica, o el Ministerio del Interior, que ha creado un algoritmo para detectar los mensajes de odio en Twitter y que puede vulnerar derechos fundamentales para vigilar a los ciudadanos.

A pesar de su profundo impacto en nuestras vidas los algoritmos son opacos y cuentan con poca supervisión. Es por ello que la entidad Eticas Foundation ha puesto en marcha el Observatorio de Algoritmos con Impacto Social (OASI), que reúne en una base de datos más de 100 casos de todo el mundo donde el uso de algoritmos está teniendo unos efectos sociales perjudiciales no deseados. El proyecto identifica esos casos en un buscador con la intención de ser accesible al público y concienciar sobre la necesidad de auditar algoritmos.

Además de los casos mencionados, OASI también señala otros dos algoritmos potencialmente peligrosos en el territorio: el que usa la Policía Nacional para detectar denuncias falsas y el que usa el Servicio Público de Empleo Estatal (SEPE) para determinar ayudas sociales a los parados.

OASI categoriza los tipos de impactos que producen en siete apartados: discriminación (racial, de género, socioeconómica o religiosa), vigilancia del Estado, polarización/radicalización, amenaza a la privacidad, manipulación del comportamiento, generación de adicción y propagación de desinformación. Un impacto doblemente peligroso, pues el extendido mito de que las máquinas son portadoras de una verdad racional y matemática hace que, en la mayoría de ocasiones, sus consecuencias negativas queden ocultas.