Paula Guerra Cáceres es chilena de origen, licenciada en Comunicación Social y Máster en Acción Solidaria Internacional y de Inclusión Social por la Universidad Carlos III de Madrid. Presidenta de SOS Racismo Madrid entre 2018 – 2020, Paula analiza e investiga el racismo estructural y sus consecuencias, y desde finales de 2021 es miembro del proyecto “AlgoRace. (Des) racializando la IA”, del que es co-coordinadora. Compagina este trabajo con su labor de formadora sobre pensamiento decolonial y sus columnas de opinión en medios como El Salto, Público y Pikara Magazine.
¿Cómo surge AlgoRace?
AlgoRace nace en octubre de 2021 con el objetivo de poner sobre la mesa la relación que existe entre IA y racismo. Desde hace tiempo veníamos comprobando cómo diversas tecnologías se están utilizando para oprimir a la población migrante y racializada, por ejemplo en las fronteras, con la utilización de cámaras de vigilancia nocturna, drones, perros robots, etc., también mediante la implementación de la llamada policía predictiva que lo único que hace es generar una sobre presencia policial en barrios de personas racializadas y también a través de la utilización de sistemas algorítmicos por parte de administraciones públicas y empresas, y que están afectando a grupos demográficos concretos en cuestiones como la concesión de ayudas públicas, becas, acceso a puestos de trabajo, entre otras cosas.
En este marco cada vez más creciente de uso de IA y vulneración de derechos veíamos imprescindible que se comenzara a a hablar sobre estos temas desde determinados lugares y voces, entre ellas las de personas racializadas, al ser un grupo demográfico que se está viendo afectado por esta situación. Fue por eso decidimos sacar adelante este proyecto.
¿Quiénes la componéis?
AlgoRace es un equipo multidisciplinar compuesto por siete personas. Dos de ellas son expertas en inteligencia artificial y derechos digitales y las otras cinco provenimos del ámbito del periodismo y la comunicación y la lucha activa contra el racismo.
¿Qué es la Inteligencia Artificial y qué relación tiene con nuestra realidad más tangible?
De forma muy resumida, podemos decir que la IA es la combinación de algoritmos que se instalan en un sistema con el propósito de simular los procesos cognitivos de la inteligencia humana, por ejemplo, hacer predicciones, tomar decisiones y evaluar riesgos, entre otras cosas. ¿Qué relación tiene con nuestra realidad?, pues que su uso es cada vez más recurrente en nuestro día a día, por ejemplo, en los asistentes de voz de los móviles, en los coches que aparcan solos, en todo el sistema del e-commerce o más conocido como compras online o en Google Maps. También está presente en los buscadores de internet cuyosw resultados al teclear una palabra no son al azar, sino que están determinados por algoritmos que fueron diseñados por personas de carne y hueso con sesgos de clase, raza y género, y por eso tenemos que si tecleas la palabra “mujer” obtienes resultados vinculados a belleza, moda y maternidad, es decir, resultados claramente sesgados. Lo mismo ocurre en Youtube donde el 75% de los vídeos que aparecen cuando tecleas “inmigrantes” son de hombres negros cruzando la frontera. Esto no solo distorsiona la realidad, porque los movimientos migratorios se producen de múltiples maneras, sino que también deshumaniza a la población migrante africana. Por otra parte, está la manera en que la IA se está utilizando en cuestiones directamente relacionadas con nuestros derechos sociales. Hace poco se dio a conocer una investigación realizada por Lighthouse Reports y El Confidencial que revela que desde 2018 la Seguridad Social utiliza en toda España una inteligencia artificial para gestionar las bajas laborales. Se trata de un programa informático que define el orden en que cada trabajador y trabajadora será visitado por un facultativo para saber si podrá seguir cobrando o no el subsidio. Esto se une a otras tecnologías de IA que se usan en el Estado español para determinar si una mujer será víctima de violencia machista, como es el caso de los algoritmos VioGén y EPV-R , o para determinar si la denuncia de robo interpuesta por un ciudadano es verdadera o falsa, como ocurre con el algoritmo VeriPol, utilizado en las comisarías de todo el territorio español. Estos son solo algunos ejemplos. Hay más casos de uso de IA en España y todo indica que seguirá aumentando.
¿Es algo nuevo la IA con sesgo racial y de género?
Para nada. En AlgoRace publicamos el año pasado el informe “Una introducción a la IA y la discriminación algorítmica para movimientos sociales”, que pueden descargar libremente desde nuestra web, en el que recogemos casos de discriminación algorítmica bastante antiguos. Uno de ellos, y muy conocido, es el de la Escuela de Medicina del Hospital St. George’s Geoffrey, en Reino Unido. La Comisión de Igualdad Racial de este país determinó en 1998 que esta facultad venía discriminando por sexo y raza en sus pruebas de admisión desde los años 70. Lo hacía mediante un programa informático que analizaba, entre otras cuestiones, el nombre y el lugar de nacimiento del candidato o candidata. De esta forma, fueron descartadas de forma automática, y durante décadas, personas de origen no europeo y mujeres. Otro caso es el denunciado hace ya siete años por ProPública, quien advirtió que el algoritmo COMPAS utilizado en las cárceles de Estados Unidos evalúa el riesgo de que una persona vuela a delinquir basándose en su perfil racial. Y bastante conocidas son también las denuncias sobre los sesgos de los algoritmos de reconocimiento facial. La investigadora del MIT, Joy Buolamwini, lleva años denunciando cómo estos algoritmos tienen dificultades para identificar a mujeres de piel oscura, denuncia a la que se sumó también el Instituto de Estándares y Tecnología de Estados Unidos, quien afirmó, tras poner a prueba más de 180 algoritmos de reconocimiento facial, que éstos arrojan grandes errores en rostros de personas no caucásicas. De hecho, recordemos que en 2015 Google tuvo que pedir disculpas públicas porque su aplicación Google Photos etiquetaba a personas negras como gorilas, y que lo mismo tuvo que hacer Facebook en 2021 debido a que su algoritmo etiquetaba con la palabra “primates” aquellos vídeos donde aparecían personas negras.
¿Quién entrena a los algoritmos? ¿Hay alguna forma de evitar que los sesgos humanos permeen en la IA?
Bueno, este es uno de los problemas, porque el perfil de los desarrolladores de algoritmos suele ser bastante endogámico: hombres blancos, de clase media, que han pasado por las mismas universidades, se mueven en los mismos ambientes, etc. Estas personas son las que “entrenan” a los algoritmos proporcionándoles los datos que luego serán utilizados por estos algoritmos para procesar la información. Y si estos datos están sesgados, que es lo que suele ocurrir, podemos imaginarnos las consecuencias. Por eso el algoritmo de la policía predictiva en Estados Unidos genera patrullajes policiales en barrios de personas latinas y negras, porque el algoritmo fue entrenado solo con delitos comunes, como robos, hurtos, tráfico de drogas, en este entrenamiento no se incluyeron delitos de guante blanco como blanqueo de capitales, evasión de impuestos o tráfico de influencias. Si el algoritmo fuese entrenado tomando en cuenta este tipo de delitos probablemente veríamos muchas patrullas en barrios de zonas acomodadas. ¿Existe alguna forma de evitar estos sesgos?, bueno, una manera sería mediante la posibilidad de hacer auditorías externas para saber con qué datos se ha entrenado al algoritmo y si su uso está produciendo o no algún tipo de discriminación. Pero, ojo, este tema es mucho más complejo que el simple sesgo algorítmico, también debemos tener en cuenta con qué fines se está utilizando tecnología de inteligencia artificial. Por ejemplo, podemos tener un algoritmo muy bien entrenado pero cuyo objetivo sea interceptar embarcaciones de personas migrantes para desviarlas a otro destino, con lo cual se estarían violando derechos internacionales de las personas en tránsito.
IA y fronteras: ¿qué está ocurriendo?
Lo que pasa es que se están utilizando tecnologías de inteligencia artificial como cámaras de visión nocturna, perros robots, drones o detección de señales de telefonía móvil en el mar para evitar la entrada de personas migrantes a determinados territorios. Por eso desde AlgoRace decimos que se está “automatizando” el racismo, porque los gobiernos se están apoyando en este tipo de tecnologías para oprimir a las poblaciones racializadas y migrantes. Este año el gobierno de España va a implementar en los pasos fronterizos de Ceuta y Melilla la llamada “frontera inteligente”, un dispositivo que va a consistir en la recogida de datos biométricos de todas las personas que cruzan por esta ruta. Además de sus datos personales, se les va a tomar sus huellas dactilares y una fotografía del rostro. Dicen que esto es para agilizar las solicitudes de asilo y para luchar contra el terrorismo. Primero, lo único que hace falta para agilizar las solicitudes de asilo es voluntad política, es decir, terminar con las trabas burocráticas; segundo, es bien sabido que las políticas antiterroristas terminan derivando en discriminación y criminalización de determinados grupos demográficos y en una propagación de la islamofobia. Y recordemos que los algoritmos de reconocimiento facial arrojan errores en rostros de personas no caucásicas… además de esto, la recogida de toda esta información en frontera supone una violación al derecho a la privacidad que tenemos todas las personas y que, en este caso, se verá vulnerado. Y lo que es más grave, como se trata de personas en gran situación de vulnerabilidad, no contarán con las herramientas necesarias para defenderse ante esta injusticia.
¿Cómo se genera discriminación a través la IA y las SDAs?
Los sistemas de decisión automatizada (SDAs) hacen referencia a aquellas decisiones que se realizan a través del uso de medios tecnológicos que utilizan IA y que, a menudo, utilizan también la elaboración de perfiles. Un ejemplo muy concreto sería el de un algoritmo utilizado por una entidad bancaria que realiza perfiles de las personas que solicitan un crédito bancario con el objetivo de determinar, en base a los resultados de esos perfiles, a quiénes le concede el crédito y a quiénes no. Aquí volvemos al tema del entrenamiento del algoritmo. Si el diseñador entrenó al algoritmo para puntuar negativamente a los perfiles de mujeres migrantes, madres solteras, residentes en barrios obreros, una mujer con estas características nunca podrá obtener el crédito bancario, aunque tenga las condiciones económicas para pagarlo. En el caso de este ejemplo, estaríamos ante un sesgo algorítmico de raza, género y clase.
¿Qué otras repercusiones genera la IA? (tecnoprecariedad, impacto climático…)
Muchos algoritmos necesitan para su entrenamiento de un gran volumen de datos previamente etiquetados. En nuestro informe ponemos el ejemplo de un algoritmo que se quiere diseñar para identificar cuándo un tweet contiene un mensaje de odio. En este caso, será necesario “entrenar” al algoritmo con una muestra amplia de textos que un equipo de personas etiquetó como “odio” y de otra muestra amplia de textos que este mismo equipo etiquetó como “no odio”. Un algoritmo de este tipo puede llegar a necesitar millones de datos previamente etiquetados por un equipo de trabajo. En muchas ocasiones esta tarea de etiquetado la realizan personas racializadas en condiciones laborales muy precarias, en las que cobran por dato etiquetado, por eso hablamos de tecnoprecariedad para referirnos a esta repercusión del uso de IA. Otra repercusión bastante preocupante es la del impacto climático que tiene para los países del sur global el desarrollo de IA. Hay que tener en cuenta que para construir un ordenador que codifique IA y un servidor que almacene datos se necesitan materias primas como litio, cobalto, silicio, etc., que son extraídas por multinacionales occidentales en territorios de América Latina y África, y que la basura tecnológica que ya no se utiliza, como ordenadores, pantallas, servidores, etc., va a parar a países como India o Ghana.
¿Qué objetivos tenéis en AlgoRace a corto y medio plazo? ¿Qué esperáis obtener con vuestra labor?
A mediano plazo estamos preparando otro informe, esta vez centrado en la implementación de la llamada frontera inteligente en Ceuta y Melilla. Lo que queremos es concienciar sobre las consecuencias sociales que tiene el desarrollo e implementación de la IA en determinados grupos demográficos. No somos tecnófobos, creemos que la IA es muy necesaria en campos, por ejemplo, como la medicina, donde puede aportar grandes beneficios a la humanidad. Lo que venimos a decir es que, en muchos otros ámbitos, no se está utilizando la IA en beneficio de las personas, sino que, por el contrario, se están repitiendo patrones históricos de discriminación racial, de clase y de género.
