![\"\"](\"http:\/\/zas.eus\/wp-content\/uploads\/2023\/06\/paula-guerra-600x400.png\")
<\/p>\n<\/p>\n
Paula Guerra C\u00e1ceres es chilena de origen, licenciada en Comunicaci\u00f3n Social y M\u00e1ster en Acci\u00f3n Solidaria Internacional y de Inclusi\u00f3n Social por la Universidad Carlos III de Madrid. Presidenta de\u00a0SOS Racismo Madrid<\/a>\u00a0<\/strong><\/span>entre 2018 \u2013 2020, Paula analiza e investiga el racismo estructural y sus consecuencias, y desde finales de 2021 es miembro del proyecto \u201cAlgoRace. (Des) racializando la IA\u201d<\/span>,<\/strong> del que es co-coordinadora. Compagina este trabajo con su labor de formadora sobre pensamiento decolonial y sus columnas de opini\u00f3n en medios como El Salto, P\u00fablico<\/strong><\/span> y\u00a0Pikara Magazine<\/a>.<\/strong><\/span><\/p>\n AlgoRace nace en octubre de 2021 con el objetivo de poner sobre la mesa la relaci\u00f3n que existe entre IA y racismo. Desde hace tiempo ven\u00edamos comprobando c\u00f3mo diversas tecnolog\u00edas se est\u00e1n utilizando para oprimir a la poblaci\u00f3n migrante y racializada, por ejemplo en las fronteras, con la utilizaci\u00f3n de c\u00e1maras de vigilancia nocturna, drones, perros robots, etc., tambi\u00e9n mediante la implementaci\u00f3n de la llamada polic\u00eda predictiva que lo \u00fanico que hace es generar una sobre presencia policial en barrios de personas racializadas y tambi\u00e9n a trav\u00e9s de la utilizaci\u00f3n de sistemas algor\u00edtmicos por parte de administraciones p\u00fablicas y empresas, y que est\u00e1n afectando a grupos demogr\u00e1ficos concretos en cuestiones como la concesi\u00f3n de ayudas p\u00fablicas, becas, acceso a puestos de trabajo, entre otras cosas.<\/p>\n En este marco cada vez m\u00e1s creciente de uso de IA y vulneraci\u00f3n de derechos ve\u00edamos imprescindible que se comenzara a a hablar sobre estos temas desde determinados lugares y voces, entre ellas las de personas racializadas, al ser un grupo demogr\u00e1fico que se est\u00e1 viendo afectado por esta situaci\u00f3n. Fue por eso decidimos sacar adelante este proyecto.<\/p>\n AlgoRace es un equipo multidisciplinar compuesto por siete personas. Dos de ellas son expertas en inteligencia artificial y derechos digitales y las otras cinco provenimos del \u00e1mbito del periodismo y la comunicaci\u00f3n y la lucha activa contra el racismo.<\/p>\n De forma muy resumida, podemos decir que la IA es la combinaci\u00f3n de algoritmos que se instalan en un sistema con el prop\u00f3sito de simular los procesos cognitivos de la inteligencia humana, por ejemplo, hacer predicciones, tomar decisiones y evaluar riesgos, entre otras cosas. \u00bfQu\u00e9 relaci\u00f3n tiene con nuestra realidad?, pues que su uso es cada vez m\u00e1s recurrente en nuestro d\u00eda a d\u00eda, por ejemplo, en los asistentes de voz de los m\u00f3viles, en los coches que aparcan solos, en todo el sistema del e-commerce o m\u00e1s conocido como compras online o en Google Maps. Tambi\u00e9n est\u00e1 presente en los buscadores de internet cuyosw resultados al teclear una palabra no son al azar, sino que est\u00e1n determinados por algoritmos que fueron dise\u00f1ados por personas de carne y hueso con sesgos de clase, raza y g\u00e9nero, y por eso tenemos que si tecleas la palabra \u201cmujer\u201d obtienes resultados vinculados a belleza, moda y maternidad, es decir, resultados claramente sesgados. Lo mismo ocurre en Youtube donde el 75% de los v\u00eddeos que aparecen cuando tecleas \u201cinmigrantes\u201d son de hombres negros cruzando la frontera. Esto no solo distorsiona la realidad, porque los movimientos migratorios se producen de m\u00faltiples maneras, sino que tambi\u00e9n deshumaniza a la poblaci\u00f3n migrante africana. Por otra parte, est\u00e1 la manera en que la IA se est\u00e1 utilizando en cuestiones directamente relacionadas con nuestros derechos sociales. Hace poco se dio a conocer una investigaci\u00f3n realizada por Lighthouse Reports y El Confidencial que revela que desde 2018 la Seguridad Social utiliza en toda Espa\u00f1a una inteligencia artificial para gestionar las bajas laborales. Se trata de un programa inform\u00e1tico que define el orden en que cada trabajador y trabajadora ser\u00e1 visitado por un facultativo para saber si podr\u00e1 seguir cobrando o no el subsidio. Esto se une a otras tecnolog\u00edas de IA que se usan en el Estado espa\u00f1ol para determinar si una mujer ser\u00e1 v\u00edctima de violencia machista, como es el caso de los algoritmos VioG\u00e9n y EPV-R , o para determinar si la denuncia de robo interpuesta por un ciudadano es verdadera o falsa, como ocurre con el algoritmo VeriPol, utilizado en las comisar\u00edas de todo el territorio espa\u00f1ol. Estos son solo algunos ejemplos. Hay m\u00e1s casos de uso de IA en Espa\u00f1a y todo indica que seguir\u00e1 aumentando.<\/p>\n Para nada. En AlgoRace publicamos el a\u00f1o pasado el informe \u201cUna introducci\u00f3n a la IA y la discriminaci\u00f3n algor\u00edtmica para movimientos sociales\u201d, que pueden descargar libremente desde nuestra web, en el que recogemos casos de discriminaci\u00f3n algor\u00edtmica bastante antiguos. Uno de ellos, y muy conocido, es el de la Escuela de Medicina del Hospital St. George\u2019s Geoffrey, en Reino Unido. La Comisi\u00f3n de Igualdad Racial de este pa\u00eds determin\u00f3 en 1998 que esta facultad ven\u00eda discriminando por sexo y raza en sus pruebas de admisi\u00f3n desde los a\u00f1os 70. Lo hac\u00eda mediante un programa inform\u00e1tico que analizaba, entre otras cuestiones, el nombre y el lugar de nacimiento del candidato o candidata. De esta forma, fueron descartadas de forma autom\u00e1tica, y durante d\u00e9cadas, personas de origen no europeo y mujeres. Otro caso es el denunciado hace ya siete a\u00f1os por ProP\u00fablica, quien advirti\u00f3 que el algoritmo COMPAS utilizado en las c\u00e1rceles de Estados Unidos eval\u00faa el riesgo de que una persona vuela a delinquir bas\u00e1ndose en su perfil racial. Y bastante conocidas son tambi\u00e9n las denuncias sobre los sesgos de los algoritmos de reconocimiento facial. La investigadora del MIT, Joy Buolamwini, lleva a\u00f1os denunciando c\u00f3mo estos algoritmos tienen dificultades para identificar a mujeres de piel oscura, denuncia a la que se sum\u00f3 tambi\u00e9n el Instituto de Est\u00e1ndares y Tecnolog\u00eda de Estados Unidos, quien afirm\u00f3, tras poner a prueba m\u00e1s de 180 algoritmos de reconocimiento facial, que \u00e9stos arrojan grandes errores en rostros de personas no cauc\u00e1sicas. De hecho, recordemos que en 2015 Google tuvo que pedir disculpas p\u00fablicas porque su aplicaci\u00f3n Google Photos etiquetaba a personas negras como gorilas, y que lo mismo tuvo que hacer Facebook en 2021 debido a que su algoritmo etiquetaba con la palabra \u201cprimates\u201d aquellos v\u00eddeos donde aparec\u00edan personas negras.<\/p>\n Bueno, este es uno de los problemas, porque el perfil de los desarrolladores de algoritmos suele ser bastante endog\u00e1mico: hombres blancos, de clase media, que han pasado por las mismas universidades, se mueven en los mismos ambientes, etc. Estas personas son las que \u201centrenan\u201d a los algoritmos proporcion\u00e1ndoles los datos que luego ser\u00e1n utilizados por estos algoritmos para procesar la informaci\u00f3n. Y si estos datos est\u00e1n sesgados, que es lo que suele ocurrir, podemos imaginarnos las consecuencias. Por eso el algoritmo de la polic\u00eda predictiva en Estados Unidos genera patrullajes policiales en barrios de personas latinas y negras, porque el algoritmo fue entrenado solo con delitos comunes, como robos, hurtos, tr\u00e1fico de drogas, en este entrenamiento no se incluyeron delitos de guante blanco como blanqueo de capitales, evasi\u00f3n de impuestos o tr\u00e1fico de influencias. Si el algoritmo fuese entrenado tomando en cuenta este tipo de delitos probablemente ver\u00edamos muchas patrullas en barrios de zonas acomodadas. \u00bfExiste alguna forma de evitar estos sesgos?, bueno, una manera ser\u00eda mediante la posibilidad de hacer auditor\u00edas externas para saber con qu\u00e9 datos se ha entrenado al algoritmo y si su uso est\u00e1 produciendo o no alg\u00fan tipo de discriminaci\u00f3n. Pero, ojo, este tema es mucho m\u00e1s complejo que el simple sesgo algor\u00edtmico, tambi\u00e9n debemos tener en cuenta con qu\u00e9 fines se est\u00e1 utilizando tecnolog\u00eda de inteligencia artificial. Por ejemplo, podemos tener un algoritmo muy bien entrenado pero cuyo objetivo sea interceptar embarcaciones de personas migrantes para desviarlas a otro destino, con lo cual se estar\u00edan violando derechos internacionales de las personas en tr\u00e1nsito.<\/p>\n Lo que pasa es que se est\u00e1n utilizando tecnolog\u00edas de inteligencia artificial como c\u00e1maras de visi\u00f3n nocturna, perros robots, drones o detecci\u00f3n de se\u00f1ales de telefon\u00eda m\u00f3vil en el mar para evitar la entrada de personas migrantes a determinados territorios. Por eso desde AlgoRace decimos que se est\u00e1 \u201cautomatizando\u201d el racismo, porque los gobiernos se est\u00e1n apoyando en este tipo de tecnolog\u00edas para oprimir a las poblaciones racializadas y migrantes. Este a\u00f1o el gobierno de Espa\u00f1a va a implementar en los pasos fronterizos de Ceuta y Melilla la llamada \u201cfrontera inteligente\u201d, un dispositivo que va a consistir en la recogida de datos biom\u00e9tricos de todas las personas que cruzan por esta ruta. Adem\u00e1s de sus datos personales, se les va a tomar sus huellas dactilares y una fotograf\u00eda del rostro. Dicen que esto es para agilizar las solicitudes de asilo y para luchar contra el terrorismo. Primero, lo \u00fanico que hace falta para agilizar las solicitudes de asilo es voluntad pol\u00edtica, es decir, terminar con las trabas burocr\u00e1ticas; segundo, es bien sabido que las pol\u00edticas antiterroristas terminan derivando en discriminaci\u00f3n y criminalizaci\u00f3n de determinados grupos demogr\u00e1ficos y en una propagaci\u00f3n de la islamofobia. Y recordemos que los algoritmos de reconocimiento facial arrojan errores en rostros de personas no cauc\u00e1sicas\u2026 adem\u00e1s de esto, la recogida de toda esta informaci\u00f3n en frontera supone una violaci\u00f3n al derecho a la privacidad que tenemos todas las personas y que, en este caso, se ver\u00e1 vulnerado. Y lo que es m\u00e1s grave, como se trata de personas en gran situaci\u00f3n de vulnerabilidad, no contar\u00e1n con las herramientas necesarias para defenderse ante esta injusticia.<\/p>\n Los sistemas de decisi\u00f3n automatizada (SDAs) hacen referencia a aquellas decisiones que se realizan a trav\u00e9s del uso de medios tecnol\u00f3gicos que utilizan IA y que, a menudo, utilizan tambi\u00e9n la elaboraci\u00f3n de perfiles. Un ejemplo muy concreto ser\u00eda el de un algoritmo utilizado por una entidad bancaria que realiza perfiles de las personas que solicitan un cr\u00e9dito bancario con el objetivo de determinar, en base a los resultados de esos perfiles, a qui\u00e9nes le concede el cr\u00e9dito y a qui\u00e9nes no. Aqu\u00ed volvemos al tema del entrenamiento del algoritmo. Si el dise\u00f1ador entren\u00f3 al algoritmo para puntuar negativamente a los perfiles de mujeres migrantes, madres solteras, residentes en barrios obreros, una mujer con estas caracter\u00edsticas nunca podr\u00e1 obtener el cr\u00e9dito bancario, aunque tenga las condiciones econ\u00f3micas para pagarlo. En el caso de este ejemplo, estar\u00edamos ante un sesgo algor\u00edtmico de raza, g\u00e9nero y clase.<\/p>\n Muchos algoritmos necesitan para su entrenamiento de un gran volumen de datos previamente etiquetados. En nuestro informe ponemos el ejemplo de un algoritmo que se quiere dise\u00f1ar para identificar cu\u00e1ndo un tweet contiene un mensaje de odio. En este caso, ser\u00e1 necesario \u201centrenar\u201d al algoritmo con una muestra amplia de textos que un equipo de personas etiquet\u00f3 como \u201codio\u201d y de otra muestra amplia de textos que este mismo equipo etiquet\u00f3 como \u201cno odio\u201d. Un algoritmo de este tipo puede llegar a necesitar millones de datos previamente etiquetados por un equipo de trabajo. En muchas ocasiones esta tarea de etiquetado la realizan personas racializadas en condiciones laborales muy precarias, en las que cobran por dato etiquetado, por eso hablamos de tecnoprecariedad para referirnos a esta repercusi\u00f3n del uso de IA. Otra repercusi\u00f3n bastante preocupante es la del impacto clim\u00e1tico que tiene para los pa\u00edses del sur global el desarrollo de IA. Hay que tener en cuenta que para construir un ordenador que codifique IA y un servidor que almacene datos se necesitan materias primas como litio, cobalto, silicio, etc., que son extra\u00eddas por multinacionales occidentales en territorios de Am\u00e9rica Latina y \u00c1frica, y que la basura tecnol\u00f3gica que ya no se utiliza, como ordenadores, pantallas, servidores, etc., va a parar a pa\u00edses como India o Ghana.<\/p>\n A mediano plazo estamos preparando otro informe, esta vez centrado en la implementaci\u00f3n de la llamada frontera inteligente en Ceuta y Melilla. Lo que queremos es concienciar sobre las consecuencias sociales que tiene el desarrollo e implementaci\u00f3n de la IA en determinados grupos demogr\u00e1ficos. No somos tecn\u00f3fobos, creemos que la IA es muy necesaria en campos, por ejemplo, como la medicina, donde puede aportar grandes beneficios a la humanidad. Lo que venimos a decir es que, en muchos otros \u00e1mbitos, no se est\u00e1 utilizando la IA en beneficio de las personas, sino que, por el contrario, se est\u00e1n repitiendo patrones hist\u00f3ricos de discriminaci\u00f3n racial, de clase y de g\u00e9nero.<\/p>\n","protected":false},"excerpt":{"rendered":" Paula Guerra C\u00e1ceres es chilena de origen, licenciada en Comunicaci\u00f3n Social y M\u00e1ster en Acci\u00f3n…<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[96],"tags":[],"class_list":["post-5199","post","type-post","status-publish","format-standard","hentry","category-entrevistas-eu"],"yoast_head":"\n\u00bfC\u00f3mo surge AlgoRace?<\/strong><\/h3>\n
\u00bfQui\u00e9nes la compon\u00e9is? <\/strong><\/h3>\n
\u00bfQu\u00e9 es la Inteligencia Artificial y qu\u00e9 relaci\u00f3n tiene con nuestra realidad m\u00e1s tangible?<\/strong><\/h3>\n
\u00bfEs algo nuevo la IA con sesgo racial y de g\u00e9nero?<\/strong><\/h3>\n
\u00bfQui\u00e9n entrena a los algoritmos? \u00bfHay alguna forma de evitar que los sesgos humanos permeen en la IA?<\/strong><\/h3>\n
IA y fronteras: \u00bfqu\u00e9 est\u00e1 ocurriendo?<\/strong><\/h3>\n
\u00bfC\u00f3mo se genera discriminaci\u00f3n a trav\u00e9s la IA y las SDAs? <\/strong><\/h3>\n
\u00bfQu\u00e9 otras repercusiones genera la IA? (tecnoprecariedad, impacto clim\u00e1tico\u2026)<\/strong><\/h3>\n
\u00bfQu\u00e9 objetivos ten\u00e9is en AlgoRace a corto y medio plazo? \u00bfQu\u00e9 esper\u00e1is obtener con vuestra labor?<\/strong><\/h3>\n