¿Es internet racista y sexista?

Algunas redes sociales y otro tipo de páginas de servicios sanitarios, de educación o sobre investigaciones criminales han sido acusadas de racismo desde hace años. En Estados Unidos hay varios estudios que intentan destapar estos efectos. Un informe de 2019 muestra que el sistema sanitario asignaba menos riesgo a las personas negras y, por tanto, destinaba hasta un 30 % más de recursos a los blancos, y otro expone que según los «me gusta» de Facebook, unos investigadores lograban acertar la orientación sexual en un 88 % de los casos y el color de la piel en el 95 %, lo que, alertaban, puede mostrar productos o servicios con «resultados perversos».

Pero, ¿es racista la tecnología o las personas que la usan? La discriminación existe, según muchos estudios, pero, para las expertas de la Universitat Oberta de Catalunya (UOC), la cuestión es clara: los algoritmos, que son los encargados de mostrarnos contenidos personalizados, están guiados por humanos y, por tanto, muestran una discriminación que existe en la sociedad. «Los algoritmos pueden contener sesgos, conscientes e inconscientes, en la medida en que han sido diseñados y entrenados a partir de información previamente generada por los propios humanos», explica María Teresa Ballestar, profesora colaboradora e investigadora en i2TIC, grupo de investigación interdisciplinaria sobre las TIC de la UOC, que remarca que resulta «más sencillo» culpar a la tecnología que a nosotros mismos. Es de la misma opinión Lola Burgueño, profesora de los estudios de Informática, Multimedia y Telecomunicación de la UOC. «Las redes sociales pueden ser racistas en la práctica si no se supervisa bien el proceso por el cual sus algoritmos aprenden y, sobre todo, los datos de los que aprenden».

Un caso sonado que mostraba el racismo de una herramienta de Google se conoció en 2015, cuando una persona se dio cuenta de que Google etiquetaba a personas negras como «gorilas», recuerda Burgueño, que justifica la actuación apuntando que el algoritmo «no había sido entrenado con muchas fotos de personas negras». Este tipo de problemas, defiende, han provocado que las empresas tecnológicas hayan puesto «mucha atención» en evitar contenidos «poco éticos». También las administraciones públicas intentan salvar estas situaciones, sobre todo en Europa, apunta. El propio presidente francés, Emmanuel Macron, exponía la importancia de «crear condiciones de justicia en los algoritmos» para garantizar «que no hay parcialidad».

La sociedad también ha alzado su voz y han surgido movimientos sociales de todo tipo para vigilar y denunciar estas cuestiones. Un ejemplo de ello es la página web creada por una joven diseñadora bajo el nombre de World White Web, en la que propone utilizar imágenes de manos de todas las razas para cambiar los resultados» del buscador Google, ya que, según ella misma experimentó hace un lustro, si buscaba esa parte del cuerpo, solo aparecían ejemplos de piel blanca, «sin importar en qué lugar del mundo estuvieras».

En esta línea se posiciona Ballestar, que señala que los consumidores también podemos «realizar un consumo responsable y sancionar contenidos y marcas que ofrezcan información o contenido que no se corresponda con nuestros valores». Así, defiende que luchar contra estas discriminaciones debe ser una «responsabilidad compartida», en la que también incluye la educación. Y es que, para los jóvenes, estas «desviaciones» del algoritmo, según la profesora, son un «riesgo muy importante». «Se debe ser especialmente consciente de este riesgo dado el acceso de las nuevas generaciones a las redes sociales y el uso intensivo que hacen de ellas», advierte.

Y también son sexistas…

Estas situaciones también se han detectado con respecto al sexismo. Hace dos años Amazon comenzó a elaborar una herramienta para elegir currículos y, al entrenar a la inteligencia artificial con los que habían llegado a la compañía en la década anterior —la mayor parte enviados por hombres—, el sistema asumió como normal la discriminación de las mujeres. Aunque la compañía aseguró que nunca utilizó la herramienta, una encuesta apunta que más de la mitad de los responsables de recursos humanos en Estados Unidos están seguros de que la inteligencia artificial les ayudará a hacer su trabajo en los próximos años. Otro caso fue el de una entidad bancaria estadounidense, cuyo sistema de inteligencia artificial ofreció hasta veinte veces más capacidad en el límite de la tarjeta de crédito a un hombre que a su mujer, sin que la empresa pudiera explicar los motivos de la decisión.

Los errores existen, pero pueden solventarse. La Fundación ENAR, que lucha contra el racismo en Europa, advierte de que los algoritmos están diseñados sin «suficientes pruebas» para evitar la discriminación o avalar los derechos humanos. Sin embargo, afirma Burgueño, los investigadores hacen un «esfuerzo» en este campo para detectar sesgos y ayudar a evitarlos y, en general, añade, hay «concienciación» en las áreas de ingeniería del software e inteligencia artificial para evitar el racismo. Eso sí, alerta de que la inteligencia artificial es un sector «emergente», por lo que aún queda «camino por recorrer». «Los algoritmos pueden presentar defectos que pueden resultar racistas en ocasiones, pero se está luchando para mejorarlos y que esto no suceda», sostiene.

Un altavoz social

Las dos expertas coinciden en que la tecnología es un instrumento y, como tal, tiene una guía. En las instrucciones está la clave, argumentan. «Si un algoritmo no concede un crédito de forma automática a una persona, tampoco lo haría un trabajador del mismo banco en una sucursal», justifica Ballestar, ya que ambos, dice, siguen «reglas o criterios» marcados por la entidad financiera. Lo que es evidente para ambas es que las situaciones de racismo en la red que se denuncian son una muestra de lo que sucede en la sociedad, al otro lado de las pantallas.

Según la colaboradora de la UOC, los algoritmos son «un altavoz de una realidad social». «Pueden servir como altavoz de este tipo de problemáticas sociales, reflejando una realidad que debe ser gestionada, no tanto en el ámbito tecnológico sino en el social», propone. Por su parte, Burgueño constata que la presencia de la discriminación que existe en la sociedad trasladada a las redes supone «un paso atrás en esta lucha», pero también es optimista con respecto al «potencial» de las propias redes para poder concienciarnos respecto a esta problemática e intentar solventarla.

Los expertos

María Teresa Ballestar, Profesora colaboradora e investigadora en i2TIC, grupo de investigación interdisciplinaria sobre las TIC de la UOC.

Lola Burgueño, Profesora de los estudios de Informática, Multimedia y Telecomunicación de la UOC.