Algoritmos racistas

De entre los muchos algoritmos que tiene Twitter para maximizar el compromiso de los usuarios hay uno que es capaz de reconocer las partes más importantes de una foto y centrarlas en la previsualización de la línea de tiempo. Tiene sentido en un entorno de competencia por la atención adonde el píxel de pantalla es un bien escaso. El trabajo de este algoritmo sale a cuenta de resultados de la empresa de San Francisco. Y desde el pasado sábado, también en Twitter.

Todo empezó cuando Colin Madland denunció por Twitter el hecho de que la aplicación de videoconferencia Zoom cortaba la cabeza a las personas negras cuando se ponían una imagen de fondo. Lo ilustraba con dos tuits: el primero con una imagen de una captura de Zoom en pantalla partida donde a la derecha de la imagen era él y a la izquierda el hombre invisible; y el segundo, con la misma imagen pero el hombre invisible no era tal sino que era un compañero de carrera de piel negra. La diferencia entre un tuit y el otro es que en el primero el compañero negro se había puesto una imagen de fondo.

La conclusión de Colin fue inicialmente que Zoom tiene un algoritmo de detección facial "de mierda, que borra las caras negras", en palabras suyas. Y aquí empezó el festival. Un par de tuits más abajo, en el mismo hilo, preguntaba a la parroquia si sabía porque en la versión móvil de Twitter, la parte de la imagen que se mostraba era la de la derecha, que coincidía con su cara, que coincide que es blanca (recordad que la imagen inicial era una captura de Zoom a pantalla partida donde se ve una persona blanca a la derecha y una negra a la izquierda).

A faculty member has been asking how to stop Zoom from removing his head when he usas a virtual background. We suggested the usual plain background, good lighting etc, but it didn't work. Y was in a meeting with him today when Y realized why it was happening.

— Colin Madland (@colinmadland) September 19, 2020

Para asegurarse que no era ningún sesgo del algoritmo de selección de Twitter, hizo el tuit con la captura de la videoconferencia de Zoom pero esta vez con él a la izquierda y su compañero negro, a la derecha. Nada, el algoritmo continuaba seleccionando la cara de la persona blanca como destacada a la hora de elegir una.

A partir de aquí Twitter hizo su magia. El usuario Toni Arcieri (@bascule) hizo una prueba similar, esta vez con dos imágenes en formato tira de fotomatón, él una con la cara de Mitch McConnell (blanco) en la parte superior y Barack Obama en la parte inferior, y la otra al revés. En las dos ocasiones el algoritmo de Twitter seleccionaba a la persona blanca en la visualización previa. A esta comprobación le siguieron la de fotos de modelos, de perros e incluso de personajes de Simpson. En todos los casos el algoritmo mostraba a los blancos y escondía a los negros.

En 2017 un trabajador negro de Facebook en Nigeria compartía un vídeo donde denunciaba el mal funcionamiento de un dispensador de jabón de sensor óptico. El vídeo muestra como su colega blanco pone la mano debajo y sale jabón, mientras que cuando lo hace él no pasa nada.

El 2015 un programador negro neoyorquino denunciaba en las redes sociales que una foto donde salían él y una amiga había sido etiquetada por Google con el término "gorila". El algoritmo de Google ya había sido tildado de racista porque en 2016 la búsqueda de 'tres adolescentes negros' daba como resultado retratos policiales, mientras que 'tres adolescentes blancos' mostraba chicos blancos sonrientes jugando al tenis. Podríamos seguir con ejemplos de discriminación algorítmica hacia negras, mujeres (¡mujeres negras!) u otros colectivos.

¿Son racistas los algoritmos de Google y de Twitter? ¿El de la célula fotosensible que activa el dispensador de jabón? ¿Discriminan una opción u otra siguiendo unas directivas de apartheid digital? Pues resulta que no. Los algoritmos son competentes en dominios particulares pero no comprenden lo que hacen, del mismo modo que una colonia de termitas o una de abejas capaces de producir resultados muy complejos sin ser conscientes.
Quien en cambio tiene a la vez competencia y comprensión —efecto Dunning-Krueger a parte— somos nosotros. Nosotros sabemos aquello que nos atrae y el esfuerzo que estamos dispuestos a hacer para obtenerlo y los algoritmos de aprendizaje de Google, Twitter, Facebook e Instagram lo aprenden en cada interacción que hacemos. Por lo tanto, en el caso de Twitter, si estos algoritmos detectan que una mayoría de gente se siente más atraída por las fotos de personas blancas que por las de personas negras —le decimos con nuestros clicks, me gusta y retuits— primará las imágenes de personas blancas.

Como el funcionamiento de estos algoritmos escapa a nuestra comprensión, a menudo también a la de sus creadores, para encontrar una solución nos podemos fijar en lo más sencillo de los que he citado: el del secador de manos. Una célula fotoeléctrica que decide de manera binaria si activa o no el dispensador. ¿La solución para que no discrimine a la gente de piel negra? Un ingeniero negro del equipo; el error habría salido al primer día. Si extrapolamos esto al resto de equipos de los diferentes algoritmos, llegaremos a la conclusión que cuanto más complejo el algoritmo, más grande la necesidad de equipos diversos en todos los ámbitos. En las tecnológicas de Silicon Valley cerca del 50% de los trabajadores son blancos, con los negros ocupando un porcentaje testimonial que va del 3,3 al 17%. La que tiene más proporción de blancos y menos de negros es Google con un 54,4 y un 3,3%, respectivamente (Techcrunch, 2019).

Y no me vengáis con el argumento que no hay bastante licenciados en STEM que sean negros; el hecho que no haya es que el problema es estructural de la sociedad, de quien los algoritmos aprende los valores y no sus decisiones, que son coyunturales. El problema viene de mucho antes.