Algorismes racistes

D'entre els molts algorismes que té Twitter per a maximitzar el compromís dels usuaris n'hi ha un que és capaç de reconèixer les parts més importants d'una foto i centrar-les en la previsualització de la línia de temps. Té sentit en un entorn de competència per l'atenció on el píxel de pantalla és un be escàs. La feina d'aquest algorisme surt al compte de resultats de l'empresa de San Francisco. I des de dissabte passat, també a Twitter.

Tot va començar quan Colin Madland va denunciar per Twitter el fet que l'aplicació de videoconferència Zoom tallava el cap a les persones negres quan es posaven una imatge de fons. Ho il·lustrava amb dos tuits: el primer amb una imatge d'una captura de Zoom a pantalla partida on a la dreta de la imatge era ell i a l'esquerra l'home invisible; i el segon, amb la mateixa imatge però l'home invisible no era tal sinó que era un company de carrera seu de pell negra. La diferència entre un tuit i l'altre és que al primer el company negre s'havia posat una imatge de fons.

La conclusió del Colin va ser inicialment que Zoom té un algorisme de detecció facial "de merda, que esborra les cares negres", en paraules seves. I aquí va començar el festival. Un parell de tuits més aval, al mateix fil, preguntava a la parròquia si sabia perquè en la versió mòbil de Twitter, la part de la imatge que es mostrava era la de la dreta, que coincidia amb la seva cara, que coincideix que és blanca (recordeu que la imatge inicial era una captura de Zoom a pantalla partida on s'hi veu una persona blanca a la dreta i una de negra a l'esquerra).

A faculty member has been asking how to stop Zoom from removing his head when he uses a virtual background. We suggested the usual plain background, good lighting etc, but it didn't work. I was in a meeting with him today when I realized why it was happening.

— Colin Madland (@colinmadland) September 19, 2020

Per assegurar-se que no era cap biaix de l'algorisme de selecció de Twitter, va fer el tuit amb la captura de la videoconferència de Zoom però aquest cop amb ell a l'esquerra i el seu company negre a la dreta. Res, l'algorisme continuava seleccionant la cara de la persona blanca com a destacada a l'hora de triar-ne una.

A partir d'aquí Twitter va fer la seva màgia. L'usuari Toni Arcieri (@bascule) va fer una prova similar, aquest cop amb dues imatges en format tira de fotomaton, l'una amb la cara de Mitch McConnell (blanc) a la part superior i Barack Obama a la part inferior, i l'altra a l'inrevés. En totes dues ocasions l'algorisme de Twitter seleccionava la persona blanca a la visualització prèvia. A aquesta comprovació li van seguir la de fotos de models, de gossos i fins i tot de personatges dels Simpson. En tots els casos l'algorisme mostrava els blancs i amagava els negres.

El 2017 anys un treballador negre de Facebook a Nigèria compartia un vídeo on denunciava el mal funcionament d'un dispensador de sabó de sensor òptic. El vídeo mostra com el seu col·lega blanc hi posa la mà a sota i en raja sabó, mentre que quan ho fa ell no passa res.

El 2015 un programador negre novaiorquès denunciava a les xarxes socials que una foto on hi sortien ell i una amiga havia estat etiquetada per Google amb el terme "goril·la". L'algorisme de Google ja havia estat titllat de racista perquè l'any 2016 la cerca 'tres adolescents negres' donava com a resultat retrats policials, mentre que 'tres adolescents blancs' mostrava nois blancs somrients jugant a tenis. Podríem seguir amb exemples de discriminació algorísmica envers negres, dones (dones negres!) o altres col·lectius.

Són racistes els algorismes de Google i de Twitter? El de la cèl·lula fotosensible que activa el dispensador de sabó? Discriminen una opció o una altra seguint unes directives d'apartheid digital? Doncs resulta que no. Els algorismes són competents en dominis particulars però no comprenen el que fan, de la mateixa manera que una colònia de tèrmits o una d'abelles capaces de produir resultats molt complexos sense ser-ne conscients.
Qui en canvi té alhora competència i comprensió —efecte Dunning-Krueger a banda— som nosaltres. Nosaltres sabem allò que ens atrau i l'esforç que estem disposats a fer per obtenir-ho i els algorismes d'aprenentatge de Google, Twitter, Facebook i Instagram ho aprenen a cada interacció que fem. Per tant, en el cas de Twitter, si aquests algorismes detecten que una majoria de gent se sent més atreta per les fotos de persones blanques que per les de persones negres —li diem amb els nostres clics, m'agrada i retuits— primarà les imatges de persones blanques.

Com que el funcionament d'aquests algorismes escapa a la nostra comprensió, sovint també a la dels seus creadors, per mirar de trobar-hi una solució ens podem fixar en el més senzill dels que he citat: el de l'assecador de mans. Una cèl·lula fotoelèctrica que decideix de manera binària si activa o no el dispensador. La solució perquè no discrimini la gent de pell negra? Un enginyer negre a l'equip; l'error hauria sortit al primer dia. Si extrapolem això a la resta d'equips dels diferents algorismes, arribarem a la conclusió que com més complex l'algorisme més gran la necessitat d'equips diversos en tots els àmbits. A les tecnològiques de Silicon Valley vora el 50% dels treballadors són blancs, amb els negres ocupant un percentatge testimonial que va del 3,3 al 17%. La que té més proporció de blancs i menys de negres és Google amb un 54,4 i un 3,3%, respectivament (Techcrunch, 2019).

I no em vingueu amb l'argument que no hi ha prou llicenciats en STEM que siguin negres; el fet que no n'hi hagi és que el problema és estructural de la societat de qui els algorismes n'aprenen els valors i no en les seves decisions que són conjunturals. El problema ve de molt abans.