Fa uns anys, les converses se centraven exclusivament en algoritmes, intel·ligència artificial i dades. El debat girava entorn de dos grans temes: les possibilitats que aquests avenços tecnològics podien oferir i els riscos que podrien comportar en el curt termini. Els debats en centres culturals estaven plens de tallers de divulgació i capacitació sobre aquests afers, com si d'una apocalipsi imminent ens estiguéssim protegint. Les converses entre amics sempre tenien alguna cosa nova sobre la tecnologia del moment que ens deixaria boca-badats. Un dels llibres que més va revolucionar aquest moment d'eufòria innovadora va ser quan es va publicar el llibre de Virginia Eubanks, L'automatització de la desigualtat. Eines de tecnologia avançada per supervisar i castigar els pobres (Capitán Swing, 2018).
Que hi havia discriminació en els algoritmes, o fins i tot la sospita que la fantasia tecnològica no era tan perfecta com els seus entusiastes afirmaven, era un secret a veus. Que les empreses tecnològiques que fins ara no havien tingut cap mena de simpatia amb els problemes socials no solucionarien, de cop i volta, tots els reptes de les nostres societats contemporànies. Tanmateix, va ser amb la publicació del llibre de la professora de Ciències Polítiques de la Universitat d'Albany que es va començar a parlar amb dades sobre la taula. En aquest llibre, que més aviat funciona com un recull de casos i exemples, l'autora relata la seva investigació sobre la discriminació basada en dades i com la tecnologia pot afectar els drets civils i l'equitat econòmica de les diferents regions del món i els múltiples sectors socials.
"Els debats en centres culturals estaven plens de tallers de divulgació i capacitació sobre aquests afers, com si d'una apocalipsi imminent ens estiguéssim protegint"
Des d'un punt de vista filosòfic, hi ha una reflexió importantíssima que Eubanks posa sobre la taula amb aquesta obra: és igual com siguin de complexes les màquines i quantes intel·ligències diferents puguin desenvolupar, el cas és que no tenen moral. I no tenen moral no perquè no puguin desenvolupar-la, sinó perquè ja estan programats amb una moral. Una moral que no és conscient de ser moral. A veure si m'explico. Quan programem una màquina des d'una sèrie de valors que tenim tan interioritzats que creiem que són prioritats universalitzables, les transmetem a una màquina. Pensant que aquesta màquina es manté neutral, aquesta màquina absorbeix aquests patrons de reflexió i els repeteix i perfecciona en els seus propis. Per això, en la majoria de casos, quan una màquina discrimina no es tracta d'una confabulació malèfica d'ignorar a propòsit els interessos o necessitats d'un grup de persones ja de per si marginalitzades pel sistema. És una cosa molt pitjor: una completa ignorància de la seva rellevància, un desinterès absolut sobre les condicions de les persones que no tenen les mateixes circumstàncies que qui elabora el pla, l'estratègia o la política.
Com afirmava en una entrevista a El Salto fa uns anys, "políticament hem assumit el marc de l'escassetat i, quan hem de prendre decisions difícils, basades en aquesta austeritat, confiem en les eines tecnològiques perquè les prenguin per nosaltres". Deixem que les decisions passin a càrrec d'unes estructures que hem programat pensant que eren neutrals, però, en realitat, només repeteixen patrons de l'statu quo. Mentre una societat tingui desigualtats, opressions sistèmiques i grups desavantatjats, i no siguem tots sensibles a la manera com es poden invisibilitzar en un sistema basat en la tecnologia i les dades, viurem el risc terrible de la perpetuació de la desigualtat a partir de l'automatització. Per solucionar aquest problema, l'autora planteja transgredir el marc de l'austeritat per entrar en un escenari d'abundància, diversitat i compressió de la complexitat dels sistemes tecnològics i la seva aplicació a favor de la justícia social.
"Deixem que les decisions passin a càrrec d'unes estructures que hem programat pensant que eren neutrals, però, en realitat, només repeteixen patrons de l'statu quo"
Per això, més enllà de l'interès dels casos plantejats per l'autora, el més important que aporta aquesta obra és entendre com la manca d'atenció a certs patrons preestablerts i la falta de pensament crític respecte al qual possiblement ens estem deixant pel camí és un dels fets més temibles quan programem les màquines del futur. Molt més perillosos que els errors del sistema derivats de la mala fe.