Hace unos años, las conversaciones se centraban exclusivamente en algoritmos, inteligencia artificial y datos. El debate giraba en torno a dos grandes temas: las posibilidades que estos avances tecnológicos podían ofrecer y los riesgos que podrían conllevar a corto plazo. Los debates en centros culturales estaban llenos de talleres de divulgación y capacitación sobre estos temas, como si nos estuviéramos preparando para un apocalipsis inminente. Las conversaciones entre amigos siempre incluían alguna novedad sobre la tecnología del momento que nos dejaba asombrados. Uno de los libros que más revolucionó este momento de euforia innovadora fue la publicación del libro de Virginia Eubanks, La automatización de la desigualdad. Herramientas de tecnología avanzada para supervisar y castigar a los pobres (Capitán Swing, 2018).
Que había discriminación en los algoritmos, o incluso la sospecha de que la fantasía tecnológica no era tan perfecta como sus entusiastas afirmaban, era un secreto a voces. Que las empresas tecnológicas que hasta ese momento no habían mostrado ningún tipo de simpatía por los problemas sociales no iban a resolver, de repente, todos los retos de nuestras sociedades contemporáneas. Sin embargo, fue con la publicación del libro de la profesora de Ciencias Políticas de la Universidad de Albany que se comenzó a hablar con datos sobre la mesa. En este libro, que más bien funciona como una recopilación de casos y ejemplos, la autora relata su investigación sobre la discriminación basada en datos y cómo la tecnología puede afectar los derechos civiles y la equidad económica en las diferentes regiones del mundo y los múltiples sectores sociales.
"Los debates en centros culturales estaban llenos de talleres de divulgación y capacitación sobre estos temas, como si nos estuviéramos preparando para un apocalipsis inminente"
Desde un punto de vista filosófico, hay una reflexión importantísima que Eubanks pone sobre la mesa con esta obra: no importa cuán complejas sean las máquinas ni cuántas inteligencias diferentes puedan desarrollar, el caso es que no tienen moral. Y no tienen moral, no porque no puedan desarrollarla, sino porque ya están programadas con una moral. Una moral que no es consciente de ser moral. A ver si me explico. Cuando programamos una máquina desde una serie de valores que tenemos tan interiorizados que creemos que son prioridades universalizables, los transmitimos a una máquina. Pensando que esa máquina se mantiene neutral, en realidad, esa máquina absorbe esos patrones de reflexión y los repite y perfecciona en los suyos propios. Por eso, en la mayoría de los casos, cuando una máquina discrimina, no se trata de una confabulación maléfica para ignorar a propósito los intereses o necesidades de un grupo de personas, ya de por sí marginadas por el sistema. Es algo mucho peor: una completa ignorancia de su relevancia, un desinterés absoluto sobre las condiciones de las personas que no tienen las mismas circunstancias que quien elabora el plan, la estrategia o la política.
Como afirmaba en una entrevista con El Salto hace unos años: "políticamente hemos asumido el marco de la escasez y, cuando tenemos que tomar decisiones difíciles, basadas en esa austeridad, confiamos en las herramientas tecnológicas para que las tomen por nosotros". Dejamos que las decisiones queden en manos de unas estructuras que hemos programado pensando que eran neutrales, pero que, en realidad, solo repiten patrones del statu quo. Mientras una sociedad tenga desigualdades, opresiones sistémicas y grupos desfavorecidos, y no seamos todos sensibles a la manera en que pueden quedar invisibilizados en un sistema basado en la tecnología y los datos, viviremos el terrible riesgo de la perpetuación de la desigualdad a través de la automatización. Para solucionar este problema, la autora plantea transgredir el marco de la austeridad para entrar en un escenario de abundancia, diversidad y comprensión de la complejidad de los sistemas tecnológicos y su aplicación a favor de la justicia social.
"Dejamos que las decisiones queden en manos de unas estructuras que hemos programado pensando que eran neutrales, pero que, en realidad, solo repiten patrones del statu quo"
Por eso, más allá del interés de los casos planteados por la autora, lo más importante que aporta esta obra es entender cómo la falta de atención a ciertos patrones preestablecidos y la ausencia de pensamiento crítico sobre lo que posiblemente estamos dejando de lado es uno de los hechos más temibles al programar las máquinas del futuro. Mucho más peligrosos que los errores del sistema derivados de la mala fe.