La IA no fa miracles d'escombraries

Diuen que l’ordre dels factors no altera el producte. Però si els factors són un desastre, el producte també ho serà. I en tecnologia, aquest desastre té un nom: GIGO (Garbage In, Garbage Out), i els RAG són un aparador d’aquesta nova manera de veure el món.

Tots hem sentit parlar de FIFO (First In, First Out) i LIFO (Last In, First Out). FIFO és l’ordre natural de la vida: el primer que entra és el primer que surt, com una cua al supermercat. LIFO, en canvi, és el model que aplica qualsevol criatura quan reparteix galetes: l’última per ell, la primera també.

Però aquests sistemes de gestió de dades són anecdòtics quan el problema real el 2025 és el GIGO: si el que entra és una brossa, el que surt també. Tant se val com la IA processa la informació, perquè si les dades d’entrada són defectuoses, els resultats seran igual de dolents. A casa meva, quan el peix no és bo, la sarsuela surt mediocre.

"Tant se val com la IA processa la informació, perquè si les dades d’entrada són defectuoses, els resultats seran igual de dolents"

Si pensem en intel·ligència artificial, ja tenim exemples reals de GIGO a dojo.

1. Amazon i el seu sistema de contractació masclista
   Amazon va dissenyar una IA per filtrar currículums. El problema? Estava entrenada amb dades històriques de contractació on la majoria dels contractats eren homes. Solució de la IA? Penalitzar qualsevol CV que mencionés la paraula “dona” (women’s chess club captain = descartat).
2. El xatbot racista de Microsoft
   Microsoft va llançar Tay, una IA conversacional, a Twitter amb la idea que aprengués dels usuaris. En menys de 24 hores, s’havia convertit en un monstre xenòfob, perquè —sorpresa!— els usuaris li van ensenyar el pitjor d’Internet.
3. Les IA generatives i els “fets alternatius”
   Xatbots com ChatGPT, Gemini o Grok poden fabricar dades falses sense cap problema si han estat entrenats amb informació errònia o esbiaixada. Advocats que han presentat jurisprudència inventada, periodistes que han confiat massa en resums automàtics i estudiants que han lliurat treballs amb cites inexistents en són exemples quotidians.

I no em malinterpreteu, com ja vaig dir al VIA Empresa, els grans problemes tecnològics són problemes reals i poc tecnificats.

Quan governs i empreses prenen decisions basades en dades dolentes, els resultats poden ser catastròfics a la vida real. Des d’algoritmes bancaris que deneguen crèdits i hipoteques de forma discriminatòria fins a sistemes de predicció policial que amplifiquen els prejudicis racials, la tecnologia no és neutral: només reflecteix allò que li posem a dins.

Si vols saber-ne més

 

   

Gina Tost-Els grans problemes tecnològics no són tecnològics

No hi ha cap IA que pugui processar merda i escopir filigranes d’or. Jo no l’he trobada. Si volem que els sistemes digitals siguin útils, cal invertir en dades de qualitat, sistemes transparents i models entrenats de forma responsable. 

Els nous models de ChatGPT s’han tornat més cautelosos amb les respostes, però perquè s’han adonat que l’entrada d’informació indiscriminada era absolutament estrambòtica, i el resultat eren disbarats amb segell d'autoritat. El que ara anomenen «miratges» o «al·lucinacions» de la IA, són cagades monumentals.

"No hi ha cap IA que pugui processar merda i escopir filigranes d’or"

Ho millorarem? Clar. Necessitem temps per generar dades, per netejar-les, ordenar-les, endreçar-les… però a la cursa per ser la millor eina d’IA sembla que no n’hi ha, de temps.

FIFO i LIFO poden ajudar a organitzar la informació, però si no deixem d’alimentar la tecnologia amb escombraries, només aconseguirem resultats escombraria. Si vols menjar sa, no mengis menjar ràpid. Necessites temps per fer una bona base per les llenties, i aquestes surten més bones si les fas amb temps i calma.