Plató, Guixanet i el Sant Jordi de les màquines

Les màquines ja fa temps que llegeixen* tot el que generem. Imatges, vídeos, metadades però per sobre de tot textos. Alexa, Siri, Google Home i altres assistents de veu ens llegeixen en veu alta el que abans han llegit a Viquipèdia; el Gmail llegeix el correu abans que nosaltres per filtrar-lo de correu brossa; el GPS llegeix les rutes que fem per proposar-nos-en d’alternatives; i Netflix i la tele llegeixen els nostres patrons de navegació i visionat per fer-nos recomanacions.

El que és novetat, novetat de fa un any i mig, és la voracitat amb la qual les màquines llegeixen tot el que escrivim nosaltres… i el que escriuen elles! Els grans models de llenguatge —LLM— que tant ens fascinen necessiten llegir grans quantitats de dades per poder entendre què entenem els humans per llenguatge o per imatges i així ser competents en la seva generació. No sorprèn saber que a mesura que han anat llegint més quantitats de text els models s’han tornat més intel·ligents*. Per posar un exemple: segons els testos estàndard MMLU, el ChatGPT 2 tenia una fiabilitat del 32%, el 3 del 54% i el 4 del 85%. Sembla una exponencial que s’estronca, emperò, amb la comparativa amb el ChatGPT4 Turbo que només és del 87% (experts com Gary Marcus diuen que el ChatGPT 4 Turbo havia de ser el ChatGPT 5, però com que els ha sortit canari li han dit Turbo per no cremar el 5).

Podria ser que la IA generativa hagués topat amb un mur? Molts experts, el Marcus entre ells, ja fa anys que van escriure que la IA generativa no és un tema d’escala, que no per posar-hi més màquina, més paràmetres i més dades els models milloraran infinitament. La minsa millora del ChatGPT Turbo envers el 4 així ho demostraria. De fet, un article acadèmic molt interessant de la Universitat de Cornell demostra que mentre les competències d’aquests models —la mal anomenada intel·ligència— augmenten de manera lineal, la quantitat de dades que cal per atènyer aquesta millora ha d’augmentar de manera exponencial. El mur.

I és en aquesta esbojarrada cursa per tenir més dades, de més qualitat i per a tenir el model més competent que ens trobem, bé, que es troben els grans. Microsoft —via OpenAI— Meta, Antrhopic i Mistral a França, no paren de treure models que fan pràcticament el mateix, amb resultats similars perquè han estat entrenats —han llegit— tots les mateixes dades, totes les dades que hi ha disponibles: s’han passat internet. I ara què? Ens hi pot ajudar la IA?

Si una cosa saben fer bé aquests LLM és generar text que nosaltres interpretem com a escrit per persones. D’aquí que sigui la joguina preferida dels estudiants a l’hora de lliurar treballs (avís: es nota d’una hora lluny) i de qualsevol spammer que vol muntar un blog amb contingut refregit. Com que ens hem acabat tot el que hem escrit les persones ja comencem a entrenar els LLM amb contingut que generen ells mateixos. Si el mur ja semblava infranquejable ara el fem més alt i més fort a cada entrenament.

Que el contingut que generen aquests LLM sigui versemblant no vol dir que sigui veritat. Ho podeu comprovar vosaltres mateixos donant aquest apunt a ChatGPT: “Fes una biografia del Guixanet de Tàrrega i explica la influència de la seva mascota en la seva visió de la IA”. ChatGPT ens explica de manera molt convincent sobre com “el seu gos Bit no només li va proporcionar inspiració, sinó que també va obrir els ulls de Guixanet a una nova manera d'entendre la relació entre la tecnologia i la natura”, que és molt bonic. Si no fos perquè està totalment inventat.

"Les màquines llegeixen més que nosaltres"

Guixanet (1920-1986) era el sobrenom de Francesc Rius Guixà de Tàrrega, i tot i que hauria pogut fer recerca en IA, destaca perquè era un venedor ambulant de cacaus i xufles que trobaves a la sortida del futbol i del cinema. Era característic per la seva poca estatura per culpa d’una malaltia del creixement i per la seva barretina. Un personatge molt estimat per tothom.

Un altre personatge també molt característic pel seu físic va ser el filòsof Plató*. Plató és notícia perquè finalment hem sabut on està enterrat. Se sabia que era a la seva acadèmia d’Atenes però no el lloc precís. Finalment s’ha sabut que va ser enterrat l’any 347 aC en un jardí privat de la seva acadèmia al costat del Museion, el temple dedicat a les muses. També hem sabut que quan va caure esclau d’Esparta l'any 404 va ser a l’illa d’Egina i no a l’illa de Sicília com es creia. I tot això ho sabem gràcies a la IA que ha estat capaç de llegir els papirs carbonitzats pel Vesubi l’any 79 dC de la Casa dels Papirs d’Ercolano. Quan dic papirs us heu d’imaginar una mena de cilindres de carbó que no es poden llegir i molt menys obrir sense reduir-los a pols. L’equip del Dr. en informàtica Brent Seales i especialista en visió per computador i IA van ser capaços d’escanejar els papirs sense obrir-los amb una tècnica que en diuen “desembolicada virtual”. Els van penjar a la xarxa perquè la comunitat d’IA provés de llegir els papirs i desxifrar-ne el contingut. Després d’uns inicis molt modestos finalment la IA ha pogut llegir 1000 paraules més que han canviat la història. Queden 1.800 papirs més per llegir que qui sap què ens ensenyaran del nostre passat.

Les màquines llegeixen més que nosaltres. La majoria dels llibres que vam comprar o ens van regalar dimarts passat per Sant Jordi ens quedaran per llegir a nosaltres però no a les màquines; serviran per als propers entrenaments dels LLM. I si no, d’aquí a 2.000 anys algú altre en llegirà les cendres.