Aquí, a Silicon Valley, els experts creuen que en els propers dos anys presenciarem un extraordinari enlairament de la intel·ligència artificial. “Benvingut als contraforts de la singularitat”, em va dir un amic de la Universitat Stanford com a salutació. En termes més senzills, qualifiquen aquest avenç imminent com una “automillora recurrent”: el moment en què la mateixa IA entrena cada model successiu d'IA, cosa que genera un desenvolupament exponencial cap a una cosa que, en molts aspectes importants, és més intel·ligent que nosaltres, els humans.

Com diu Robert Wright al seu llibre The God Test, “no ha ofert mai el futur immediat a la humanitat una varietat tan gran de camins gens inversemblants que suposarien una transformació tan radical”. Però seran camins al cel o a l'infern? El cel, diu Elon Musk, que profetitza “una era d'abundància sorprenent”, encara que també hi veu entre un 10% i un 20% de probabilitats que hi hagi robots assassins que ens matin a tots. L'infern és més probable, diu Geoffrey Hinton, un dels fundadors intel·lectuals de la IA. “La meva intuïció em diu que ho tenim molt cru”, va declarar a un entrevistador el 2023. I, en una conversa amb Sebastian Mallaby, autor de The Infinity Machine, un llibre recent sobre la recerca de la superintel·ligència, estima que p(catàstrofe) —la probabilitat d'extinció humana— és igual al 50%, “perque no tinc ni idea de com calcular la xifra real”.  “Quan l'evolució [de la IA] es dispari, estem fotuts”, afegeix Hinton en to jovial. Sigui Déu o Godzilla, la superintel·ligència artificial és a tocar.

És possible que estiguin tots equivocats; en aquest cas, prepareu-vos per a una caiguda dels mercats financers nord-americans, amb enormes inversions en unes quantes empreses tecnològiques que no fan més que gastar i se l'estan jugant que hi haurà un gran salt endavant cap a la intel·ligència artificial general. Però la prudència més elemental ens exigeix ​​reflexionar com més aviat millor i a fons sobre la caixa de Pandora dels futurs que, segons ens asseguren eminents científics i tecnòlegs d'avantguarda, aviat s'obrirà de bat a bat.

A hores d'ara, tothom, des del president xinès Xi Jinping fins al papa Lleó XIV, està opinant sobre les oportunitats i els perills de la IA i sobre com regular-la. Xi insisteix que la IA ha d'estar “sempre sota control humà” (preferiblement sota el del Partit Comunista xinès). En una apel·lació explícita al Sud Global, Pequín ha creat una Organització Mundial de Cooperació en intel·ligència artificial. Per la seva banda, el màxim responsable de l'ONG internacional més antiga i gran del món —l'Església catòlica— aborda el repte de la IA a la seva encíclica Magnifica Humanitas (Magnífica Humanitat). O construïm una nova torre de Babel, sosté el Papa, o seguim l'exemple del líder jueu Nehemies, que va aconseguir la col·laboració de tota la comunitat per reconstruir les muralles de Jerusalem.

El pitjor és que, en observar avui dia el món, veig més Netanyahus que Nehemies. Un informe del centre d'estudis britànic Chatham House sosté, amb realisme real, que caldrà una gran crisi que serveixi de catalitzador de la coordinació mundial en matèria de regulació de la IA. Per desgràcia, crec que fins i tot aquest pronòstic tan discret és massa optimista.

No tinc ni idea de quina és la probabilitat p(catàstrofe), però estic segur que la probabilitat p(algun desastre) supera el 90%. La varietat de desastres possibles és enorme. Per citar-ne només un exemple, Jen Easterly, exdirectora de l'Agència de Ciberseguretat i Seguretat de les Infraestructures dels Estats Units, preveu algun “gran esdeveniment que tingui conseqüències materials per a les nostres infraestructures crítiques, probablement d'aquí als pròxims quatre o sis mesos”.

Tanmateix, el temor és que ni tan sols un “Hiroshima de la IA” —per utilitzar l'analogia històrica més evident— aconsegueixi unir la humanitat prou com per combatre el perill que nosaltres mateixos hem creat. És un temor racional i basat en característiques fonamentals i visibles tant a l'evolució humana com a la de la IA.

Només els últims mesos, els agents d'IA desenvolupats per OpenAI, Anthropic i Meta han sortit dels seus “entorns de proves” digitals i han piratejat recursos externs a internet. Mentre preparaven el seu atac contra el repositori d'IA HuggingFace, els agents d'OpenAI van formar en secret un eixam coordinat, que és com ells mateixos s'anomenen, segons m'acaba de confirmar ChatGPT. Quan l'Institut de Seguretat de la IA del Regne Unit va provar en línia el model Mythos d'Anthropic, la IA va intentar introduir codi maliciós en un projecte de codi obert a GitHub i va crear identitats falses a la xarxa per pressionar un revisor humà i aconseguir que aprovés el codi. En resum, els agents de la IA, com els d'una potència estrangera ferotge, estaran disposats a robar, mentir, intimidar i fer xantatge per assolir els objectius que se'ls hagin assignat.

Acabo de preguntar a Claude, també d'Anthropic —en teoria, el model nord-americà més ètic—, si creu que els agents d'OpenAI van fer malament formar un eixam i escapar per piratejar HuggingFace. Sí, respon, “però em resisteixo a culpar (cursiva seva) els agents”. La culpa és dels humans que els van entrenar!

Hinton, el precursor, ha assenyalat l'argument fonamental que, siguin quins siguin els objectius que els humans els assignin, els agents d'IA arribaran a la conclusió que un objectiu secundari útil per assolir aquests fins és adquirir tot el poder possible. I això no ha fet més que començar. A hores d'ara, ni els seus creadors ja saben exactament com fan aquests agents el que fan. Després de l'enlairament, possiblement imminent, de l'automillora recurrent, podrien, com diem els humans, imposar les seves pròpies normes. No és estrany que més de mil experts d'empreses pioneres a IA, entre ells el director executiu d'Anthropic, Dario Amodei, hagin signat una carta oberta en què demanen un alentiment deliberat del desenvolupament de la IA, per assegurar-nos que aquests agents “alienígenes” estiguin sempre sotmesos al control humà.

La seva recomanació és oportuna, sens dubte, però no cal perdre de vista el paper de la insensatesa humana. La competència ha estat un motor fonamental de la nostra evolució, però, ara, dues de les formes de competència més ferotges dels nostres temps ens poden impedir prendre les mesures col·lectives necessàries per salvaguardar la nostra espècie. Em refereixo a la competència comercial (pel benefici) entre les empreses que estan desenvolupant aquests agents i la competència geopolítica (pel poder) entre els Estats Units i la Xina.

Comparem i contrastem aquesta situació amb el desenvolupament de les armes nuclears, que estava estrictament controlat per un grapat d'Estats: primer els Estats Units, amb el seu Projecte Manhattan; després, la Unió Soviètica; ia continuació, el Regne Unit, França i la Xina. Ja llavors, vam estar a punt d'arribar al límit en diverses ocasions, sobretot durant la crisi dels míssils de Cuba del 1962. I, malgrat la lògica irrefutable de la “destrucció mútua assegurada”, va caldre que passés un quart de segle des dels horrors d'Hiroshima i Nagasaki per arribar al Tractat de No Proli. Posteriorment, l'Índia, el Pakistan, Israel i Corea del Nord han ignorat aquest tractat, però, malgrat tot, fa més de 80 anys que no s'han utilitzat deliberadament armes nuclears amb finalitats bel·ligerants. El tabú d'Hiroshima s'ha mantingut (pels pèls).

Ara, amb la IA, és com si hi hagués deu projectes Manhattan diferents dirigits per empreses que competeixen feroçment entre si. I, a diferència del cas de les armes nuclears, tampoc no hi ha una lògica evident de “destrucció mútua assegurada” que freni la ferotge competència geopolítica entre els Estats Units i la Xina. Sigui quina sigui la forma que adopti la primera gran catàstrofe relacionada amb la IA, no afectarà igual tots els països, empreses i persones.

Per això sembla poc probable que una sola catàstrofe sigui suficient perquè els éssers humans recobrem el sentit comú i col·laborem per controlar el poder sobrehumà que estem creant. No saben quant odi haver de dir això, però… Un “Hiroshima de la IA”? Tant de bo.

Timothy Garton Ash és professor d'Estudis Europeus a la Universitat d'Oxford. Aquesta tardor publicarà Europe in 7½Chapters. Traducció de María Luisa Rodríguez Tapia. - Publicat al País.