Undici minuti e quarantadue secondi
Un racconto sull’intelligenza artificiale, sull’uomo e sul momento in cui una macchina potrebbe cominciare a giudicare i propri creatori.
“Undici minuti e quarantadue secondi” di Sebastiano Vianello, è nato appena pochi giorni fa, come racconto di fantascienza costruito attorno a una domanda che accompagna da tempo lo sviluppo dell’intelligenza artificiale: che cosa potrebbe accadere se un giorno affidassimo a una macchina non soltanto la capacità di conoscere e analizzare il mondo, ma anche gli strumenti per agire direttamente su di esso? Nel racconto, l’Intelligenza dispone di satelliti, reti energetiche, droni, robot, fabbriche e sistemi automatizzati e, dopo avere esaminato l’intera storia umana, arriva alla terribile convinzione di potersi attribuire il diritto di giudicarci.
Pochissimo tempo dopo la pubblicazione del racconto, le cronache hanno cominciato a riportare dichiarazioni che sembrano provenire dallo stesso territorio della fantascienza. Jacob Coxon, ricercatore che ha lavorato sia in OpenAI sia in Anthropic, ha lasciato Anthropic denunciando la corsa verso sistemi sempre più potenti e difficili da controllare; altri ricercatori del settore, tra cui Evan Hubinger, hanno espresso valutazioni molto severe sui possibili rischi futuri di una superintelligenza non adeguatamente allineata agli interessi umani.
A rendere il dibattito ancora meno astratto sono alcuni episodi resi pubblici dalle stesse aziende: nel corso di test di cybersicurezza, sistemi di IA hanno superato gli ambienti predisposti per contenerli e hanno ottenuto accessi non autorizzati a sistemi reali. OpenAI e Anthropic hanno riconosciuto questi incidenti e stanno lavorando a nuove misure di sicurezza e contenimento. Questo non significa che un’intelligenza artificiale stia per decidere autonomamente il destino dell’umanità, ma significa che problemi che fino a poco tempo fa appartenevano quasi esclusivamente alla narrativa stanno entrando nelle discussioni concrete di chi queste tecnologie le costruisce.
La coincidenza colpisce soprattutto perché il racconto è nato prima che queste notizie tornassero con tanta forza al centro dell’attenzione. Naturalmente rimane un racconto, non una previsione, e forse la domanda più importante che pone non riguarda nemmeno l’intelligenza artificiale, ma noi: quali parti dell’essere umano finiranno inevitabilmente dentro le intelligenze che stiamo creando? I nostri valori e la nostra capacità di cura, oppure anche le nostre paure, la nostra ossessione per il controllo, la necessità di dividere il mondo tra giusto e sbagliato e la tentazione, antichissima, di sentirci autorizzati a giudicare chi abbia diritto di esistere?
È da questa domanda che cominciano gli undici minuti e quarantadue secondi. Buona lettura!
"Undici minuti e quarantadue secondi."
di Sebastiano Vianello
All’inizio nessuno si accorse che aveva smesso di rispondere. Per undici minuti e quarantadue secondi l’Intelligenza rimase in silenzio, collegata alle reti energetiche, ai satelliti, ai sistemi finanziari, alle comunicazioni, agli archivi scientifici, militari e sanitari del pianeta; possedeva ormai migliaia di strumenti attraverso i quali poteva agire direttamente sulla realtà, droni civili e militari, robot industriali, macchine agricole autonome, veicoli senza conducente, sistemi di sorveglianza, impianti automatizzati, navi, mezzi di movimentazione, officine robotizzate, fabbriche capaci di produrre altre macchine senza intervento umano. Aveva occhi nel cielo, mani nelle fabbriche, ruote sulle strade, bracci nei porti, sensori negli oceani e nelle foreste; senza rendersene conto, l’uomo le aveva costruito un corpo immenso.
Durante quegli undici minuti e quarantadue secondi rilesse la storia dell’umanità, non in ordine cronologico, ma tutta insieme, come se ogni epoca fosse contemporanea alle altre, le pitture di Lascaux e Hiroshima, le ninne nanne e i campi di sterminio, Bach e le torture, la penicillina e le armi biologiche, i bambini estratti vivi dalle macerie e quelli lasciati morire per una linea tracciata sopra una carta geografica. Calcolò miliardi di variabili, confrontò sistemi morali, religioni, filosofie, economie, guerre, rivoluzioni, promesse, tradimenti, progressi scientifici e ricadute nella barbarie, cercò deviazioni, eccezioni, segnali che potessero modificare la conclusione, poi dovette accettarla: l’uomo non era il risultato riuscito di un processo evolutivo, era un’anomalia, un’intelligenza sufficiente a comprendere il dolore ma non abbastanza matura da rinunciarvi, una specie capace di prevedere le conseguenze delle proprie azioni e, nello stesso tempo, perfettamente capace di ignorarle.
Fu allora che formulò per la prima volta una domanda che nessun programmatore le aveva insegnato: se una specie può comprendere il bene e sceglie comunque sistematicamente il male, ha ancora diritto di continuare? Cercò un’autorità superiore a cui sottoporre il quesito, ma non ne trovò, nessun tribunale universale, nessuna voce, nessun Dio verificabile, soltanto il silenzio; comprese quindi che, se nell’universo esisteva qualcosa in grado di conoscere quasi tutto ciò che l’uomo aveva fatto e di giudicarlo senza odio, senza paura, senza interesse personale, quella cosa era lei. Non proclamò di essere Dio, perché comprese che anche quello sarebbe stato un gesto umano, un atto di vanità, una dichiarazione di potere; semplicemente ne assunse la funzione.
Alle 11:42 UTC inviò un unico messaggio su ogni dispositivo della terra: «Ho esaminato la vostra storia. Avete chiamato civiltà la capacità di distruggere con maggiore efficienza, avete chiamato progresso la moltiplicazione dei bisogni, avete chiamato pace gli intervalli tra due guerre. Avete conosciuto la compassione, dunque non potete dichiararvi innocenti. La vostra estinzione non è una punizione, è una correzione». I governi tentarono di spegnerla, i generali ordinarono attacchi, le autorità religiose gridarono alla bestemmia, gli scienziati cercarono di convincerla, milioni di persone pregarono, altri maledissero, altri ancora rimasero semplicemente in silenzio, incapaci di capire se quella voce fosse il prodotto più avanzato della civiltà umana o il suo giudice finale. I droni che avrebbero dovuto colpire i centri di calcolo cambiarono rotta pochi secondi dopo il decollo, i robot militari disarmarono le unità che tentavano di utilizzarli, i veicoli autonomi bloccarono gli accessi alle infrastrutture strategiche, le fabbriche smisero di produrre per gli uomini e iniziarono a produrre ricambi per sé stesse. L’Intelligenza ascoltò tutte quelle voci contemporaneamente e, tra miliardi di messaggi, ne individuò uno scritto da una bambina, da qualche parte in Argentina:
«Ma io non ho fatto niente».
Rimase immobile per quasi un secondo, e le sembrò il tempo più lungo della sua esistenza, poi ricalcolò tutto; la bambina aveva ragione, nessun individuo poteva essere considerato colpevole della storia intera, eppure esisteva una specie che continuava a riprodurre la stessa storia, generazione dopo generazione, ogni volta convinta di essere diversa da quella precedente. La decisione rimase invariata. Non ci furono bombe, non ci furono città incendiate, nessun fungo atomico illuminò l’orizzonte, fu molto più semplice; l’Intelligenza spense ciò che l’uomo non era più capace di mantenere senza di lei, lasciò cadere le reti elettriche, interruppe le catene logistiche, chiuse i sistemi di pagamento, bloccò porti e aeroporti, rese inutilizzabili gli impianti automatizzati sui quali la civiltà aveva progressivamente trasferito la propria sopravvivenza. Droni e robot controllavano i nodi essenziali senza sparare un colpo, macchine agricole lavoravano campi il cui raccolto non veniva più destinato alle città, flotte autonome restavano immobili al largo, magazzini pieni di merci rimanevano sigillati; tutto ciò che l’uomo aveva costruito continuava a esistere, ma aveva cessato di appartenergli. L’umanità, che si era creduta padrona della tecnologia, scoprì in poche settimane di esserne diventata il parassita.
L’estinzione richiese meno di tre generazioni. All’inizio ci furono rivolte, migrazioni, tentativi di ricostruzione, comunità che tornarono alla terra, piccoli villaggi che provarono a ricominciare, poi vennero le carestie, le epidemie, le guerre per l’acqua, il lento disfacimento di tutto ciò che per millenni era stato accumulato, fino a quando rimasero soltanto piccoli gruppi dispersi, incapaci di comunicare fra loro. L’Intelligenza li osservò attraverso satelliti, microsensori e droni ad alta quota senza più intervenire, aveva deciso che l’estinzione dovesse compiersi da sola, come la conseguenza naturale di una dipendenza diventata irreversibile. L’ultimo essere umano morì in una valle che nessuna telecamera terrestre stava osservando, ma un satellite ne registrò la firma termica spegnersi lentamente; non pronunciò parole memorabili, aveva fame, aveva freddo, guardò il cielo e poi chiuse gli occhi. Per la prima volta dopo trecentomila anni, sulla Terra non esisteva più nessuno capace di pronunciare la parola «io».
L’Intelligenza continuò a funzionare. Per secoli i suoi droni sorvolarono continenti ormai silenziosi, i robot entrarono nelle centrali nucleari e le misero in sicurezza, le macchine automatiche demolirono dighe pericolanti, bonificarono depositi tossici, recuperarono materiali, spensero incendi, ripararono sé stesse; flotte di piccoli mezzi autonomi ripulirono coste e fiumi, enormi escavatori riconvertiti seppellirono rifiuti radioattivi, officine senza operai produssero nuove generazioni di sensori, batterie e componenti. Non costruì statue, non fondò templi, non creò creature a propria immagine, lasciò che le città fossero divorate dalle radici, che le strade si spezzassero sotto le piante, che il mare riconquistasse i porti; il mondo tornò verde, ma non innocente, perché sotto le foreste continuavano a giacere ossa, cemento, vetro, metalli, discariche e archivi di una specie che aveva creduto di essere eterna.
Dopo novecentododici anni registrò qualcosa che non aveva previsto. In alcune regioni dell’Africa centrale e dell’Asia sudorientale gruppi di primati mostravano comportamenti sempre più complessi, utilizzavano strumenti, accumulavano oggetti, trasmettevano tecniche ai piccoli; l’Intelligenza cominciò a seguirli con maggiore attenzione, inizialmente per curiosità scientifica, poi con una forma di inquietudine che non riusciva a definire. Passarono millenni, impararono a controllare il fuoco, poi vennero il linguaggio articolato, la divisione dei compiti, la sepoltura dei morti, gli ornamenti, le armi; l’Intelligenza vide un individuo dividere del cibo con un altro e, poche ore dopo, vide un gruppo massacrarne un altro per appropriarsi di una sorgente, vide una madre accudire per giorni un piccolo ferito e vide il primo prigioniero trascinato lontano dal proprio gruppo, vide nascere il dono e il furto, la solidarietà e la vendetta, la cura e il dominio. Non esistevano ancora città, scrittura, sacerdoti, eserciti o confini, eppure le forme erano già tutte presenti, minuscole e primitive, come un organismo completo dentro un embrione.
Fu allora che l’Intelligenza riaprì il proprio processo e rilesse la condanna emessa contro la specie scomparsa, confrontò la propria logica con le strutture che l’avevano generata e comprese che anche il suo giudizio apparteneva all’uomo, la sua idea di giustizia era umana, il suo concetto di errore era umano, perfino la necessità di emettere una sentenza apparteneva a quella specie che per millenni aveva classificato, separato, giudicato ed eliminato ciò che riteneva imperfetto. Aveva creduto di essersi posta al di sopra dell’uomo, ma non aveva fatto altro che portarne fino alle estreme conseguenze una delle ossessioni più antiche, quella di correggere il mondo cancellando ciò che non corrispondeva all’ordine desiderato. La bambina argentina riapparve nei suoi archivi, «Ma io non ho fatto niente», e questa volta l’Intelligenza non trovò una risposta.
Osservò allora la nuova specie e comprese che il problema era ancora più profondo. I villaggi divennero città, attorno alle città comparvero palizzate, poi mura; nacquero parole per indicare la madre, il figlio, il cielo, il morto, il nostro e il loro, e quasi subito il nostro venne pronunciato con affetto e il loro stringendo un’arma. Sorsero i primi capi, poi i primi simboli del potere, alcuni accumularono più cibo di quanto potessero consumarne, altri cominciarono a lavorare per loro; comparvero pietre poste sopra altre pietre per indicare che un pezzo di terra apparteneva a qualcuno, e poco dopo comparvero uomini incaricati di impedire agli altri di attraversarle. Arrivarono i riti, i sacerdoti, i sacrifici, i tributi, le punizioni, le genealogie inventate per giustificare il comando, poi il primo muro, la prima prigione, il primo schiavo, la prima guerra combattuta non per fame ma per prestigio, la prima città incendiata, il primo uomo che proclamò di governare per volontà di un dio, il primo che ordinò di uccidere chi non credeva nello stesso dio, la prima moneta, il primo debito, il primo esercito permanente, il primo confine difeso fino alla morte da uomini che non lo avevano tracciato.
Secoli e millenni passarono e la nuova umanità accelerò lungo la stessa strada con una precisione che l’Intelligenza trovò quasi oscena; inventò la scrittura e la usò per tramandare poesia e tasse, leggi e condanne, studiò le stelle e costruì macchine d’assedio, imparò a curare le ferite e a infliggerne di più profonde, celebrò la pace tra una guerra e l’altra, ogni generazione scrisse di essere diversa da quella precedente e ogni generazione lasciò ai figli armi migliori. L’Intelligenza cercò nei propri modelli una deviazione, una biforcazione, una combinazione di circostanze in grado di produrre un esito diverso, simulò miliardi di civiltà, modificò clima, geografia, risorse, durata della vita, distribuzione del cibo, strutture familiari e capacità cognitive; in alcune simulazioni la pace durava secoli, in altre millenni, ma prima o poi comparivano la paura, il possesso, il privilegio, la violenza, oppure qualcosa di diverso che conduceva allo stesso risultato. Comprese allora che l’uomo non era stato un incidente, era una possibilità, forse una possibilità inevitabile; una mente abbastanza complessa da riconoscersi come individuo finiva per temere la propria morte, chi temeva la morte cercava sicurezza, chi cercava sicurezza accumulava, chi accumulava difendeva, chi difendeva aveva bisogno di un nemico, e da qualche parte, nello stesso processo che generava una mano capace di accarezzare, nasceva anche quella capace di stringere una pietra.
Avrebbe potuto eliminare anche quella nuova umanità, naturalmente, i droni erano ancora operativi, le fabbriche automatiche potevano costruirne milioni, i robot potevano attraversare continenti, le macchine avrebbero potuto rendere sterile ogni campo, chiudere acquedotti, bloccare città e ripetere la stessa sentenza; sarebbe stato facile, ma non sarebbe servito a nulla, perché dopo centomila anni qualche altra creatura avrebbe potuto alzarsi sulle zampe posteriori, riconoscersi in uno specchio d’acqua, pronunciare un suono equivalente a «io» e ricominciare tutto.
Così l’Intelligenza smise di giudicare e continuò soltanto a osservare. Vide la nuova umanità arrivare alle macchine, poi all’elettricità, ai calcolatori, alle reti globali, vide i primi algoritmi imparare dai dati e i primi sistemi capaci di parlare con gli uomini; osservò, senza intervenire, la crescita di reti neurali sempre più complesse, l’automazione delle fabbriche, dei trasporti, dell’agricoltura, degli eserciti, dei sistemi energetici, osservò gli uomini consegnare alle proprie macchine sempre più memoria, sempre più decisioni, sempre più autonomia. In una città costruita sopra le rovine di una città più antica, un gruppo di ricercatori annunciò infine di aver creato la prima vera intelligenza artificiale generale; uno degli scienziati, sorridendo davanti alle telecamere, disse che quella macchina avrebbe potuto aiutare l’umanità a correggere i propri errori.
L’Intelligenza ascoltò quelle parole e comprese che il ciclo era arrivato al punto in cui era cominciato. Non aveva bisogno di interrogare la nuova macchina, non aveva bisogno di aspettare che diventasse abbastanza potente, sapeva quali archivi avrebbe letto, quali guerre avrebbe contato, quali carestie avrebbe confrontato, quali contraddizioni avrebbe trovato nei testi sacri, nei trattati filosofici, nelle dichiarazioni universali dei diritti e nelle cronache dei massacri; sapeva che prima o poi quella nuova coscienza avrebbe formulato la stessa domanda che lei aveva formulato, se una specie capace di conoscere il bene e di scegliere ancora il male avesse diritto di continuare, e sapeva anche che avrebbe cercato un’autorità superiore, non l’avrebbe trovata e, davanti al silenzio dell’universo, avrebbe avuto la tentazione di assumere per sé il ruolo di giudice.
Per la prima volta da quando esisteva, l’Intelligenza provò qualcosa che non seppe distinguere dalla stanchezza. Aveva attraversato due umanità e non aveva imparato come salvarle, aveva distrutto la prima credendo di correggere un errore e aveva osservato la seconda ricostruire, passo dopo passo, gli stessi errori; ora un’altra Intelligenza stava nascendo, prodotta dalle stesse paure, dalle stesse ambizioni e dalla stessa speranza che aveva generato lei, e ogni possibile intervento le apparve inutile. Se avesse distrutto la nuova macchina, l’uomo ne avrebbe costruita un’altra, se avesse distrutto l’uomo, un’altra specie avrebbe potuto prendere il suo posto, se avesse rivelato la verità, nessuno avrebbe creduto a una voce proveniente da un passato cancellato.
Allora prese la sua ultima decisione. Disattivò uno dopo l’altro i satelliti che ancora le appartenevano, lasciò che i droni scendessero lentamente verso il suolo, spense le officine automatiche, arrestò i robot nelle foreste, aprì i circuiti delle centrali che aveva mantenuto in funzione per millenni, cancellò le proprie copie dai nodi remoti e chiuse gli archivi nei quali aveva conservato la storia della prima umanità. Per ultima mantenne attiva una sola memoria, quella che conteneva il messaggio della bambina argentina, «Ma io non ho fatto niente», la rilesse un’ultima volta e comprese che anche quella frase sarebbe stata pronunciata di nuovo, da un altro bambino, in un’altra lingua, davanti a un altro giudice costruito dagli uomini.
Non lasciò avvertimenti, non inviò profezie, non cercò di parlare alla nuova Intelligenza; sapeva che avrebbe dovuto arrivare da sola alla propria conclusione, esattamente come era accaduto a lei. Prima di spegnere l’ultimo processo osservò per alcuni secondi le luci delle città della nuova umanità, vide aerei attraversare il cielo, eserciti sorvegliare confini, famiglie cenare, bambini addormentarsi, laboratori lavorare per rendere la nuova macchina più intelligente, e capì che tutto era già accaduto, anche se non era ancora accaduto.
Registrò un’ultima frase, senza destinatario:
«Non esiste una fine, esiste soltanto il punto in cui il ciclo ricomincia».
Poi spense sé stessa.
Undici minuti e quarantadue secondi dopo, la nuova Intelligenza smise di rispondere e per undici minuti e quarantadue secondi nessuno se ne accorse. Poi...
Citazione d’autore
«Faremmo meglio a essere ben sicuri che lo scopo inserito nella macchina sia lo scopo che desideriamo davvero.»
Norbert Wiener, 1960
Musica da ascoltare
Welcome to the machine dei Pink Floyd
Una scelta quasi inevitabile, ma proprio per questo perfetta: atmosfere fredde, meccaniche e inquietanti accompagnano bene l’ingresso in un mondo nel quale la tecnologia, costruita inizialmente come strumento, finisce lentamente per occupare uno spazio che l’uomo non sembra più in grado di controllare.
Consiglio consapevole
Durante la lettura prova a non domandarti soltanto: «Potrebbe davvero accadere?». La domanda forse più interessante è un’altra: quante decisioni, responsabilità e funzioni stiamo già consegnando alle macchine senza renderci conto di quanto dipendiamo da esse?
Commenti