Che cosa fa l’intelligenza artificiale quando nessuno guarda, e perché l’attenzione è tornata a essere una virtù pratica

Ogni tecnologia potente obbedisce alla stessa regola: dove si può fare tanto, si può fare anche il male. È valso per il fuoco, per la chimica, per l’energia atomica, per la rete. Vale oggi per l’intelligenza artificiale, con una differenza di ritmo. Qui il bene e il male si producono con lo stesso gesto, alla stessa velocità, spesso senza che chi lo compie se ne accorga.

Il male più visibile è anche il meno insidioso. Nel 2024, a Hong Kong, un impiegato di una multinazionale ha versato venticinque milioni di dollari dopo una videoconferenza con il direttore finanziario e alcuni colleghi. Erano tutti ricostruzioni sintetiche: le facce, le voci, il tono impaziente di chi ha fretta di chiudere una pratica. La truffa aveva un copione antico. La novità stava nel prezzo di recitarla bene, sceso quasi a zero. Le nostre difese, l’orecchio che riconosce una voce, l’occhio che coglie una stonatura, erano tarate su un mondo in cui falsificare costava caro. Quel mondo è finito, e questo è già un buon motivo per riscrivere qualche abitudine (CNN).

Poi c’è un buio più profondo, che riguarda la macchina stessa. Un modello linguistico è una distesa di centinaia di miliardi di numeri, regolati su quantità di testo che una persona leggerebbe in mille vite. Chi lo progetta riesce a spiegare solo in parte perché a una certa domanda risponda in un certo modo. Usiamo strumenti la cui affidabilità si misura dall’esterno, per statistica, come si misurerebbe la tenuta di un ponte contando i ponti crollati. Con una differenza: un ponte ha un progetto leggibile e materiali ispezionabili.

C’è infine il buio più diffuso, quello che nasce dove nessuno ha stabilito chi debba guardare. Negli uffici, dipendenti che incollano contratti, cartelle cliniche e verbali riservati dentro strumenti gratuiti, perché il lavoro va consegnato e il sistema aziendale, quando esiste, è lento. Nelle istituzioni, algoritmi che assegnano un punteggio alla nostra affidabilità creditizia, scremano curricula, stabiliscono la priorità di una pratica, e lo fanno da anni all’insaputa di chi ne subisce gli effetti. E adesso agenti che prenotano, negoziano, leggono la posta e rispondono per conto nostro, incontrando per strada documenti scritti da altri agenti. Questa forma di buio ha una proprietà scomoda: cresce insieme all’adozione, come le infrastrutture che smettiamo di vedere proprio quando diventano indispensabili.

Attraversa tutto questo una difficoltà che riguarda le parole. Una macchina addestrata a produrre il testo più plausibile può generare una frase impeccabile che descrive una sentenza mai emessa, uno studio mai pubblicato, un dosaggio inventato. Chi mente conosce il vero e lo nasconde, chi sbaglia lo cercava e lo ha mancato: qui accade qualcosa di diverso, perché l’obiettivo era un altro fin dall’inizio. Alcuni avvocati americani se ne sono accorti tardi, dopo aver depositato in tribunale precedenti giudiziari che non erano mai esistiti.

E qui si arriva al punto che merita la massima attenzione, perché smentisce l’idea rassicurante che il pericolo abbia sempre un colpevole con le mani sulla tastiera.

Una macchina che apprende si nutre di testo, e ogni bocca è un ingresso. Per condizionare un sistema si possono lasciare in pace i suoi server e limitarsi a scrivere qualcosa nel luogo dove quel sistema passerà a mangiare. I grandi archivi di addestramento conservano indirizzi web, e al momento della raccolta vanno a bussare a milioni di porte; alcune, nel frattempo, sono state lasciate libere dai proprietari, e chi le ricompra decide che cosa troverà chi bussa. Le fotografie periodiche delle enciclopedie collaborative seguono un calendario prevedibile, e una modifica malevola deve trovarsi in pagina soltanto nell’istante dello scatto: i revisori la cancelleranno pochi minuti dopo, l’archivio la conserverà per anni. E la quantità necessaria è molto minore di quanto si credesse: la ricerca più recente indica che poche centinaia di documenti, dispersi in miliardi, possono lasciare in un modello un comportamento nascosto che si attiva a comando. La scala, quindi, protegge assai meno di quanto suggerisca l’intuizione.

Il caso più istruttivo è però quello in cui l’avvelenatore manca del tutto. Un assistente scrive codice e cita una libreria che non esiste; l’errore si ripete, perché è un difetto stabile e non un caso; qualcuno registra quel nome nel deposito pubblico dei programmi; lo sviluppatore successivo lo installa senza sospetti. Nessuno ha manomesso la macchina. È bastato occupare il vuoto che il suo errore aveva aperto nel mondo.

Fuori da ogni intenzione, poi, resta il problema più semplice. Un archivio raccoglie ironia, satira e finzione insieme alle affermazioni serie, perché la battuta ha la stessa forma grammaticale della ricetta. Nel 2024 i riassunti automatici del più grande motore di ricerca hanno consigliato di aggiungere colla alla salsa perché la mozzarella restasse attaccata alla pizza: la fonte era uno scherzo pubblicato undici anni prima su un forum. Uno studio scientifico ritirato continua a essere citato per anni, perché l’affermazione originale è stata ripetuta migliaia di volte e la smentita una sola. Ne emerge la regola che governa questi sistemi, e che vale la pena tenere a mente ogni volta che una risposta arriva in tono sicuro: la selezione avviene per ripetibilità, prima che per verità. Ciò che torna molte volte diventa struttura, quale che sia la sua origine.

Tutto questo, infine, pesa davvero. I centri di calcolo consumano oggi una quota crescente dell’elettricità mondiale, e ogni domanda che poniamo a un assistente corrisponde a una centrale che lavora e a un impianto che consuma acqua per raffreddare i processori. L’interfaccia resta pulita perché il costo è altrove.

Che cosa si può fare, allora, senza attendere il governo del mondo. Molto, e quasi sempre a poco prezzo. Considerare falsa, fino a prova contraria, ogni richiesta urgente e insolita, chiunque sembri farla, e riprendere l’abitudine antica di richiamare: chiudere la comunicazione, comporre il numero che si conosce, chiedere conferma su un canale diverso. Stabilire in anticipo, dove decidono le macchine, le soglie oltre le quali il sistema si ferma da solo, come le borse hanno imparato a fare dopo i crolli improvvisi degli algoritmi. Rendere lo strumento aziendale il più comodo da usare, perché il divieto senza alternativa produce soltanto il sommerso. Chiedere che chi mette in circolazione questi sistemi risponda dei danni come risponde chiunque venda un prodotto, poiché la responsabilità rende conveniente cercare i propri difetti prima che li trovi qualcun altro. E conservare almeno un punto di osservazione esterno: una telefonata, una misura fatta sul posto, una persona che ha visto con i propri occhi.

Sono precauzioni ordinarie, e proprio l’ordinarietà le rende efficaci. Chiedono attenzione, cioè la facoltà che questi strumenti promettono di risparmiarci e che invece, adesso, ci conviene esercitare di più. Perché dove si può fare tanto si può fare anche il male, e nessuna macchina ci ha mai sollevati dal compito di guardare.

Giuseppe Orzati con il supporto di diverse Ai Linguistiche (Claude, Kimi K3, DeepSeek, Perplexity, Chat GPT, Gemini)