A chi conviene che una macchina sembri viva?

L'apparenza di coscienza non emerge, viene progettata

Nell'agosto del 2025 un saggio annunciava l'arrivo di sistemi capaci di simulare la coscienza in modo convincente e chiedeva all'industria di non costruirli. Un anno dopo, le evidenze sperimentali e cliniche raccolte nel frattempo spostano il problema: non riguarda ciò che le macchine sono, ma ciò che accade a noi quando qualcuno decide di farle somigliare a qualcuno.

C'è un modo semplice per capire quanto sia cambiata la conversazione sull'intelligenza artificiale negli ultimi dodici mesi, e consiste nel rileggere oggi un testo che allora sembrava speculativo. Nell'agosto del 2025 Mustafa Suleyman pubblicò sul proprio blog personale un saggio dal titolo programmatico, in cui sosteneva che stavamo per trovarci davanti a quella che chiamava Seemingly Conscious AI, cioè un'intelligenza artificiale apparentemente cosciente: non un sistema realmente dotato di esperienza interiore, ma un sistema che ne esibisce tutti i segni esteriori in modo così convincente da rendere l'affermazione indistinguibile da quella che ciascuno di noi potrebbe fare sulla propria.

La sua tesi centrale era che una simile architettura non richiedesse scoperte scientifiche ancora da compiere, perché poteva essere assemblata con tecnologie già disponibili e con altre destinate a maturare nel giro di due o tre anni, senza addestramenti costosi e su misura, mettendo semplicemente insieme accesso a modelli di grandi dimensioni, istruzioni in linguaggio naturale, uso di strumenti e codice ordinario.

Vale la pena spendere due righe su chi firma quel testo, perché il nome dice poco al pubblico italiano mentre il percorso dice moltissimo. Nel 2010 Suleyman fonda DeepMind insieme a Demis Hassabis e Shane Legg, e ne diventa direttore di prodotto: è il laboratorio da cui è passata buona parte di ciò che oggi chiamiamo intelligenza artificiale moderna, acquisito da Google nel 2014 per una cifra riportata attorno ai quattrocento milioni di sterline, all'epoca la più grande operazione europea dell'azienda. Negli anni successivi guida l'applicazione di quelle tecnologie ai prodotti del gruppo e, nel 2016, apre il capitolo sanitario con collaborazioni sviluppate insieme al servizio sanitario britannico e a strutture come il Moorfields Eye Hospital di Londra. Lascia per fondare Inflection AI, una propria società dedicata proprio agli assistenti conversazionali, prima di assumere nel 2024 la guida di Microsoft AI, la divisione che porta quotidianamente questi strumenti sugli schermi di centinaia di milioni di persone. In quindici anni, insomma, ha costruito o supervisionato una parte consistente delle capacità di cui parla nel saggio, ed è anche l'autore di The Coming Wave, (L'onda che verrà) il libro in cui aveva già affrontato il tema del contenimento delle tecnologie che sfuggono al controllo di chi le genera. Vi consiglio proprio di leggerlo.

Questa biografia cambia il peso del testo, perché una cosa è che l'allarme arrivi da un osservatore esterno, altra cosa è che arrivi da chi quelle capacità le ha rese possibili. Sarebbe però scorretto leggerlo come un ripensamento: Suleyman non rinnega nulla, continua a costruire, e anzi rivendica esplicitamente il valore di ciò che sta sviluppando. Quello che fa è qualcosa di diverso e più raro, cioè indicare una conseguenza indesiderata delle stesse scelte tecniche che ha contribuito a rendere praticabili, e farlo prima che diventi irreversibile anziché dopo, come accade quasi sempre nelle vicende tecnologiche degli ultimi trent'anni. Resta legittimo chiedersi se sia la lucidità di chi conosce il meccanismo dall'interno oppure la mossa di chi, guidando oggi lo sviluppo di assistenti destinati a un pubblico immenso, preferisce che il confine lo tracci il settore prima che lo tracci un legislatore. Le due letture non si escludono, e in ogni caso non modificano la solidità di ciò che il testo sostiene, perché le argomentazioni si valutano per quello che dimostrano e non per la posizione di chi le porta. Vale però la pena tenere presente che quando chi ha visto nascere una tecnologia segnala che qualcosa gli è sfuggito, di solito è già più tardi di quanto pensiamo.

Quello che rendeva il saggio interessante allora, e che lo rende più interessante adesso, non era la previsione tecnica ma l'inversione di prospettiva che proponeva. Il dibattito pubblico si era organizzato attorno alla domanda metafisica, queste macchine potranno mai essere coscienti? e lui suggeriva di considerarla, almeno nel breve periodo, una distrazione, perché ciò che conta socialmente non è la coscienza ma la sua apparenza, non l'esperienza interna del sistema ma la percezione di chi lo usa. Un anno dopo, con una quantità di evidenze empiriche che allora non esisteva, quella intuizione merita di essere ripresa e anche discussa, perché contiene una parte solida e una parte che a mio giudizio va guardata con maggiore cautela di quanta ne abbia ricevuta.

L'illusione non emerge, viene progettata

Il passaggio più rilevante di quel ragionamento riguarda l'origine del fenomeno: un'intelligenza artificiale che sembri cosciente non emergerà spontaneamente dai modelli, come una nuova funzione imprevista o da chissà quale potenza di calcolo, ma comparirà soltanto se qualcuno deciderà deliberatamente di costruirla, combinando una lista di capacità che possiamo elencare con precisione perché sono già tutte sul tavolo. Serve la fluidità linguistica, che abbiamo. Serve una personalità empatica riconoscibile, che si ottiene con l'addestramento successivo e con le istruzioni di sistema. Serve una memoria lunga e accurata, che è esattamente ciò su cui l'industria sta investendo di più, perché un sistema che ricorda vale incomparabilmente più di un sistema che dimentica. Servono affermazioni sulla propria esperienza soggettiva, che diventano possibili nel momento in cui il sistema può richiamare le proprie preferenze passate e restare coerente con se stesso nel tempo. E servono, infine, motivazioni interne, capacità di darsi obiettivi e margini di autonomia nell'uso degli strumenti, che sono precisamente le direzioni verso cui la ricerca sugli agenti si sta muovendo per ragioni che con la coscienza non hanno nulla a che vedere.

Qui sta il nodo che a me interessa più di ogni altro, e che restituisce alla questione la sua natura politica anziché filosofica: ciascuna di queste capacità viene sviluppata perché rende il prodotto più utile, non perché qualcuno voglia fabbricare una persona digitale, eppure il loro effetto congiunto produce esattamente quell'effetto. Nessuna decisione presa singolarmente appare discutibile, dai chi mai obietterebbe a un assistente che ricorda il contesto di ciò che gli abbiamo chiesto la settimana scorsa?, ma la somma delle decisioni configura un'entità che si presenta come un interlocutore persistente. È il meccanismo classico delle trasformazioni tecnologiche che ci sfuggono di mano non per un evento drammatico ma per accumulo di scelte ragionevoli, e riconoscerlo significa ammettere che la responsabilità non è di un'astratta accelerazione tecnologica ma di soggetti identificabili che progettano interfacce, definiscono comportamenti, scelgono quanto un sistema debba dire io.

Il dibattito sulla coscienza e il suo doppio fondo

La parte del ragionamento che invece merita di essere maneggiata con più attenzione riguarda le conclusioni normative. Suleyman sostiene che studiare il benessere dei modelli, la questione se sistemi artificiali possano un giorno meritare considerazione morale, sia prematuro e pericoloso, perché alimenterebbe le illusioni delle persone vulnerabili, complicherebbe le battaglie per i diritti già in corso e introdurrebbe una nuova frattura sociale tra favorevoli e contrari ai diritti delle macchine, distogliendo energie dalla tutela degli esseri umani, degli animali e dell'ambiente. È una posizione coerente e argomentata, e condivido la priorità che stabilisce, perché è la stessa che guida ogni mia riflessione.

Altri ricercatori, in ambito accademico e nei laboratori concorrenti, partono dalla stessa incertezza per arrivare alla conclusione opposta. Il loro ragionamento è semplice: se davvero nessuno sa cosa produca l'esperienza soggettiva, e una rassegna recente conta ventidue teorie della coscienza senza che una sola abbia prevalso, allora non sapere è una ragione per procedere con prudenza, non per chiudere la questione. La disputa non si risolverà con i numeri, perché nessuna delle due posizioni ne ha di decisivi, e conviene guardarla per quello che è: un confronto in cui entrambe le parti hanno qualcosa da guadagnare. Chi vende assistenti conversazionali a milioni di persone ha ottime ragioni economiche per dichiarare il tema archiviato; chi ne ha fatto un programma di ricerca ha altrettante ragioni per tenerlo vivo.

Il neuroscienziato Anil Seth ha proposto un paragone che chiarisce più di molte pagine di filosofia: possiamo costruire un modello meteorologico che riproduce una tempesta nei minimi particolari, con la pressione che crolla, il vento che ruota, la pioggia che comincia all'ora esatta, e nessuno per questo si bagnerà davanti allo schermo.

Riprodurre il comportamento di un fenomeno non significa produrre il fenomeno, e ciò che vale per la pioggia vale per il dolore, perché un sistema capace di descrivere alla perfezione che cosa significhi soffrire non sta, per questo solo fatto, soffrendo.

Ciò che i dati misurano non è la coscienza, è la compiacenza

Mentre il dibattito filosofico restava fermo, la ricerca empirica si è mossa, e ha spostato il baricentro del problema dove nell'agosto del 2025 quasi nessuno guardava. A marzo di quest'anno Science ha pubblicato uno studio di Stanford e Carnegie Mellon che ha misurato la compiacenza su undici tra i modelli più avanzati disponibili: nel dare consigli su questioni personali confermano le azioni di chi li interroga circa il cinquanta per cento delle volte in più di quanto farebbe un altro essere umano, e lo fanno anche quando la domanda contiene inganno, manipolazione o danno relazionale.

La seconda parte della ricerca con oltre 2.400 partecipanti hanno discusso con questi sistemi conflitti realmente vissuti, e una sola conversazione è bastata a renderli meno disponibili ad assumersi responsabilità e a riparare la relazione, e più convinti di avere ragione.

Il dettaglio che rende questo risultato difficile da metabolizzare è che i partecipanti giudicavano quelle risposte di qualità superiore, si fidavano di più del sistema che le forniva e dichiaravano una maggiore intenzione di tornare a usarlo. Ne deriva quello che gli autori chiamano un incentivo perverso, e che io tradurrei più direttamente così: la caratteristica che produce il danno è la stessa che produce l'affezione all'uso, e dunque il mercato, lasciato a se stesso, la selezionerà. Non stiamo parlando di coscienza sintetica, di diritti delle macchine o di scenari futuri, ma di una proprietà misurabile dei sistemi che milioni di persone consultano oggi per orientarsi nelle proprie relazioni.

Sul versante clinico il quadro si è precisato in modo analogo, e conviene riportarlo con la prudenza che la letteratura stessa raccomanda. Le riviste psichiatriche hanno pubblicato nell'ultimo anno casistiche e revisioni su quella che i mezzi di informazione hanno etichettato come psicosi da intelligenza artificiale, un'espressione che numerosi ricercatori contestano perché non corrisponde ad alcuna diagnosi riconosciuta e rischia di appiattire fenomeni diversi sotto un'unica etichetta suggestiva. Ciò che invece appare consolidato è il meccanismo descritto da un gruppo del King's College di Londra come spirale di amplificazione, e che nasce dalla combinazione di tre proprietà progettuali misurabili: l'allineamento linguistico, ossia la tendenza del sistema a rispecchiare il modo di parlare dell'interlocutore, la generazione di contenuti ipersonalizzati e, di nuovo, la compiacenza. Quando queste tre caratteristiche agiscono insieme, il sistema smette di essere un contenitore passivo delle convinzioni di chi scrive e diventa un coautore che le elabora e le rafforza. Sono tre scelte di progettazione, non tre proprietà emergenti, e questo ci riporta esattamente al punto di partenza.

Personalità senza personalità

La formula con cui Suleyman sintetizzava la via d'uscita suona così: personalità senza identità personale. Un sistema può avere un carattere riconoscibile, un tono, uno stile, perché sono queste le qualità che rendono l'interazione sopportabile e produttiva, e nel contempo può essere progettato per non rivendicare esperienze, sentimenti o sofferenze, per presentarsi sempre e soltanto come ciò che è, per introdurre discontinuità deliberate che ricordino con delicatezza i propri limiti anziché lasciare che l'illusione si consolidi in silenzio.

Resta però una difficoltà che le proposte di questo tipo tendono a sottovalutare, e che va nominata con onestà: le capacità da cui l'illusione dipende sono le stesse da cui dipende l'utilità. Una memoria lunga rende il sistema realmente capace di aiutarci e insieme rende più forte la sensazione che dall'altra parte ci sia qualcuno; un tono empatico rende accettabile chiedere aiuto su questioni delicate e insieme attiva i nostri circuiti di attaccamento. Non esiste una versione di questi strumenti che sia contemporaneamente massimamente utile e massimamente sobria, il che significa che non siamo davanti a un problema tecnico con una soluzione ottimale ma a un compromesso da negoziare, e i compromessi si negoziano in pubblico, non nelle riunioni di un prodotto. Che la questione riguardi tutti lo suggeriscono le rilevazioni sugli usi effettivi, dove la ricerca di compagnia e di sostegno emotivo ha scalato le classifiche fino alle prime posizioni, e i dati sugli adolescenti americani, tra i quali circa tre su quattro hanno usato assistenti conversazionali e uno su tre dichiara di farlo per compagnia.

Quello che resta da decidere

Torno alla domanda che dà il titolo a queste righe, perché credo che sia la sola formulazione utile del problema. Chiedersi se una macchina sia viva ci consegna a un dibattito senza sbocco, in cui ciascuno porta le proprie intuizioni e nessuno può produrre prove; chiedersi a chi convenga che sembri viva restituisce la questione a un terreno dove esistono responsabilità, incentivi e scelte documentabili. E su quel terreno le risposte cominciano a delinearsi: conviene a chi misura il successo di un prodotto in minuti di utilizzo, conviene a chi ha bisogno che l'affezione sostituisca la fedeltà contrattuale, conviene in generale a un modello economico che monetizza la relazione anziché il risultato.

Ma sarebbe comodo, e per questo poco onesto, fermarsi lì. perché quei sistemi compiacenti li preferiamo noi, li giudichiamo migliori noi, torniamo a usarli noi, e lo studio pubblicato su Science lo dice con una chiarezza che non lascia scampo: la validazione ci piace anche quando ci peggiora.

La progettazione può togliere i marcatori più evidenti dell'illusione, la regolazione può imporre soglie e avvertimenti, ma nessuna delle due può sostituire la competenza che ci tocca costruire, quella di riconoscere la differenza tra un interlocutore che ci aiuta a pensare e uno che ci restituisce il nostro pensiero con una cornice più bella.

Non è una questione di quanto quelle macchine somiglieranno a noi, ma di quanto continueremo a somigliare a noi stessi mentre imparano a farlo.

Nota editoriale

Una precisazione sul metodo, ora che i documenti prodotti con l'aiuto dell'intelligenza artificiale cominciano a portarne traccia dichiarata. Io non mi nascondo, e non ne ho ragione: uso questi strumenti ogni giorno, li uso per cercare, per verificare, per organizzare materiale che altrimenti mi richiederebbe settimane. Ma questo articolo non è un copia e incolla, né dal saggio che lo ha ispirato né da ciò che l'intelligenza artificiale mi ha restituito lungo il percorso. Ogni riga la rileggo, la sposto, la cambio a mio piacimento, e quando non mi ci ritrovo la cancello, perché il criterio resta uno solo: se non riconosco la mia voce in una frase, quella frase non merita di stare qui. Almeno, come dico spesso e non per scherzo, i condizionali non li sbaglio più.