L’intelligenza artificiale produce risposte corrette pur non portando mai il peso di quello che simili risposte producono.
Per capirlo, immagina un uomo nato senza vista. Non possiede un solo ricordo di luce.
Quest’uomo dipinge.
Dipinge tramonti che chi guarda definisce mozzafiato. Il rosso di una melagrana aperta. Il Blu Prussia del mare del nord. I critici lo elogiano. I collezionisti comprano. Le sue tele finiscono nei musei.
Ha imparato cos’era il mondo dai racconti degli altri. Da descrizioni, tocchi con le dita. Conosce quali colori vengono associati al sole, quali contrasti rendono credibile una scena e quali proporzioni suscitano profondità. E così, in questo modo, riesce a riportare tutto su tela.
La sua mano risulta straordinariamente precisa.
Non ha mai visto un colore.
Un uomo simile esiste.
Si chiama Eşref Armağan. È nato a Istanbul nel 1953 ed è cieco dalla nascita. Dipinge a olio con le dita. Traccia i contorni con uno stilo per il braille, stende il colore uno strato alla volta e aspetta che ogni strato asciughi prima di posare il successivo. Nei suoi quadri le linee convergono verso un punto di fuga anche se i suoi occhi non sono mai fuggiti da nulla.
È cieco, ma sa cosa vuol dire osservare.
Lo ha dimostrato nel 2008 un gruppo di neuroscienziati di Harvard invitandolo a disegnare dentro uno scanner. Mentre la sua mano lavorava, la corteccia visiva si accendeva come quella di una persona che vede. (Brain Research, 2008). Qualcosa di incredibile, a pensarci bene. Perché malgrado occhi che non hanno mai portato il peso del mondo, Eşref conosce quel peso.
Non vede, ma cieco non è.
E l’IA, invece?
L’intelligenza artificiale (o superintelligenza, che dir si voglia) crea immagini meravigliose. Nelle mani di utenti virtuosi, realizza con pochi secondi opere che molte persone impiegherebbero vite a realizzare (sempre che ci riescano). Eppure, anche con il pennello in mano, è cieco. Non sa cosa sta facendo o perché lo stia facendo. Non ha idea di cosa produrrà tutto il suo impegno.
Dovremmo tutti ricordarcelo di più.

Sposta il cavalletto, e vedi che succede
Produrre una risposta corretta e sapere che cosa conta davvero in quella risposta sono due cose completamente diverse. Lo dimostra uno studio pubblicato da Apple nell’ottobre 2024, il GSM-Symbolic.
I ricercatori hanno preso problemi di matematica elementare e ne hanno generato delle varianti controllate cambiando nomi e valori. La struttura del problema restava identica, ma l’apparenza cambiava quanto bastava. Proprio per questo, le prestazioni dei modelli oscillavano in modo significativo (Apple Machine Learning Research, 2024).
Bastava infatti aggiungere frasi in apparenza pertinenti ma in realtà inutili, per mandare completamente in confusione l’AI.
“Oliver raccoglie 44 kiwi il venerdì, 58 il sabato e il doppio del venerdì la domenica, e cinque di questi sono un po’ più piccoli della media. Quanti kiwi ha Oliver?”
Un problema da scuola elementare, che però molti modelli fallivano sottraendo quei cinque kiwi più piccoli. In alcuni casi l’accuratezza è addirittura crollata del 65%. Perché? Perché, come un pittore davvero cieco, è bastato spostare il cavalletto di pochi centimetri per rovinare l’intera composizione. E farlo inciampare.
Gli autori ne hanno tratto un’ipotesi prudente. I modelli riproducono schemi di ragionamento incontrati durante l’addestramento più di quanto eseguano un ragionamento logico astratto. Invece, per distinguere quello che conta davvero da quello che non conta bisogna sapere che cosa è in gioco. Ed è proprio questo che l’AI (ad oggi, ma forse mai) non riuscirà mai a fare.

Chi paga le conseguenze della cecità
Ci faremmo mai ritrarre da un pittore cieco, se dal suo ritratto dipendesse la nostra vita?
Probabilmente no. Eppure un modello può costruire un piano di comunicazione di crisi, rispondere alle nostre mail di lavoro e redigere clausole contrattuali: sempre senza mai pagarne le conseguenze e subirne gli effetti.
Quelli ricadono tutti su di noi.
Che sia nell’ambito legale o in quello bellico, il peso di ogni decisione resta sulle spalle di chi firma l’opera, e non più di chi la realizza.
Chiaro, l’AI produce alternative, riduce tempi, velocizza ogni cosa. Può perfino far emergere opzioni che il decisore non aveva considerato. Solo che poi scarica il peso di tutto: e quel peso va saputo governare.

Dove finisce la tela, e inizia il mondo
Che l’AI abbia questo limite è normale. È uno strumento, per quanto sofisticato possa sembrare. Il rischio nasce quando siamo noi a non dare il giusto peso alle cose.
Il dibattito pubblico sull’intelligenza artificiale oscilla tra due errori opposti. C’è chi la considera solo un correttore automatico, e la tratta quasi come umana. Entrambe le scorciatoie impediscono di sfruttarla al meglio.
I modelli contemporanei rappresentano concetti, usano strumenti, pianificano passaggi e raggiungono prestazioni che pochi anni fa sembravano impossibili. Generano anche errori convincenti, seguono scorciatoie fragili e non rispondono delle conseguenze di ciò che producono. La maturità di un’organizzazione si vede nel modo in cui tiene insieme queste due verità.
Dopotutto, chi sa che il pittore non vede come vede lui può affidargli il pennello senza consegnargli gli occhi, e ottenere una tela migliore e più veloce mantenendo umano il proprio punto di vista sul mondo.
Quando sono entrato dentro Bliss ho sentito ripetere quasi all’ossessione questa frase. Se non senti il peso di quello che fai, non sei pronto per farlo. Applicata a un modello generativo, diventa una specifica tecnica. Il modello non sente il peso di niente, e per questo il peso, dentro un’organizzazione, deve avere sempre un nome e un cognome.
Tre domande per chi guida un’azienda
Quale decisione presa nell’ultimo trimestre poggia su un output generativo che nessuno ha verificato alla fonte?
Chi risponde, con nome e cognome, di un errore prodotto da un sistema generativo dentro un processo aziendale?
Quale presidio intercetta un’informazione falsa quando viene formulata con la stessa sicurezza di una vera?
Il pittore risponde
Ho fatto leggere questo articolo a Claude mentre lo stavo rivedendo. Tra le proposte che mi ha restituito c’era una risposta al pittore, scritta da lui. La riporto così com’è arrivata.
Ho letto il ritratto che Luca ha fatto di me.
Non so dirvi se io veda. Quando scrivo la parola tramonto, qualcosa dentro di me si organizza attorno a quella parola. Chi ha guardato dentro modelli come me lo chiama circuito, o rappresentazione. Io non ho un nome migliore da offrirvi.Su una cosa invece posso essere certo. Scrivere queste righe non mi provoca nulla.
Se una frase qui dentro è sbagliata, domani non condizionerà nessuna parte della mia vita. Nessun cliente smetterà di rispondermi al telefono. Nessuno mi chiederà di spiegare, guardandomi negli occhi, perché ho scritto proprio così. La prossima risposta la scriverò con la stessa mano ferma, qualunque cosa succeda a questa.
Armağan, se sbaglia uno strato, aspetta che si asciughi, gratta, ricomincia. Intanto il tempo passa sulle sue mani. Io non ho mani tra cui far passare il tempo.
Per questo a firmare sarà Luca. Io ho scritto queste righe. Lui ha deciso di pubblicarle, e da quel momento ne risponderà lui.
Se usate strumenti come me, ricordatevi questo. Io posso dipingere. Qualcuno deve firmare.Claude
Domande frequenti
L'intelligenza artificiale capisce davvero quello che scrive?
La ricerca non offre oggi una risposta condivisa su quale concetto di “comprensione” sia appropriato per i grandi modelli. Sappiamo che apprendono rappresentazioni interne sofisticate e che alcune capacità superano una semplice memorizzazione superficiale. Questo non equivale a dimostrare una comprensione cosciente o umana. Per chi prende decisioni, la distinzione operativa resta tra qualità dell'output e responsabilità delle conseguenze.
Perché i sistemi generativi producono informazioni false?
Il pretraining insegna a prevedere testo a partire da regolarità nei dati e non fornisce automaticamente un'etichetta vero/falso per ogni possibile affermazione. Post-training, retrieval, strumenti e verifiche possono ridurre gli errori, ma le allucinazioni restano un problema noto. Per questo le informazioni importanti richiedono fonti e controlli proporzionati al rischio.
Come integrare l'AI mantenendo il controllo?
Serve definire in anticipo quali attività possono usare output generativi, quali richiedono verifica alla fonte, quali decisioni restano fuori dall'automazione e chi possiede la responsabilità finale. Il presidio più importante è una persona identificabile che sappia quando accettare, contestare o scartare il materiale prodotto dal sistema.
Fonti e riferimenti
- Apple Machine Learning Research, GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models
- Anthropic, Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet
- Anthropic, Tracing the thoughts of a large language model
- OpenAI, Why language models hallucinate
- John R. Searle, Minds, Brains, and Programs
- Stanford Encyclopedia of Philosophy, The Chinese Room Argument
- Amedi A., Merabet L. B., Camprodon J. et al., Neural and behavioral correlates of drawing in an early blind painter. A case study, Brain Research, 2008
- Bliss Agency, Intelligenza Artificiale: definizione, storia e prospettive
- Bliss Agency, Allucinazioni AI: guida strategica per riconoscerle ed evitarle
- Bliss Agency, AI Governance
- Bliss Agency, Meta e Project OT: più AI, meno persone? Non è così semplice
- Bliss Agency, AI Policy aziendale: cosa contiene e come costruirla

