Chi risponde quando decide la macchina

Sull’agentività dell’intelligenza artificiale, sul peso giuridico delle azioni che ne derivano e sulla parte che spetta all’uomo dentro questa equazione…

Una domanda giuridica posta nel 1546

Tra i discorsi a tavola di Martin Lutero, annotati nel 1546, si trova il resoconto di una lite.

L’asino di un mugnaio scappa dall’aia e scende verso il fiume. Per bere, mette lo zoccolo dentro la barca di un pescatore, lasciata senza ormeggio. La corrente prende la barca e se la porta via, con l’asino sopra.

Il mugnaio ha perso il suo asino. Il pescatore la sua barca.

Il mugnaio dice: il pescatore ha trascurato di legare la barca. Il pescatore dice: il mugnaio ha trascurato di tenere l’asino in stalla.

Al centro del testo compare una domanda in latino: Nunc sequitur quid sit juris? E dunque, che cosa dice il diritto?

È stato l’asino a portare via la barca, o la barca a portare via l’asino?

La sentenza di Lutero sta in due parole: ambo peccaverunt. Hanno sbagliato entrambi.

Quel paragrafo è stato scritto cinquecento anni fa e sta ancora esattamente al centro del problema giuridico più difficile che abbiamo oggi tra le mani. Il movimento che produce il danno comincia da sé, nel punto in cui due negligenze si incontrano. Non c’è nessuno in malafede. Non c’è nemmeno qualcuno che abbia davvero dato inizio all’azione. C’è solo una cosa non legata e un’altra cosa rimasta libera.

Sembra che l’intero diritto dell’intelligenza artificiale entri in questo quadro.

Esiste un concetto chiamato vuoto di responsabilità

Nel 2004 un pensatore di nome Andreas Matthias scrisse un articolo di cui allora si occupò quasi nessuno, e diede un nome a una cosa: vuoto di responsabilità.

L’argomento è semplice e fastidioso. Nei sistemi che apprendono, il produttore o l’utilizzatore non può in linea di principio prevedere il comportamento futuro della macchina. Ed essere ritenuti moralmente responsabili di ciò che non si poteva prevedere non è giusto. Dunque il danno c’è, ma non c’è nessuno che possa esserne equamente chiamato a rispondere.

Vent’anni dopo, quella frase ha smesso di essere un esercizio accademico. Oggi l’intelligenza artificiale rifiuta crediti, seleziona candidati, formula diagnosi e propone terapie, gira il volante dell’auto su cui siamo saliti, conclude il contratto nell’acquisto che stiamo facendo.

E in ogni episodio di danno si ripetono nell’ordine le stesse tre frasi.

Il produttore: il modello lo abbiamo fatto noi, ma come usarlo lo avete scelto voi. Chi lo usa: noi ci siamo soltanto fidati del sistema. Il sistema: il sistema non dice nulla, perché il sistema non parla, se ne parla.

È arrivato il momento di porre la domanda vera. Questo vuoto è un vuoto metafisico reale, oppure un’ambiguità molto conveniente?

La risposta di questo articolo è la seconda. E la prova di quella risposta sta nella storia stessa del diritto.

La soluzione del diritto romano: agire senza essere soggetto

Il diritto non ha conosciuto per la prima volta con l’intelligenza artificiale il problema degli enti “che non sono persone eppure agiscono da sé”. Duemila anni fa ci viveva dentro.

Nel diritto romano lo schiavo non era una persona. Giuridicamente era una cosa. Veniva comprato e venduto, ma comprava e vendeva per conto del padrone, stipulava contratti, faceva sorgere obbligazioni, amministrava un’azienda. Un ente privo di personalità giuridica compiva cioè atti che producevano effetti giuridici.

Immagino che prima di cominciare questo articolo non vi sembrasse molto possibile far stare nello stesso crogiolo l’intelligenza artificiale e la schiavitù.

Roma non risolse quella contraddizione con la metafisica. La risolse con un meccanismo.

Ciò che chiamavano peculium era un patrimonio separato, amministrato di fatto dallo schiavo. Lo schiavo faceva affari dentro quella borsa. Quando nasceva un danno, la responsabilità del padrone era di regola limitata alla capienza di quella borsa. La responsabilità, insomma, non veniva né scaricata interamente sul padrone né lasciata sospesa a mezz’aria. Veniva agganciata a un fondo.

Oggi i giuristi ne discutono di nuovo. Uno studio apparso su una rivista giuridica di Cambridge propone di guardare direttamente al diritto romano per il deficit di accountability dell’intelligenza artificiale. Anche la proposta di “peculium digitale” avanzata dal giurista torinese Ugo Pagallo nasce dalla stessa vena: se immetti sul mercato un sistema autonomo, devi indicare anche un patrimonio separato prestato in garanzia per suo conto.

La lezione che ne esce è elegante e insieme sgradevole.

L’elegante è questo: l’agentività non si scopre, si assegna. Il diritto romano non si chiese “lo schiavo ha una volontà?”, perché non ne aveva bisogno. Ciò di cui il diritto aveva bisogno non era una volontà, ma un interlocutore.

Lo sgradevole è invece questo: quella soluzione fu elaborata dentro una delle istituzioni più ripugnanti della storia umana.

Paragonare uno strumento a uno schiavo ha un costo morale; il paragone non innalza lo strumento, normalizza ciò che è stato fatto a esseri umani. Ciò che si può prendere da lì non è l’istituto, ma la tecnica: il diritto sa agganciare il danno prodotto da un agente privo di personalità senza doverlo dichiarare persona.

Quella stessa tecnica oggi porta altri nomi, e sono nomi che chiunque abbia sfogliato un codice civile riconosce senza sforzo. La personalità giuridica delle società. La responsabilità dei padroni e dei committenti per il fatto dei propri dipendenti, che continua a reggersi sulla vecchia coppia culpa in eligendo e culpa in vigilando: hai scelto tu chi mettere lì, tocca a te sorvegliarlo. La responsabilità oggettiva per l’esercizio di attività pericolose, dove non si discute più della volontà di nessuno ma solo delle misure idonee che non sono state adottate. Sono tutti istituti costruiti attorno al medesimo scopo. Se c’è un danno, bisogna agganciarlo a una tasca senza stare a misurare la volontà di nessuno.

Cosa fanno i tribunali: tre casi, un solo schema

L’intelligenza artificiale è nelle nostre vite da pochissimo. Per questo può essere istruttivo lasciare la teoria e guardare alle decisioni degli ultimi due anni. Perché i tribunali hanno smesso da tempo di porsi la domanda su cui i filosofi ancora discutono.

Febbraio 2024, Canada. Un uomo di nome Jake Moffatt vuole comprare un biglietto sul sito di Air Canada perché sua nonna è morta. Chiede al chatbot del sito se può ottenere la tariffa per lutto. L’assistente conversazionale di Air Canada gli risponde che lo sconto può essere richiesto anche in un secondo momento. È falso; la politica reale della compagnia non è quella.

In giudizio la società costruisce una difesa curiosa: il bot è un’entità distinta, risponde da sé delle proprie dichiarazioni.

Il tribunale respinge quella difesa. Il bot è una parte del sito della società; la società risponde di tutte le informazioni presenti sul proprio sito, che arrivino da una pagina statica o da una finestra di chat. Il risarcimento è piccolo e simbolico, circa seicentocinquanta dollari canadesi. Ma il principio è grande: di ciò che esce dalla bocca della tua stessa organizzazione rispondi tu.

Agosto 2025, Florida. Una Tesla con l’autopilot inserito non si ferma a un incrocio e colpisce un’auto in sosta: una persona muore, un’altra resta gravemente ferita. Il conducente ammette di essersi distratto in quel momento perché gli era caduto il telefono.

Questa volta il tribunale divide la colpa: sessantasette per cento al conducente, trentatré per cento al produttore. Il risarcimento complessivo supera i duecentoquaranta milioni di dollari e in gran parte ha natura punitiva. La società ha impugnato la decisione; il procedimento è ancora in corso e non si è concluso.

Attenzione: il tribunale non ha chiesto “l’autopilot era un agente?”. Ha ripartito la colpa in percentuale. Proprio in questo caso l’ambo peccaverunt di Lutero è rientrato nelle nostre vite cinquecento anni dopo, in versione digitale.

Il terzo esempio non è una sentenza, è un contratto. Mercedes ha dichiarato di assumersi la responsabilità giuridica per gli eventi che si verificano quando il suo sistema Drive Pilot opera dentro il proprio inviluppo definito: determinate autostrade, determinate velocità, determinate condizioni meteorologiche.

Qui la cosa è nitida: la responsabilità non è stata collocata come una scoperta, ma come un impegno. Il produttore si è assunto l’agentività dentro una busta delimitata.

Tre episodi, un solo schema. Il diritto non chiede: questa cosa, l’intelligenza artificiale, ha una volontà? Chiede: chi era nella posizione di impedirlo, e chi ci ha guadagnato o ci ha rimesso?

Il vuoto non si chiude perché non lo si vuole chiudere

Qui comincia la parte politica della faccenda, e il panorama non è bello.

L’Unione Europea aveva da anni tra le mani una proposta: la direttiva sulla responsabilità in materia di intelligenza artificiale. Portava due cose.

La prima era una presunzione di nesso causale in determinate condizioni: il danneggiato non avrebbe dovuto dimostrare che cosa fosse successo esattamente dentro la scatola; l’onere della prova contraria poteva passare al produttore.

La seconda era un obbligo di divulgazione delle prove nei sistemi ad alto rischio: il giudice avrebbe potuto ordinare all’azienda di esibire i registri.

Questi due articoli miravano esattamente al cuore del vuoto di responsabilità. Perché il vero nome del vuoto, il più delle volte, è “impossibilità della prova”. Il danneggiato non ha il modello, non ha i dati di addestramento, non ha i log, non ha i periti: per questo dimostrare gli è impossibile.

Nel febbraio 2025 la Commissione ha annunciato la decisione di ritirare la proposta; il ritiro è diventato formale nel corso dell’anno. Come motivazione sono state indicate la mancata convergenza tra i portatori di interesse e la richiesta di semplificazione nel settore digitale.

Ora leggete queste due frasi una dopo l’altra.

Matthias, 2004: nei sistemi che apprendono, attribuire equamente la responsabilità è strutturalmente difficile. Bruxelles, 2025: le regole probatorie che avrebbero alleggerito quella difficoltà sono state ritirate per una richiesta di semplificazione nel settore digitale.

La prima è una constatazione filosofica. La seconda è una scelta politica. E quando le due si confondono, ne esce qualcosa di molto comodo: un’esenzione che sembra una legge di natura.

Il vuoto di responsabilità non è una scoperta. È una porta lasciata aperta. E come ogni porta aperta, qualcuno può passarci attraverso e ricavarne un vantaggio.

La parte dell’uomo, primo caso: la nuova versione di “eseguivo gli ordini”

Vengo ora al lato umano dell’equazione, perché la questione vera sta lì.

Torniamo al primo processo per crimini di guerra della storia. Durante la guerra civile americana, in un campo aperto negli ultimi quattordici mesi del conflitto, furono tenuti prigionieri circa 45.000 soldati dell’Unione e circa 13.000 di loro morirono per denutrizione, malattia e condizioni disumane.

Nel 1865, nel processo sul carcere di Andersonville, la difesa presentata su quei fatti fu la seguente. Subito dopo la fine della guerra il comandante del campo, il capitano confederato di origine svizzera Henry Wirz, fu arrestato; la sua linea difensiva, in sintesi, era:

— Eseguivo gli ordini.

La dottrina fissata da quel processo è ancora in piedi. L’uomo formula un giudizio interiore sull’ordine a cui obbedisce; se dunque l’ordine offende abbastanza a fondo la sua umanità, può disobbedire. E la frase rivolta all’imputato fu questa: il superiore militare non è un superiore morale.

La versione odierna, quella dell’intelligenza artificiale, parla così: il sistema ha suggerito questo. Il punteggio era basso. Il modello lo ha segnalato.

E la soluzione trovata contro tutto ciò è già pronta: mettiamo un essere umano nel ciclo. Che la macchina proponga la decisione e l’uomo dia l’approvazione.

Suona bene. Guardando i dati suona un po’ meno bene.

Nel sistema dei sussidi di disoccupazione del Michigan si è poi scoperto che la grande maggioranza delle domande segnalate dall’algoritmo era stata segnalata a torto. Ma nello stesso periodo il tasso di errore dei decisori umani che facevano lo stesso lavoro non era basso. La “supervisione umana”, da sola, non costituisce quindi una soluzione di sicurezza.

La ragione è psicologica e familiare. Se un sistema ti mostra un punteggio di affidabilità dell’ottantanove per cento, contestarlo non richiede soltanto tempo: richiede coraggio. Approvare è gratis, contestare costa parecchio. Il funzionario che conferma il sistema fa carriera, il funzionario che ferma il sistema si ritrova a dover fornire spiegazioni.

L’uomo nel ciclo, se non ha un potere reale e un tempo reale, non può essere collocato come elemento di sicurezza. È soltanto un assorbitore. Quando il danno si verifica, la colpa si ferma lì e non sale più in alto.

Bisogna dirlo apertamente: per un’organizzazione che non vuole assumersi la responsabilità, la soluzione ideale è che la decisione stia nel sistema e la colpa stia nell’uomo.

La parte dell’uomo, secondo caso: il vuoto non è vuoto

Quando si dice vuoto di responsabilità viene in mente qualcosa come il vuoto siderale. Un luogo dove non c’è nessuno.

Lì dentro invece ci sono persone: nell’immensità di quel vuoto, purtroppo, non si vedono.

I sistemi cosiddetti autonomi poggiano su uno strato di lavoro globale che etichetta dati, modera contenuti, ripulisce gli output. Sono lavori pagati poco, privi di visibilità, con tutele giuridiche deboli.

Il dettaglio più impressionante lo racconta un fattorino delle consegne. Il sistema di sorveglianza controlla la cintura di sicurezza, mentre la quota da rispettare punisce ogni sosta. Così i conducenti si allacciano la cintura dietro la schiena. Il sistema registra che la cintura è allacciata, l’essere umano guida senza cintura.

Questa scenetta è il riassunto di un intero edificio. Sopra c’è la misurazione, la misurazione sembra corretta, il registro è pulito. Sotto c’è il rischio, e il rischio non viene trasferito a nessuno: semplicemente scorre verso il basso.

Il caso olandese degli assegni familiari è importante proprio perché fa eccezione a questo quadro. Un sistema di controllo automatico accusò ingiustamente di frode migliaia di famiglie e la vicenda arrivò, nel 2021, fino alle dimissioni in blocco del governo. È uno dei rari esempi in cui di un danno algoritmico si è potuto chiedere conto fino al vertice.

Il fatto che sia raro dice qual è la regola. Nel vuoto di responsabilità, insomma, non è vero che davanti alla bocca del cannone non ci sia nessuno. Qualcuno c’è, e come colpevole si finisce per accettare il meno potente.

La risposta dell’Oriente: l’azione non è mai stata di uno solo

Il diritto occidentale è costruito sull’idea di rendere singolare la responsabilità. Trova un agente, ne misura la volontà, ne accerta la colpa.

L’intelligenza artificiale mette in difficoltà questo meccanismo, perché un agente unico non c’è.

Nel pensiero cinese classico questo non è mai stato un problema, perché lì l’azione era condivisa fin dall’inizio.

Pensate all’andare a cavallo. Non è l’azione del cavaliere né quella del cavallo. Il terreno, l’addestramento, i finimenti, il foraggio, il tempo atmosferico: tutto partecipa all’azione. Nei testi cinesi classici l’azione è descritta così: non l’urto di una singola volontà contro il mondo, ma una consistenza in cui molte cose si incontrano.

L’etica dei ruoli confuciana prosegue dallo stesso punto. La persona si forma nell’incrocio delle relazioni; e anche la responsabilità non aderisce alla volontà individuale, aderisce al ruolo. La responsabilità di un medico deriva dal suo essere medico, non dall’intenzione che ha in quel momento.

Tradotto a oggi, ne esce questo. Al posto della domanda “il modello è un agente?”, la domanda “chi si è assunto questo ruolo?”. Chi ha proposto, chi ha distribuito, chi ha venduto, chi ha usato, chi era incaricato di controllare. Se c’è un ruolo c’è responsabilità; non serve misurare la volontà.

Questo produce, per il danno da macchina, una domanda inaspettatamente pratica. Quando un sistema provoca un danno, qual è la fine del processo? Una pena, una riparazione, una correzione, una chiusura?

Perdonare un modello non esiste. Assolvere un’azienda invece esiste, e il più delle volte la faccenda si chiude con la frase “abbiamo aggiornato il modello difettoso”.

---

La questione della scala: il “delitto fecondo” di Hobbes

Bisogna aggiungere ancora una cosa, perché è ciò che distingue il danno da intelligenza artificiale dal danno ordinario.

Il filosofo Thomas Hobbes, nel Leviatano, introduce una distinzione mentre misura la gravità dei reati. L’atto che lede soltanto il presente e l’atto che, facendo scuola, lede anche il futuro non hanno lo stesso peso. Il primo lo chiama sterile, il secondo fecondo. Il delitto fecondo si moltiplica e danneggia molte persone.

Hobbes dice inoltre che la posizione di chi agisce cambia il peso dell’atto. Lo stesso atto compiuto da chi ha autorità pesa più dello stesso atto compiuto da una persona qualunque.

Questi due criteri sono applicabili oggi al diritto dell’intelligenza artificiale.

Il pregiudizio di una persona resta dentro una stanza. Il pregiudizio di un modello si ripete in milioni di decisioni e a ogni ripetizione spinge nella stessa direzione. Il modello è per definizione una macchina feconda di orientamento. Nel bene come nel male.

Il celebre storico inglese Edward Gibbon, nel suo capolavoro Storia della decadenza e caduta dell’Impero romano (The History of the Decline and Fall of the Roman Empire), nel giudizio su Giustiniano osserva questo: i Romani furono oppressi nello stesso tempo dalla moltitudine delle loro leggi e dall’arbitrio dei loro padroni.

L’inflazione normativa e l’arbitrio, cioè, non sono l’antidoto l’uno dell’altro. Convivono benissimo. I documenti di conformità, i principi etici e i rapporti di trasparenza di oggi sono enormi in numero di pagine; la possibilità concreta che resta in mano al danneggiato è ancora piccola.

E allora che fare

La tesi di questo articolo sta in una sola frase: l’agentività non è qualcosa da scoprire, è qualcosa da assegnare. E quando non viene assegnata, cade da sé sull’anello più debole.

Si possono costruire quattro soluzioni.

1. La domanda “questa cosa, l’intelligenza artificiale, è un agente?” è senza risposta da duemila anni e non ne riceverà una nemmeno nel prossimo decennio. La domanda a cui si può rispondere è questa: chi era nella posizione di impedirlo, chi ci ha guadagnato, chi ne ha portato il peso. Tutte le soluzioni riuscite del diritto sono state costruite con questa domanda: dal peculium dello schiavo alla responsabilità del datore di lavoro, dalla personalità giuridica alla ripartizione sessantasette / trentatré per cento decisa dalla giuria nel caso Tesla.

2. Di ciò che rendi autonomo o lasci libero — può essere anche un agentic workflow — mostra la garanzia. La borsa di Roma oggi può prendere altri nomi: assicurazione obbligatoria, fondo separato, garanzia con massimale definito, o un nome del tutto diverso. Il principio deve restare lo stesso: se lasci in acqua una barca senza ormeggio, deve essere chiaro in anticipo chi pagherà quando la corrente se la porta via. Questo non ferma l’innovazione; mette un prezzo sull’incertezza. Forse assicuratori e riassicuratori possono anche ricavarne, per conto proprio, un’economia a sé.

3. L’uomo nel ciclo, se non ha potere, non può nemmeno avere responsabilità. Un funzionario a cui l’obiezione può costare la promozione non può essere né il controllore né chi decide per ultimo. Un controllo vero richiede tre cose: il potere di scavalcare il sistema, il tempo per farlo e la protezione dopo averlo fatto. Se queste cose mancano, l’essere umano non è nel ciclo: è soltanto un paraurti.

4. Non dobbiamo considerare il vuoto una legge di natura. Se chiudiamo un occhio mentre le regole probatorie, gli obblighi di conservazione dei registri e la divulgazione delle prove vengono rimossi, deliberatamente o per ignoranza, il vuoto di responsabilità si allarga.

Nella lite dell’asino e della barca di Martin Lutero entrambe le parti avevano ragione ed entrambe erano allo stesso tempo in colpa. La sentenza pronunciata cinquecento anni fa attorno a un tavolo diceva che, in un fatto in cui nessuno è del tutto colpevole, nessuno è nemmeno del tutto innocente.

Il pericolo di oggi è esattamente il contrario di quella sentenza. Sta nel fatto che arrivare alla conclusione che nessuno sia in colpa è molto più facile che stabilire di chi sia la colpa.

Se non sono legati né l’asino né la barca, ci pensa il fiume. E non dovremmo dire che prendersela con il fiume non ha senso.