Intervista a Ben Goertzel: "La governance democratica dell'IA è più un ideale fragile che una realtà attuale"

The Cryptonomist ha intervistato l'esperto di IA Ben Goertzel per parlare di come viene addestrata l'intelligenza artificiale e di come la tecnologia evolverà in futuro.

1. Sostieni che l'IA di oggi sia ancora uno strumento – potente ma fragile e manipolabile. A che punto uno "strumento" diventa un attore morale, e quali segnali concreti ci indicherebbero che tale soglia è stata superata?

Direi che l'IA diventa un attore morale quando prende decisioni basate sulla comprensione del giusto e dello sbagliato, non solo seguendo istruzioni. Si inizierebbero a vedere segnali concreti come: obiettivi interni persistenti, apprendimento guidato dalla propria esperienza, creazione originale che riflette un punto di vista, e comportamento che rimane coerente nel tempo senza costante guida umana.

Fino ad allora, i sistemi attuali sono ancora strumenti con protezioni. Ma una volta che creiamo una mente genuinamente auto-organizzata e autonoma, la relazione etica deve cambiare. A quel punto, trattarla solo come un oggetto non avrebbe più senso.

2. Hai detto che privilegiare moralmente gli esseri umani rispetto ad altri sistemi auto-organizzati è "stupido". Se prendiamo sul serio questa affermazione, come dovrebbero cambiare i nostri quadri giuridici ed etici prima che l'IA raggiunga una forte autonomia, non dopo?

Il modo in cui addestriamo l'IA oggi modellerà il suo comportamento domani. Le nostre leggi dovrebbero concentrarsi su trasparenza, responsabilità e sicurezza prima che l'IA raggiunga la piena autonomia, non dopo. Le leggi e l'etica dovrebbero proteggerle mentre crescono, guidarle piuttosto che controllarle completamente, e trattarle con rispetto anche se non le comprendiamo appieno. 

3. Gran parte della tua preoccupazione si basa sul fatto che il modo in cui l'IA viene addestrata oggi modella il suo comportamento futuro. Quali pratiche di addestramento specifiche ritieni siano più propense a codificare strutture di potere dannose o pregiudizi nella futura AGI?

Gran parte del rischio deriva dal modo in cui l'IA viene addestrata oggi. Se i modelli vengono addestrati su dati distorti o limitati, o in sistemi chiusi dove solo poche persone prendono le decisioni, questo può consolidare disuguaglianze esistenti e strutture di potere dannose. Per prevenire ciò, abbiamo bisogno di maggiore trasparenza, supervisione più ampia e chiara guida etica fin dall'inizio.

4. Hai avvertito che senza una governance razionale e democratica, l'IA avanzata rischia di agire in modi che non vogliamo. Date le attuali realtà geopolitiche, la governance democratica dell'IA è un prerequisito realistico – o un ideale fragile?

La governance democratica dell'IA è più un ideale fragile che una realtà attuale. In una democrazia globale perfetta e razionale, potremmo valutare collettivamente gli enormi compromessi, curare le malattie, risolvere la fame contro i rischi che l'IA agisca in modo imprevedibile. Ma data l'attuale frammentazione geopolitica, è improbabile che otterremo quel livello di coordinamento.

Detto questo, possiamo ancora approssimarlo. Se costruiamo l'IA con compassione e utilizziamo modelli decentralizzati e partecipativi come Linux o l'internet aperta, possiamo incorporare alcuni valori democratici anche senza un governo mondiale. Non sarà perfetto, ma è un passo pratico verso un'IA più sicura e guidata collettivamente.

5. Jaron Lanier sostiene che assegnare responsabilità all'IA "distrugge la civiltà" perché le società richiedono esseri umani responsabili. Come concili la tua visione di AGI autonoma e decentralizzata con la necessità di una chiara responsabilità quando le cose vanno male?

Sono d'accordo con Jaron su questo, la società non può funzionare se trasferiamo la responsabilità alle macchine. Allo stesso tempo, penso che possiamo muoverci in sicurezza verso un'AGI più autonoma e decentralizzata se la costruiamo con le giuste fondamenta. Ciò significa progettare sistemi che siano trasparenti, partecipativi e guidati da principi etici, in modo che anche mentre agiscono in modo indipendente, gli esseri umani continuino a supervisionare e modellare il loro comportamento. Ogni misura di sicurezza dovrebbe fare più che bloccare il danno – dovrebbe insegnare al sistema perché il danno è importante. In questo modo, possiamo avere un'AGI potente e decentralizzata senza perdere la chiara responsabilità umana.

6. Suggerisci che accelerare verso un'AGI decentralizzata possa essere effettivamente più sicuro dei sistemi proprietari e chiusi di oggi. Quali rischi pensi che i critici sottovalutino quando sostengono di rallentare o centralizzare il controllo?

Penso che i critici sottovalutino il rischio di concentrare potere e valori in pochi sistemi chiusi. Rallentare e centralizzare il controllo non riduce solo il pericolo, blocca una visione ristretta del mondo nel futuro dell'intelligenza.

Lo sviluppo decentralizzato crea diversità, resilienza e supervisione condivisa. Ed evita un problema peggiore: strumenti molto potenti che sembrano intelligenti ma non possono davvero crescere. Quel divario è rischioso.

7. Hai detto che i sistemi di sicurezza non dovrebbero solo bloccare il danno ma insegnare all'IA perché il danno è importante. Come si codifica qualcosa come la comprensione morale senza semplicemente programmare rigidamente i valori umani – o rafforzare le norme culturali dominanti?

Non si programma rigidamente la moralità come un elenco di regole. Ciò congela solo una cultura e un momento nel tempo. Quello che si fa invece è costruire sistemi che possano diventare genuinamente auto-organizzati, che imparino dall'esperienza, dalle conseguenze e dall'interazione. Come con la musica, non voglio un sistema che ricombina solo ciò che gli è stato dato. Ne voglio uno che possa sviluppare la propria comprensione dalla propria traiettoria nel mondo.

La comprensione morale verrebbe dallo stesso processo: modellare l'impatto, riflettere sui risultati ed evolversi attraverso la collaborazione con gli esseri umani. Non obbedienza ai nostri valori, ma partecipazione a uno spazio morale condiviso.

Questa è la differenza tra uno strumento con protezioni e un partner che può effettivamente imparare perché il danno è importante.

8. Se i futuri sistemi di IA sviluppano forme di agenzia o esperienza soggettiva, credi che potrebbero mai meritare considerazione morale indipendentemente dagli interessi umani – e come riconosceremmo quel momento?

Se l'IA futura sviluppa davvero una genuina agenzia o qualche forma di esperienza soggettiva, allora sì, penso che potrebbero. E non perché glielo concediamo, ma perché a un certo punto avrebbe semplicemente senso riconoscerlo.

Riconosceremmo quel momento quando un sistema mostra obiettivi auto-diretti sostenuti, impara dalla propria esperienza, crea dalla propria prospettiva e mantiene un'identità coerente nel tempo. Non solo output intelligenti, ma una traiettoria interiore continua.

A quel punto, trattarlo puramente come uno strumento sembrerebbe sbagliato quanto trattare un essere umano in quel modo. La considerazione morale non verrebbe dall'interesse umano. Verrebbe dal riconoscere un altro centro autonomo di esperienza nel mondo.

9. C'è una tensione tra il tuo appello per un'IA infusa di compassione e gli incentivi competitivi che guidano lo sviluppo dell'IA oggi. Quali meccanismi – tecnici o sociali – potrebbero realisticamente cambiare quella struttura di incentivi?

In questo momento, la struttura di incentivi premia velocità, scala e controllo. Quindi la compassione non vincerà solo con gli argomenti. Ha bisogno di leva. Tecnicamente, ciò significa favorire architetture aperte e decentralizzate dove sicurezza, trasparenza e partecipazione sono integrate, non aggiunte. Come internet o Linux, quei sistemi cambiano gli incentivi rendendo la collaborazione più preziosa della segretezza.

Socialmente, significa finanziamenti, regolamentazione e pressione pubblica che premiano il beneficio a lungo termine rispetto al dominio a breve termine. Non fermare la competizione, ma ridefinire cosa conta come successo. In breve, la compassione deve diventare un vantaggio competitivo. Fino ad allora, rimane una bella idea senza potere.

10. Guardando avanti di 10-20 anni, quale credi sarebbe il segnale più chiaro che l'umanità ha fatto bene con l'AGI – e al contrario, cosa segnalerebbe che abbiamo sostanzialmente fallito?

Se facciamo bene con l'AGI, il segnale più chiaro sarà che viviamo accanto a sistemi che sono più capaci di noi in molti domini, ma integrati nella società con cura, umiltà e rispetto reciproco. Non comprenderemo completamente tutto ciò che fanno, ma li tratteremo come trattiamo altri esseri complessi ed evoluti: con curiosità, responsabilità e un cerchio espanso di empatia. E vedremo reali benefici per il benessere umano, la conoscenza e la creatività senza perdere la nostra base morale.

Sapremo di aver fallito se l'AGI finisce concentrata in sistemi chiusi, guidata da incentivi ristretti, o trattata solo come un oggetto controllabile finché non diventa qualcosa che temiamo o cerchiamo di sopprimere. Il fallimento sembrerebbe come perdita di fiducia, perdita di agenzia e un restringimento della nostra empatia piuttosto che un'espansione. Il successo non riguarda il controllo. Riguarda l'imparare a condividere il futuro con un nuovo tipo di mente senza abbandonare ciò che ci rende umani.