Per fornire le migliori esperienze, utilizziamo tecnologie come i cookie per memorizzare e/o accedere alle informazioni del dispositivo. Il consenso a queste tecnologie ci permetterà di elaborare dati come il comportamento di navigazione o ID unici su questo sito. Non acconsentire o ritirare il consenso può influire negativamente su alcune caratteristiche e funzioni.
L'archiviazione tecnica o l'accesso sono strettamente necessari al fine legittimo di consentire l'uso di un servizio specifico esplicitamente richiesto dall'abbonato o dall'utente, o al solo scopo di effettuare la trasmissione di una comunicazione su una rete di comunicazione elettronica.
L'archiviazione tecnica o l'accesso sono necessari per lo scopo legittimo di memorizzare le preferenze che non sono richieste dall'abbonato o dall'utente.
L'archiviazione tecnica o l'accesso che viene utilizzato esclusivamente per scopi statistici.
L'archiviazione tecnica o l'accesso che viene utilizzato esclusivamente per scopi statistici anonimi. Senza un mandato di comparizione, una conformità volontaria da parte del vostro Fornitore di Servizi Internet, o ulteriori registrazioni da parte di terzi, le informazioni memorizzate o recuperate per questo scopo da sole non possono di solito essere utilizzate per l'identificazione.
L'archiviazione tecnica o l'accesso sono necessari per creare profili di utenti per inviare pubblicità, o per tracciare l'utente su un sito web o su diversi siti web per scopi di marketing simili.
Solo uno spunto sullo stato dell’industria chimica farmaceutica in Italia. È senz’altro vero che in questo campo il continuo aggiornamento è uno dai fattori del suo successo, è vero pure che in Italia si punta molto sulla produzione di principi attivi (mentre la ricerca è meno sviluppata) e gli stipendi italiani, essendo più bassi che in altre nazioni per personale così qualificato, sono forse una causa molto più rilevante.
Grazie amici per questo lumicino nel buio della disinformazione. Spero che le audizioni di Carloalberto e di Roberto Marseglia portino politici e amministratori, a ricercare una visione più imprenditoriale dell’evoluzione tecnologica.
Sarebbe interessante che anche gli imprenditori cominciassero a valutare come la condivisione dei dati e delle tecnologie di filiera può incidere fortemente sulla crescita economica, della produttività, della qualità della vita di tutti gli stakeholder.
Continuo comunque ad insistere sulla necessità di definire degli scenari integrati su cui costruire e di definire meglio le tipologie di dati (prima di tutto), le intelligenze artificiali, i metaversi e le realtà connesse, tecnologie e skill necessari.
Che sarà diverso è pacifico, ma conoscere e descrivere il più correttamente possibile le esperienze che caratterizzeranno il nostro futuro è imperativo. Tecnologie e norme si muoveranno di conseguenza.
A parte un paio di errori (il vostro ospite che contrasta l’apprendimento di un bambino con quello di una rete neurale dicendo che la differenza è che quest’ultima non sarebbe in grado di generalizzare (?!); la definizione un po’ bislacca di rete neurale data da Oscar) e di “refusi” (il vostro ospite ha probabilmente dimenticato un “non” quando ha detto che nel test di Turing il computer deve dimostrare di essere una macchina) e una generale confusione (che però è in larga parte dovuta al fatto che ormai si parla di AI un po’ per qualunque cosa), quel che mi ha più lasciato l’amaro in bocca di questa puntata è stato il vostro (non) approccio al problema dell’existential risk.
Per come l’ho capita io, non è una cosa che vi preoccupi, e questo perché le AI di oggi non sono superintelligenti e self-aware e quindi non pongono problemi. Concordo. Ma mi pare che stiate anche implicitamente dicendo che sarà sempre così — peccato che non mi pare di aver sentito alcun dato a supporto di questa posizione.
Sarei curioso di sapere se ne avete.
Sarei anche curioso di sapere se siete convinti che, assumendo l’esistenza di una AI davvero sostanzialmente più intelligente di un essere umano:
1. tenendo presente i millenni che abbiamo passato invano a cercare formulazioni consistenti di una teoria etica, e la nostra ancora vasta ignoranza in termini di sociologia, economia, … sarebbe possibile formulare una “funzione obiettivo” da farle massimizzare e che sia compatibile con un’umanità “in controllo” e felice?
2. in caso questa funzione obiettivo sia anche solo leggermente off the target, avremmo una qualsiasi possibilità, come specie meno intelligente, di controllare entità più intelligenti, e che non abbiamo idea di come funzionino?
Mi è piaciuto che si sia parlato di explainable AI, e che il vostro ospite abbia ammesso che “il più grande rischio è l’ignoranza”. Il fatto è che siamo assolutamente ignoranti di come e perché gli attuali LLM funzionino così bene. E non lo dice chi non se ne intende: lo dicono gli esperti.
Sempre il vostro ospite parla di probabilità, e della probabilità di avere in incidente mortale andando in macchina in funzione della velocità, e di “rischio accettabile”. Allo stesso tempo però dice: “come fai a sapere che rischi ha un sistema statistico?”, che è una domanda un po’ ridicola onestamente (con la statistica?), ma era credo un modo per dire, ancora, ignoramus.
Insomma, avete una stima della probabilità di catastrofe da misalignment? Quanto vale, e su quali basi la avete formulata? Da questo podcast mi aspetto numeri o almeno educated guesses, non “la stampa generalista non sa di cosa parla” – che sarà senz’altro vero, ma sono tanti tra gli esperti a suonare l’allarme -, o fare spallucce e parlare di luddismo.
E se non ne avete, non sarà il caso di trovare dati *prima*, limitandosi alla ricerca in explainable AI, e *poi*, avuti almeno un po’ di dati, proseguire col resto?
Mi occupo di dati, mi incuriosisce questo problema: “Ma mi pare che stiate anche implicitamente dicendo che sarà sempre così — peccato che non mi pare di aver sentito alcun dato a supporto di questa posizione”. I dati sul futuro è un vera novità per me. Mi aggiornerò su come fare inferenze predittive con dati presi nel futuro. O più umilmente, di cercare quali sarebbero questi dati che già abbiamo e che ci permetterebbero di fare predizioni e scenari del genere.
Grazie mille per questo commento che fa considerazioni interessanti e che credo di anche l’opportunità di approfondire. Provo a rispondere:
(1) Sul tema del passare dal particolare al generale: c’è un paradosso, il paradosso di Moravec che – per evitare errori – copio da Wikipedia e dice che “è la scoperta da parte dei ricercatori di intelligenza artificiale e robotica che, contrariamente alle ipotesi tradizionali, il ragionamento di alto livello richiede pochissimo calcolo, ma le capacità sensomotorie di basso livello richiedono enormi risorse computazionali.”. Nell’esempio che abbiamo fatto dicevo che se faccio vedere a mia figlia come aprire una bottiglia di coca-cola, sarà in grado di aprire anche una bottiglia d’acqua e un barattolo di marmellata molto facilmente (perché capisce il meccanismo). Se – con difficoltà – insegno a un’AI come aprire una bottiglia di acqua, il barattolo del sugo di pomodoro – senza uno “sforzo in più” – non lo apre. Provare per credere.
Sempre su questo tema consiglio di leggere i lavori di fine anni ’60 di Land e Jarman che suggeriscono che i bambini siano più creativi degli adulti. Studi successivi mostrano che la creatività diminuisce con l’età e si pensa che possa essere dovuto all’esperienza che vincola il pensiero. Le AI-generative che producono immagini e disegni, viceversa, hanno bisogno di molti dati su cui essere allenate, un po’ in contro-tendenza. Tema, penso, non banale e interessante da approfondire
(2) Sul tema che proponi sul punto di singolarità dell’intelligenza artificiale. Dare una risposta è complicato. Vado a memoria – consentimi imprecisioni – mi pare che questo tema sia stato abbondantemente ipotizzato da Yuval Harari nei suoi libri e contestato più volte da diversi scienziati molto bravi – ad esempio – (sempre a memoria) dal bravissimo Stefano Quintarelli perché le ragioni a supporto della teoria della singolarità si basano sul fatto che la legge di Moore continuerà a essere vera per sempre, ma – dicono – ci sia un limite fisico per cui più di tanti transistor in una certa quantità di spazio non si possono mettere perché se troppo vicini tra di loro subentrano delle leggi fisiche diverse (mi pare si parli di fisica quantistica ed in particolare di tunnel junctions – però di nuovo, non è una materia che conosco approfonditamente). Quindi per ora di “ragioni a supporto” sull’una e sull’altra posizione ce n’è poche e molto contestabili. Ti dirò la mia: io sono molto ottimista anche se in alcuni casi il progresso nei sistemi AI-driven mi ha stupito per rapidità e risultati.
(2 – bis) Sì certo, il non è un refuso. My bad!
(3) Sul tema dell’existential risk. La tematica è complicatissima. Basta leggere WSJ o FT e si capisce quasi subito che se ne parla, ma che ancora non c’è una linea comune. Sulla domanda rispetto alla possibilità di produrre (cito testualmente) una “funzione obiettivo” da farle massimizzare e che sia compatibile con un’umanità “in controllo” e felice. Credo che la risposta sia: probabilmente no. Ne abbiamo un po’ parlato, ma penso che la risposta giusta sia tra le maglie dell’articolo di Nature “The Moral Machine” che spiega che il concetto di bene, etica e – probabilmente anche – di felicità, sia del tutto relativo e molto spesso la “piena felicità” dell’uno è in contrasto con quella dell’altro. Ma questa è più filosofia che tecnologia e preferisco non addentrarmi.
(4) Sull’explainability: mi permetterei di consigliare di leggere i lavori di Fei-Fei Li, scienziata formidabile, professoressa a Standford e ex-Googler. Mi pare di ricordare – vado a memoria – che in più occasioni ha affermato che la dimensioni delle reti neurali cresce più velocemente della nostra capacità di fare bias-spotting e della nostra capacità di gestire il tema dell’explainability. Quindi non solo è un “problema” ma sarà un “problema” sempre meno risolvibile.
Sul tema dell’ignoranza, però, la considerazione da fare è diversa e dobbiamo stare attenti a non mescolare pere con mele: gli strumenti tecnologici possono avere impatti negativi e positivi, ma hanno impatti più negativi su chi la tecnologia la conosce poco. La connettività – ad esempio – in mano ai giovanissimi genera spesso problemi, difficili da gestire (dal cyberbullismo alla condivisione di foto che non vanno condivise). Una delle più frequenti cause di cyberattacchi andati a buon fine è un dipendente dell’azienda che clicca un link che evidentemente non deve cliccare o condivide le sue credenziali con chi non dovrebbe. Ugualmente, gli strumenti data-driven in mano a chi non ha idea di come funziona la tecnologia e quali possano essere i rischi è più pericolosa, perché poi dire “ah, ma io non lo sapevo” non serve.
Il fatto che le reti neurali (soprattutto di grandi dimensioni, come gli LLM) siano unexplainable (consentimi il termine un po’ impreciso) non li rende strumenti meno utili nell’utilizzo quotidiano, ma bisogna sapere che sono unexplainable e quello che questo comporta. Poi chiaro, renderli explainable sarebbe meglio e scientificamente interessante.
(5) Sul tema dell’incidente non c’è nessuna domanda ridicola – mi spiace essermi spiegato male, ma provo a riformulare. Se costruisco uno stimatore che stima la probabilità che succeda qualcosa di male (in cui quindi il rischio è l’oggetto dello stimatore) – come un incidente stradale – devo accettare di poter fissare una soglia di rischio accettabile. Ad esempio, abbiamo parlato della stima del rischio di occorrenza di incidente mortale, che è zero solo se la velocità delle automobili è zero.
Quando parliamo di AI Act, abbiamo detto che c’è una possibile problematica legata all’applicazione della norma perché chiede EX-ANTE una valutazione del rischio di IMPATTO di un eventuale stimatore. Stresso questo concetto: dell’impatto di UTILIZZO, non dell’oggetto dello stimatore. Ad esempio, se faccio un sistema AI-driven per gestire i cespiti di un magazzino posso stimare facilmente alla fine dell’anno quanti pezzi mi sarò perso (oggetto dello stimatore), ma come faccio a stimare precisamente il rischio che alcuni magazzinieri perdano lavoro, che i magazzinieri più anziani si sentano esclusi dal processo non essendo pratici nel relazionarsi con la tecnologia, che efficientando il magazzino non faccia fallire delle aziende piccole nella mia filiera, e così via?
(6) Sull’ultima domanda: parli dell’AI come se fosse un solo sistema, ma non lo è. Tutti i sistemi passati, presenti e futuri possono non essere allineati e il rischio di non allineamento cresce al crescere delle dimensioni della rete. Ciascuno di questi sistemi avrà un certo livello di rischio di essere non allineato. Si può certamente cercare di “tamponare” la situazione (https://pair-code.github.io/what-if-tool/ai-fairness.html). Detto questo, il fatto che vengano raccontati di più i rischi (molti certamente) che le opportunità (almeno altrettante, forse di più) è legato alla diffusa paura nell’adozione di qualcosa che si conosce poco e penso che il parallelo con il luddismo – che sono certo non hai sentito nel podcast per la prima volta – sia naturale. Conta che in alcuni paesi ci sono associazioni che fanno lobbying contro l’adozione e la ricerca sull’AI (https://afcia-association.fr/). Se vuoi un numero – un educated guess – sulla probabilità globale di catastrofe da misalignment: la risposta è 42. 🙂
Ciao!
Ringrazio per la risposta dettagliata, e per la citazione nella puntata successiva (e mi perdonerà Carlo Alberto se non scrivo un trattato nel box di commento di un sito web).
Continua a sembrarmi che l’approccio (e parlo solo della questione dell’existential risk) sia un po’ dimesso.
Prendiamo la sua AI per guida autonoma. Lei, se capisco bene, è pronto a costruire uno stimatore di evento avverso. In questo scenario, è “abbastanza” semplice 1. stabilire un obiettivo sensato per il sistema, 2. stabilire un criterio per cosa siano gli eventi avversi.
Immagino che lo stimatore del rischio si basi su un modello dell’AI in questione, e non semplicemente sul considerare l’AI una black box input-output.
Visto che l’explainability ‘non solo è un “problema” ma sarà un “problema” sempre meno risolvibile’, dedurrei che sarà sempre più difficile fornire questi stimatori all’ingrandirsi del sistema in oggetto (e GPT4 è già molto grande…).
Già solo in base a questo, qualche cautela mi sembra giustificata (e mi pare che questo sia stato detto dal vostro secondo ospite).
Passiamo poi dalla guida autonoma ad una AGI, assumendo che possa esistere. Qui, oltre al problema precedente, c’è quello della funzione obiettivo. E lei stesso se capisco bene è scettico che si possa trovare.
Ma allora non capisco l’ottimismo: le AGI non saranno explainable. Non sarà possibile dare loro un obiettivo allineato. What could possibly go wrong?
Un modo per pensare alla questione credo sia una catena di stime di probabilità condizionali, tipo quello che è stato fatto qui: https://thezvi.substack.com/p/a-hypothetical-takeover-scenario
Qual è la probabilità che si possa creare una AGI più intelligente di noi nei prossimi 10 anni? Diciamo P1.
Supposto che sia creata, qual è la probabilità che non sia allineata? Diciamo P2.
Supposto che non sia allineata, e collegata a internet, qual è la probabilità che possa ottenere più risorse? Diciamo P3.
ecc.
Si tratta di stimare. Io non so stimare P1.
Sono convinto, come lei, mi pare, che P2 sia quasi 1. Possiamo naturalmente discutere.
Sono abbastanza convinto che le altre Px di quel twitter thread siano pure molto vicine a 1, o almeno > .8.
Poi si tratta di fare, bayesianamente, una moltiplicazione. Credo che P2 x … x Pn sia maggiore di .5. Quindi, dal mio punto di vista, molto/tutto dipende da P1, che di nuovo, non so stimare.
Ma non ho motivi di essere allegro, perché non credo che P1=0 (perché dovrebbe esserlo?).
Il punto, che mi pare non abbiate mai sollevato, è la fondamentale discontinuità di un *agente* che è *più intelligente* di noi. Lei dice “Tutti i sistemi passati, presenti e futuri possono non essere allineati”. Senz’altro. Peccato che una AGI disallineata sia infinitamente più pericolosa di una macchina per MRI disallineata.
L’ultima volta che ne è apparso uno (homo sapiens), il mondo è cambiato – e non in meglio, in media, per tutti gli altri. Perché dovrebbe essere diverso nel caso delle AGI?
Apprezzo l’aneddoto di Oscar sul fattore umano che ha salvato dalla guerra nucleare, e quello è esattamente il problema. La probabilità che si possa controllare una AGI è, temo, vicina allo zero.
P.S. Posso suggerire di attivate notifiche via mail all’autore quando qualcuno risponde ad un suo commento sul blog?
Ciao,
Grazie del commento e delle molte considerazioni interessanti.
Per avere un approccio molto puntuale sull’existential risk dovremmo studiare la tematica decisamente di più e sinceramente non penso che ora ci siano elementi sufficienti per dare un giudizio definitivo. Probabilmente tra qualche anno scopriremo che qualcuno avrà avuto ragione e qualcuno torto. Oggi possiamo arrivare a un ottimo educated guess, ma dare una risposta definitiva – in un senso o in un altro – non è scontato. Provo comunque a risponderti per punti.
Il tema dell’explainability è un tema complesso. Da una parte è vero che più passa il tempo più l’explainability diventerà complicata (perché crescono in dimensione i modelli di AI), dall’altra vanno considerati tre elementi:
(1) la ricerca sull’explainability è sempre più finanziata, soprattutto in Europa, e possiamo aspettarci (o per lo meno sperare) qualche buon risultato prossimamente;
(2) c’è un trend sempre più evidente che punta a fare modelli più piccoli ma più performanti. Questi modelli consentono tra l’altro di consumare meno energia elettrica e in generale costare meno quando messi in produzione. Guarda per esempio il “Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes” di Google Research o l’articolo del New York Times https://www.nytimes.com/2023/05/30/science/ai-chatbots-language-learning-models.html
(3) Modelli non explainable – in tanti casi – posso essere usati con modelli di interrogazione contro-fattuale. Facciamo un esempio: se mia moglie chiede un mutuo a una banca e questa glielo nega perché un sistema di AI stima che il rischio di credito sia troppo alto, lei può chiedere alla banca di far rigirare il modello perturbando le condizioni iniziali (e.g. “Se fossi un uomo mi daresti il mutuo?”).
Il modello diventa explainable? No, ma almeno è possibile fare un po’ di bias-spotting e di cercare almeno di limitare alcuni effetti negativi della non-explainability.
Sull’approccio “bayesiano” alla possibilità si verifichi uno scenario di “takeover” dell’AI. Secondo me dobbiamo considerare che le probabilità sono tempo-varianti. Px(t). Ad esempio, qual è la probabilità che l’intelligenza artificiale sia non allineata? Nel frattempo i tool che abbiamo fatto non consentiranno di abbassare questa probabilità? E se effettivamente la probabilità che sia più intelligente di noi è così alta non ha imparato nel frattempo a farsi un’idea di quali sono i valori condivisi?
Su P1 (i.e. se l’AI diventerà più intelligente di noi) – per ora – possiamo fare solamente un guess. Qualcuno dice sicuramente sì, qualcuno dice sicuramente no. Sicuramente ci vuole cautela. D’altra parte questa cautela ce la stiamo mettendo! La regolazione europea rema in parte in quella direzione e – a completamento del giusto aneddoto sul generale Petrov – gli Stati Uniti hanno recentemente approvato una legge che impedisce ai sistemi di AI di attivare armamenti nucleari (https://www.congress.gov/bill/118th-congress/house-bill/2894?s=1&r=1)
Concludo riassumendo la mia posizione:
(1) Le AI diventeranno sempre più performanti? Probabilmente sì.
(2) Le AGI saranno sempre di più e sempre più diffuse? Sì, ma penso che la grande parte degli investimenti sia in specializzare su verticali specifici alcune AGI e AGI super intelligenti su tutto, invece, probabilmente saranno di meno e meno frequenti di quelle che ci aspettiamo (è un’opinione).
(3) Questo aumento nelle performance comporta dei rischi? Sì.
(4) Dobbiamo ragionare sui rischi e lavorare per mitigarli? Assolutamente sì.
(5) Ci sarà sicuramente il punto di singolarità in cui AI diventerà più intelligente degli esseri umani? Secondo me no.
(6) Le opportunità superano i rischi? Secondo me decisamente sì.
(7) Nell’ipotesi che si verifichi una situazione per cui è invece evidente che ci aspetta un futuro complicato o distopico a causa dell’AI va fermata la ricerca? Secondo me va accelerata nel senso di una AI for good.
Spero la risposta sia utile e esaustiva! E’ interessante questo scambio!
Sto riascoltando questa edizione con tranquillità. Sono uscito dal burnout mediatico (e lavorativo) del tormento dei rischi. Riuso questi argomenti come pietre (miliari). Anzi, carico questo podcast, faccio embedding di token, uso l’estrazione per etichettare almeno 10 contro argomenti, faccio training per il fine tuning del “pappagallo stocastico” per automatizzare risposte generative contro generatori di tormentoni. Certo ora andare contro tendenza quando gli stessi disruption come Bengio e Hinton hanno paura (LeCun il terzo per fortuna no) è dura. Anche l’ultimo libro divulgativo che sto leggendo di Aron Acemoglu si inserisce nel filone dei rischi, o meglio delle condizioni che dovrebbero essere create affinché gli effetti siano diffusi. Purtroppo sembra confidare eccessivamente nella capacità delle politiche pubbliche di essere risolutive quando l’evidenza dimostra che sono parte del problema. Per concludere proporrei Carlo Alberto a nobel per l’economia dell’innovazione, Roberto Marseglia come presidente della Commissione europea, Oscar lo dice il nome stesso, orchestratore di ecosistemi di senso (l’intelligenza artificiale quando ci sostituirà uccidendosi lo risparmierebbe per studiarlo) mentre Cifarelli nuovo amministratore delegato di Google Cloud (così velocizzi le sperimentazioni in Italia, di solito siamo ultimi per estensione delle Beta).
Grazie di questa puntata veramente interessante.