#96 Come funziona ChatGpt
L'intelligenza artificiale generativa, minuto per minuto; fine dei compiti in classe?; chi è l'autore?; urge moratoria, come con l'atomica?; professione prompt engineer
ARTICOLI. LIBRI. VIDEO. PODCAST. LIVE. BIO.
Prologo
Non si parla d’altro, ma di che parliamo quando parliamo di ChatGPT? Come spesso succede, siamo arrivati direttamente al dibattito (bandirla dalle scuole o insegnarla in classe?) senza passare dalle forche caudine della comprensione: come funziona? Com’è che i suoi algoritmi riescono a indovinare quale parola è più probabile che segua un’altra fino a comporre ghirlande di conversazioni? Ci abbiamo provato nel servizio di copertina del Venerdì.
TUTTO QUEL CHE AVRESTE VOLUTO CHIEDERE…
Abbiamo cercato di capire – tra gli altri – con l’aiuto di Yoshua Bengio, uno dei tres tenores mondiali dell’intelligenza artificiale, e Malvina Nissim, linguista computazionale italiana che insegna all’università di Groninga, in Olanda. Un estratto:
Ma prima di dargli la parola una spiegazione brutalmente semplificata di cos’è una rete neurale, perché è quello il campo da gioco su cui vengono costruiti i modelli linguistici (Large language model, Llm) attraverso i quali le macchine imparano a fare un sacco di cose. Fino a una decina di anni fa gli algoritmi che provavano a comprendere o tradurre automaticamente i testi lavoravano concentrandosi su una parola alla volta, serialmente come si direbbe in informatica. Ma il cervello non funziona così: i neuroni funzionano su vari livelli, in parallelo, creando delle sinapsi, connessioni stabili, in risposta a diversi stimoli. Ecco, le reti neurali provano a replicare lo schema del cervello. Con al posto dei neuroni i microprocessori. Torniamo dunque dal professor Bengio e alla sua intuizione di ventitré anni fa: «All’epoca la reti neurali provavano a indovinare la singola parola successiva perché le parole venivano considerate simboli. Noi abbiamo proposto di considerarle vettori, gruppi di numeri che descrivessero l’attivazione della rete di fronte a un determinato elemento. Se dico “gatto” nel nostro cervello alcuni neuroni (quelli associati a felino, mammifero, quadrupede, e così via, ndr) si attiveranno di più, altri meno, creando un pattern che, in matematica, si può rendere appunto con un vettore. Ogni parola ha il suo. E, attraverso la sua capacità di calcolo, la rete potrà desumere dall’interazione tra i vari pattern quale parola è più probabile che segua a un’altra, in un certo contesto».
LA SCOPERTA DELL’ATTENZIONE
Il paper di Bengio tra i più decisivi nello sviluppo dei GPT (Generative Pre-trained Transformer, transformer generativi pre-addestrati, ecco spiegato il nome) come stiamo iniziando a conoscerli risale al 2014 e riguarda il concetto di “attenzione”. Ancora lui: «Prima, per tradurre un libro dall’italiano all’inglese, l’algoritmo lo memorizzava tutto intero e lo sputava fuori tutto insieme. Noi invece abbiamo dimostrato che funzionava molto meglio leggendolo in italiano e traducendo man mano in inglese, tornando indietro all’italiano per capire, grazie ai “pesi” delle connessioni tra le parole, qualcosa di simile alle sinapsi, quali fossero quelle davvero importanti per stabilire il significato del termine da tradurre. E questa scelta – non tutte le parole hanno lo stesso peso – è ciò che abbiamo chiamato attenzione. Il meccanismo sulla base del quale, tre anni più tardi, un gruppo di ricercatori di Google nel 2017 ha inventato i transformer, ovvero l’ultima lettera di ChatGPT». Di che trasformazione staremmo parlando? Del fatto che queste reti capiscono che le associazioni tra le parole, o meglio i word embeddings, le loro rappresentazioni matematiche espresse come vettori, sono alterate da quelle che gli stanno attorno, non necessariamente subito prima o subito dopo, ma anche quelle più lontane nella frase. E a forza di addestrarsi a predire parole mancanti in milioni di frasi la rete acquisisce non solo il significato delle singole parole ma quello di strutture semantiche più grandi.
FARCI I COMPITI O NO?
Tanti i problemi aperti, affrontati nelle ultime settimane su Galapagos, la rubrica sulla newsletter del Venerdì. Ad esempio:
Diamo per scontato che il lettore di Galapagos sappia cos'è ChatGpt (ne abbiamo scritto qui). In breve: una forma di intelligenza artificiale che risponde alle domande in maniera molto convincente. È stata lanciata da meno di due mesi, ancora non s'è capito bene come funziona ma già infuria il dibattito. Ieri, in seguito al bando di questa tecnologia durante i compiti in classe nelle scuole di Seattle e New York (non esattamente due città tecnofobe), Repubblica ha ospitato due contributi italiani. Intervistato da Corrado Zunino Antonello Giannelli, presidente dell'Associazione dei presidi, ha detto che «no, nessuna chiusura, nessun divieto alle nuove applicazioni». Tra i commenti invece il ministro dell'istruzione Giuseppe Valditara (lo stesso che vuole bandire i cellulari in classe), pur senza nominare ChatGpt, ha scritto che «l'intelligenza artificiale può offrire vantaggi sia ai docenti che agli studenti». Che è ovviamente vero, ma mi chiedo se l'uno e l'altro abbiano mai provato ChatGpt. Perché il rubrichista qui, grande appassionato di tecnologia ma con gli occhi non completamente foderati di prosciutto, per esempio ha risposto a circa un quarto delle domande di un test online saltando le spiegazioni e riproponendo tali e quali le domande a ChatGpt che prontamente rispondeva (il più delle volte correttamente, altre volte con sfondoni madornali ancorché credibili). Poco male, perché il cronista ha concluso da secoli il suo ciclo scolastico, ma nel caso di ragazzi che bypassano lo studio affidando le risposte all'ia il problema esiste e come. ChatGpt è formidabile e si avvicina alla vecchia definizione di tecnologia «indistinguibile dalla magia». Ma se diventa un'arma di distruzione di massa della fatica del concetto, allora la questione è seria. Capisco il desiderio di sembrare moderni. Però anche quello di restare seri non dovrebbe essere trascurato.
IL DIRITTO D'AUTORE AL TEMPO DEL BOT
Oppure:
Emanuele Terracina, un mio amico informatico di prima grandezza, mi ha detto che ormai usa ChatGpt a manetta per aiutarlo a scrivere codice: «È bravissimo e mi evita un sacco di perdite di tempo». Per ora è un aiutante, domani chissà. D'altronde Autopilot di Microsoft, che fa la stessa cosa, è una specie di superpotere di cui i programmatori si avvantaggiano da tempo. Ma quando arriverà il momento in cui, tra gli autori, si dovranno citare anche gli algoritmi? È la domanda alla quale dovrà rispondere presto la corte suprema britannica riguardo al caso dell'informatico americano Stephen Thaler che, nel 2019, si è visto rifiutare la registrazione di due brevetti dal Britain’s Intellectual Property Office. Non perché il suo contenitore per bevande e l'apparecchio per trovare le persone smarrite non fossero sufficientemente originali, ma perché li aveva inventati Dabus (Device for the Autonomous Bootstrapping of Unified Sentience), un'intelligenza artificiale di suo conio, e non voleva prendersi meriti impropri. I brevetti servono per incentivare la creatività, assicurando all'inventore il godimento delle sue ricadute economiche. Le macchine non hanno bisogno di questa carota. Però, segnala sull'Economist il ricercatore dell'università di Toronto Avi Goldfarb, quando gli algoritmi creeranno nuovi farmaci in totale autonomia, se quelle invenzioni non saranno brevettabili, mancheranno gli incentivi per le aziende a creare macchine specializzate in ricerca medica. Un caso, serio, tra tanti.
MORATORIA SULL'IA? CHATGPT COME L'ATOMICA
Fino a:
Il fatto che la firmi anche Elon Musk, uno che nel 2015 aveva denunciato i «rischi esistenziali» dell'intelligenza artificiale salvo poi inserire AI nei nomi degli ultimi suoi due figli, non deve confondere: la lettera aperta che chiede di mettere in pausa la ricerca sull'Ia va presa terribilmente sul serio. Non fosse per il fatto che il suo primo firmatario è Yoshua Bengio, uno dei tre vincitori dei Turing Prize, il Nobel del settore. Che è come se Henry Ford avesse scritto un manifesto preoccupato della diffusione delle automobili. Nei primi posti della lista figurano anche Steve Wozniak, il cofondatore della Apple, e un buon numero di giganteschi scienziati informatici. Compreso Max Tegmark, president del Future of Life Institute al Mit e uno che che otto anni fa, quando l'avevo conosciuto a Austin, Texas, in occasione del raduno annuale dell'Association for the Advancement of Artificial Intelligence (AAAI) già si interrogava su come insegnare alle auto senza pilota chi sacrificare, tra un giovane e un vecchio, in caso di collisione inevitabile. Dunque questi signori scrivono: «Dobbiamo lasciare che le macchine inondino i nostri canali di informazione con propaganda e falsità? Dovremmo lasciar automatizzare tutti i lavori, compresi quelli più soddisfacenti? Dovremmo sviluppare menti non umane che alla fine potrebbero superarci in numero, intelligenza, fino al punto di renderci obsoleti e sostituirci?» (virgolettato tradotto da DeepL). Chiedono una pausa volontaria di sei mesi nella ricerca, per fissare paletti condivisi. In sua assenza, una moratoria imposta dagli stati. È una richiesta molto seria, fatta da gente che – a differenza della stragrande maggioranza della popolazione – sa esattamente di cosa stiamo parlando. Liquidarli come luddisti sarebbe una barzelletta.
PROFESSIONE PROMPT ENGINEER
Per finire con:
Si fa presto a dire "fatto con l'Ia". Nel senso che all'intelligenza artificiale, almeno per il futuro che riusciamo a scorgere oggi, l'istruzione (prompt) sul da farsi deve pur darla un essere umano. Prendete la nostra copertina. L'ho fatta io dando a Midjourney una serie di indicazioni diverse. Da "selfie di chatgpt" (risultato orrendo) a "rappresentazione grafica di chatgpt" (gattini con alcune lettere, comprese "p" e "t", stampigliate a caso), da "rappresentazione dell'idea di intelligenza artificiale" (molto meglio) a "rappresentazione visiva dell'idea di intelligenza artificiale, in stile fotografico" (il risultato di questo prompt è quello che il nostro direttore e l'art director hanno scelto ed è finito in pagina). Questo per dire che quella di parlare alle macchine non è un'arte banale. Tant'è che quella di prompt engineer (ingegnere dei prompt) è diventata una professione. In forte crescita e in certi casi anche strapagata, stando a un'offerta di lavoro di Anthropic, azienda nata da due fuoriusciti di OpenAI, che offriva una posizione con salario fino a 335.000 dollari per uno che sapesse costruire una «library di prompt di alta qualità», una guida facile per aiutare gli utenti e altri tutorial. Una conoscenza pregressa di un po' di programmazione sarebbe stata apprezzata, ma erano invitate a candidarsi anche persone che non avessero alcuna formazione informatica. Ora questa cifra è un po' un caso limite e Promptbase vende prompt per fare immagini che sembrano radiografie su fondo nero (come quella sopra) per 3 dollari e 99. In ogni caso è una prospettiva professionale da prendere in considerazione.
Epilogo
Ne vedremo delle belle.