L’AI deve essere sostenibile
Oggi parliamo di Sora, LLM, sostenibilità, RAG, apprendimento emergente, Claude 3, cybersecurity, criptovalute, maxi-multe, privacy, open source, UX/UI design e nuove opportunità di apprendimento!
Ecco cosa leggerai in questa newsletter:
Sondaggio (Ritieni che la scarsa sostenibilità degli attuali modelli di Intelligenza Artificiale rappresenti un problema?)
News: Anthropic ha lanciato Claude 3; c’è una nuova minaccia per la sicurezza informatica; il mercato delle criptovalute è in perfetta salute; Apple è stata multata per aver violato le leggi sullo streaming musicale; la gestione della privacy ai tempi dell'AI Generativa; Grok diventa open source.
Community: è in partenza un nuovo corso online (gratuito) per diventare Front End Developer; iscriviti alla waiting list per il corso di UI/UX Design; abbraccia la libertà del lavoro da freelance.
La potenza di calcolo potrebbe rappresentare un problema
Mentre i “potenti della terra” si interrogano sul futuro dell’AGI (secondo il CEO di Nvidia Jensen Huang, la prima Artificial General Intelligence potrebbe arrivare entro cinque anni), ormai da settimane, il web pullula di dozzine e dozzine di video creati con Sora, l’avveniristico modello generativo text-to-video di OpenAI.
Al di là della “perfezione” dell’output generato, su cui si può dire davvero ben poco, ciò che in realtà dovrebbe farci riflettere è soprattutto la potenza di calcolo necessaria per farlo.
Per comprendere l’entità delle sfide che ci ritroveremo ben presto ad affrontare, vi basti sapere che, per creare un video di 60 secondi con Sora, pare siano mediamente necessari circa 24 minuti. Alcuni parlano, addirittura, di 60 minuti.
Supponiamo che, a differenza di quanto in realtà è stato fatto, Sora fosse attualmente disponibile a livello globale e migliaia di utenti decidessero di creare contemporaneamente un video da 60 secondi. Probabilmente, neppure le infinite risorse di OpenAI e Microsoft potrebbero sostenerne l’impatto.
Abituati, come siamo, ad ottenere i nostri output in pochi secondi, sarà davvero difficile (se non impossibile) trasformare in tempi brevi questo innovativo modello generativo in uno strumento di uso comune. OpenAI ne è senz’altro consapevole, tant’è che, al di là di “alcuni punti deboli”, già dichiarati in fase di lancio, il mancato rilascio di Sora sul mercato consumer potrebbe dipendere anche dalla sua scarsa, se non scarsissima, sostenibilità.
Prompt: The story of a robot’s life in a cyberpunk setting.
Considerando il fatto che Mark Zuckerberg, per addestrare Llma 3, il suo nuovo LLM open source (pare verrà lanciato a luglio di quest’anno), ha dichiarato di aver comprato più di 350.000 GPU H100 di Nvidia (che ha appena raggiunto i 2.000 miliardi di dollari di capitalizzazione!), bisognerebbe chiedersi quanti ne sarebbero necessari per far funzionare a livello globale un modello generativo come Sora. Non lo sapremo mai.
Anche secondo Demis Hassabis (CEO di Google DeepMind), questo continuo “aumento di scala”, alla lunga, non sarà più sostenibile. Sebbene non ci abbia svelato chiaramente quali siano gli attuali piani di Google, le sue più recenti dichiarazioni in merito, sono “pesanti come macigni”: “[…] per arrivare all’AGI probabilmente saranno necessarie molte altre innovazioni oltre alla massimizzazione della scala massima […]. Bisogna ovviamente spingere sulle tecniche esistenti per vedere fino a che punto arrivano, ma non si perfezioneranno nuove capacità dell'AI semplicemente scalando le tecniche esistenti. Non succederà come per magia”.
Credits: Dwarkesh Podcast
Sondaggio
Il presente è incerto, ma il futuro è open source
Malgrado le “dimensioni” del problema siano più contenute, anche per i “classici” LLM multimodali (tra cui, GPT4 e Gemini), le cose si faranno sempre più complicate. Pur non dichiarandolo apertamente, per i grandi vendor internazionali, il futuro è già tracciato: man mano che l’utilizzo dell’AI Generativa penetrerà progressivamente nelle nostre esistenze, sarà sempre più sfidante (e costoso) gestire LLM proprietari di tali dimensioni, soprattutto in fase di addestramento.
Lo dimostrano efficacemente, non solo, le ultime mosse di Google, che ha appena lanciato Gemma (un modello open source “gemello” di Gemini) e di Meta, che, come dicevamo, ha investito enormi quantità di denaro per addestrare il suo Llma 3, ma soprattutto quelle di Microsoft, che, a sorpresa, ha recentemente siglato una partnership strategica con la start up francese Mistral.
Oltre a garantire indubbi vantaggi in termini di trasparenza e collaborazione, partendo da LLM pre-addestrati open source, si potrebbe potenzialmente ovviare alla dispendiosa personalizzazione di tali modelli su domini specifici. intervenendo, mediante le cosiddette tecniche di fine-tuning, su dataset più contenuti, con un significativo risparmio, sia in termini di risorse computazionali che di tempo. Insomma, il presente è incerto, ma il futuro è senz’altro open source.
Alla ricerca della sostenibilità perduta
Nel frattempo, in molti stanno già provando ad affrontare nell’immediato il problema della sostenibilità dei modelli di Intelligenza Artificiale.
Se, da una parte, molte aziende (soprattutto le più grandi), avendo riscoperto un “vecchio” articolo del 2020, firmato da Patrick Lewis e da altri ricercatori di Facebook AI Research ("Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks"), stanno finalmente mettendo in pratica le grandi potenzialità della cosiddetta Retrieval-Agumented Generation (RAG), ovvero un processo attraverso il quale è possibile integrare le informazioni contenute in un LLM con dati più aggiornati (e verticali) senza la necessità di effettuare un lungo e dispendioso retraining dell’intero sistema, dall’altra, tutti i più quotati ingegneri del mondo stanno lavorando incessantemente sulle proprie teorie (spesso poco più che sperimentali) per trovare una soluzione definitiva al problema.
Tra i numerosi studi pubblicati, ce n’è uno, in particolare, per giunta tutto italiano, che merita senz’altro la nostra attenzione: “Apprendimento emergente: una nuova strategia ottica per la computazione del futuro”. Secondo i ricercatori del Consiglio Nazionale delle Ricerche e dell’Istituto Italiano di Tecnologia, il cosiddetto “apprendimento emergente”, ovvero una tecnica che utilizza la natura caotica e non lineare dei sistemi ottici per creare reti neurali artificiali in grado di apprendere e svolgere compiti complessi, potrebbe rivoluzionare completamente il futuro del calcolo, offrendo notevoli vantaggi in termini di efficienza, velocità e consumo energetico. Ne risentiremo parlare.
Le risorse di questa settimana
News
Anthropic ha lanciato Claude 3, un innovativo modello di Intelligenza Artificiale progettato per competere con Gemini e ChatGPT. Claude 3 restituisce risultati istantaneamente, anche in fase di analisi di materiale complesso. Haiku, la versione più compatta di Claude 3, viene descritta come il modello più veloce e conveniente presente sul mercato, in grado di interpretare correttamente articoli corredati di grafici e tabelle in meno di tre secondi.
Un nuovo tipo di malware, soprannominato "AI Worm", sta emergendo come una seria minaccia per la sicurezza informatica. Questi software sfruttano l'Intelligenza Artificiale per auto-replicarsi e adattarsi alle difese, rendendoli estremamente difficili da individuare e rimuovere. Secondo quanto riportato da Wired, questi malware potrebbero essere utilizzati per attacchi informatici su vasta scala, con conseguenze devastanti per le aziende e i governi.
Il mercato delle criptovalute sembrerebbe particolarmente in salute negli ultimi tempi. Coinbase, la principale piattaforma di scambio di criptovalute degli Stati Uniti, ha, infatti, registrato un notevole incremento del valore delle proprie azioni (è aumentato del 265% nel corso dell’ultimo anno), soprattutto grazie all’introduzione di una serie di nuove criptovalute emergenti, come Bitcoin ETF Token, Bitcoin Minetrix e Meme Kombat.
Apple è stata multata di 1,8 miliardi di dollari per aver violato la legge dell'UE relativa ai servizi di streaming musicale. Sebbene sia stato già presentato regolare ricorso, tale violazione potrebbe comportare conseguenze finanziarie piuttosto rilevanti per il gigante di Cupertino, evidenziando la necessità per le aziende di operare nel rispetto delle normative vigenti. Nel frattempo, le azioni del gruppo sono già scese del 2,5%.
La gestione della privacy ai tempi dell'AI Generativa è uno dei veri nodi da sciogliere. Mentre, dalle nostre parti, il Garante della Privacy avvia istruttoria su “Sora” di OpenAI per avere maggiori informazioni sull’algoritmo che “crea video da poche righe di testo”, dall’altra parte dell’oceano, Mozilla lancia una petizione online per chiedere ad OpenAI, Google e Microsoft di rivelare pubblicamente il modo in cui i dati degli utenti vengono utilizzati per addestrare i propri modelli di Intelligenza Artificiale.
Con un sintetico post pubblicato sul proprio account X, Elon Musk ha annunciato che “Grok”, il modello di Intelligenza Artificiale di xAI, diventerà open source entro la fine di questa settimana.
Community
Il 18 marzo 2024 è in partenza un nuovo corso online e gratuito (finanziato da un partner), della durata di 6 settimane, per diventare Front End Developer. I requisiti per poter partecipare sono: possesso di diploma di scuola secondaria e disponibilità a seguire il corso full time 9-18. Verrà rilasciata una certificazione! Potete candidarvi cliccando QUI.
Il design di un sito web si è trasformato in un elemento cruciale per il successo online. Due discipline fondamentali, il design dell'Interfaccia utente (UI) e il design dell'esperienza utente (UX), stanno plasmando il modo in cui interagiamo con i siti web. Se la figura da UX/UI designer ti affascina, iscriviti alla waiting list per il corso dedicato di Digitazon!
Vuoi conoscere tutti i dettagli del nostro corso breve (5h) per diventare Digital Nomad? Potrai abbracciare la libertà del lavoro da freelance e raggiungere la tua isola di felicità. Vuoi saperne di più? Scarica la brochure!
Il Remote Working sta diventando sempre più diffuso e cruciale per molte organizzazioni e professionisti. Come possiamo garantire che il nostro lavoro da casa sia davvero efficiente, produttivo e gratificante? Scoprilo Martedì 19 Marzo alle ore 19:00 iscrivendoti alla nostra Masterclass Produttività!
In un’intervista al Wall Street Journal, Mira Murati, Chief Technology Officer di OpenAI, ha appena confermato che Sora sarà disponibile a livello globale entro il 2024.