Il percorso di Roblox verso l'IA generativa 4D

• Roblox sta lavorando all'IA generativa 4D, andando oltre i singoli oggetti 3D per arrivare a interazioni dinamiche. 
• Risolvere la sfida del 4D richiederà una comprensione multimodale che abbracci aspetto, forma, fisica e script.
• I primi strumenti fondamentali per il nostro sistema 4D stanno già accelerando la creazione sulla piattaforma.

Roblox consente ai creatori di realizzare esperienze 3D immersive, avatar e accessori fornendo loro gli strumenti, i servizi e il supporto necessari per dare vita alle loro idee. Sono questi creatori a realizzare i contenuti vivaci della nostra piattaforma, che coinvolge oltre 77 milioni di utenti attivi al giorno (dati del primo trimestre 2024). Attraverso la nostra app gratuita Roblox Studio, abbiamo rilasciato una suite di strumenti di IA generativa progettati in modo unico per i flussi di lavoro di Roblox e addestrati su contenuti specifici di Roblox.

Questi strumenti rendono la creazione più facile, più efficiente e più divertente sia per gli esperti che per i principianti. Assistant consente la modifica dello spazio di lavoro 3D, Animation Capture permette di catturare i movimenti del viso e del corpo, Code Assist aiuta nella modifica e nella creazione di script, Material Generator consente di ripetere l'aspetto dei materiali e Texture Generator permette la mappatura delle texture specifiche per le risorse. Ciascuno di questi strumenti di IA generativa migliora una parte del processo creativo 3D.

Insieme, questi strumenti ampliano le competenze dei creatori e riducono i tempi che intercorrono dall'ideazione al completamento. Li abbiamo realizzati utilizzando le nostre innovative scoperte di ricerca e le migliori soluzioni disponibili nel più ampio ecosistema dell'IA. Si occupano della creazione di singole risorse in 1D (script), 2D (superfici) e 3D (spazi). Presentiamo in anteprima alcuni dei risultati del nostro laboratorio di generazione e modifica della geometria 3D in varie conferenze di ricerca internazionali, inclusa la nostra Roblox Developers Conference.

In tutto il settore, l'1D e il 2D sono all'avanguardia, mentre il 3D è all'avanguardia nell'IA generativa. Ciascuno di essi rappresenta una sfida sempre più significativa che stimola continuamente entusiasmanti progressi tecnici. Poiché viviamo in uno spazio 3D, potrebbe sembrare che questa sia la sfida definitiva dell'IA generativa. Tuttavia, sulla base delle esigenze della nostra comunità, la nostra visione per questo lavoro si estende ancora oltre.

Dove siamo oggi

Stiamo lavorando all'IA generativa 4D, dove la quarta dimensione è l'interazione. La forza della piattaforma online di Roblox è l'interazione: tra persone, oggetti e ambienti. A differenza dei videogiochi online tradizionali, il potente motore di runtime di Roblox sfrutta un modello di programmazione e simulazione unico incentrato sull'interazione. Questo modello si ispira al concetto di metaverso, dove gli elementi si incontrano in modi complessi, molti-a-molti e spontanei, piuttosto che in modi prestabiliti e limitati. 

Gli strumenti di IA generativa 1D, 2D e 3D producono risorse individuali. La sfida che affrontiamo con l'IA generativa 4D consiste nel dare vita a tali risorse in modi che consentano interazioni illimitate e adeguate alla nostra piattaforma. Ciò significa, ad esempio, che un avatar non è solo forma e colore, ma è anche uno scheletro, animazioni e la capacità di afferrare strumenti e mantenere l'equilibrio. Quell'avatar può indossare abiti che non sono stati progettati specificamente per lui e che si adattano automaticamente per calzare alla perfezione e seguire ogni movimento. Il nostro nuovo strumento Avatar AutoSetup è un primo esempio di come l'IA generativa possa aiutare ad automatizzare questo tipo di creazione. Gli sviluppatori possono ora completare questo processo in pochi minuti anziché in ore o giorni.

Un'auto sportiva non è solo una forma slanciata e una verniciatura: è anche il motore, le parti mobili e il sistema fisico che le consentono di sfrecciare lungo le strade virtuali con precisione e controllo. In ogni caso, l'oggetto viene esteso dal 3D per interagire con tutte le sue parti attraverso la fisica e con un utente tramite il suo avatar.

Ciascuno di questi elementi 4D riccamente interattivi può essere aggiunto a un ambiente più ampio in cui l'IA generativa armonizza lo stile di ogni elemento e inserisce un supporto interattivo tra gli oggetti e con l'ambiente. Ora un utente, attraverso il proprio avatar, può partecipare a una gara su strada con modificatori di danno e punteggi elevati, e sbandare fino a fermarsi davanti a un negozio di moda di marca, dove acquista nuovi capi per festeggiare la propria vittoria.

Oggi, la creazione di tali esperienze richiede la creazione manuale del codice sorgente dello script, della struttura dell'area di lavoro e del modello di dati, della geometria 3D, delle animazioni e dei materiali. I nostri attuali strumenti di IA generativa aiutano in ogni fase del processo. Stiamo sviluppando un sistema che collegherà tutti questi elementi e li genererà simultaneamente. Per raggiungere questo obiettivo, dobbiamo addestrare il nostro sistema di IA generativa 4D in modo multimodale, ovvero utilizzando più tipi di dati insieme. Questo è già stato fatto per immagini e testo, che alimentano Material Generator. Abilitare l'interazione e aggiungere ottimizzatori appositamente progettati per la fisica è il modo in cui raggiungeremo il livello successivo di capacità 4D.

Solo nell'ultimo anno, abbiamo assistito a enormi cambiamenti nel modo in cui i contenuti vengono creati su Roblox. Guardando al futuro, immaginiamo un mondo in cui chiunque, ovunque, possa dare vita a un'idea semplicemente digitando o pronunciando un comando. Per arrivarci, dobbiamo iniziare a risolvere alcune delle sfide che incontreremo lungo il percorso.

Le sfide che ci attendono

Gli esperimenti che abbiamo condiviso sopra saranno disponibili nel prossimo futuro. Più avanti, dovremo affrontare tre sfide ben precise: 

1. Funzionalità: gli oggetti creati da questo futuro strumento di IA generativa devono essere funzionali. Si tratta di un sistema in grado di osservare un camion o un aereo di cui si conosce la forma 3D e di trattarlo non come un oggetto opaco e chiuso. Senza che il creatore debba intervenire, il sistema può riconoscere automaticamente quali sono le parti che necessitano di giunti o dove la mesh deve aprirsi.

Questo è un problema di IA a livello umano che questi sistemi devono risolvere: cercare il corretto posizionamento delle ruote, ad esempio, e poi aggiungere un asse per le ruote in modo che funzionino come farebbero nel mondo fisico. E cercare dove si trova la porta, quindi ritagliare un'apertura e aggiungere cerniere in modo che la porta possa aprirsi e chiudersi.

2. Interattività: gli oggetti creati con questa futura IA generativa devono essere in grado non solo di funzionare in modo indipendente, ma anche di interagire con altri oggetti nell’ambiente. Quindi, ora che il sistema ha creato per noi un’auto con una porta che si apre e ruote che girano, deve comprendere la fisica del mondo in cui l’auto è collocata. Come si muove il veicolo sul terreno? Se si schianta contro un masso, dove e come si accartoccia, in base alle dimensioni del masso e alla velocità del veicolo?

Questa complessa sfida richiede che sia l'oggetto creato sia l'ambiente o gli oggetti con cui interagisce comprendano la fisica l'uno dell'altro. Fortunatamente, Roblox ha un vantaggio in questo aspetto, poiché la piattaforma è stata costruita come un motore fisico, il che significa che tutti gli oggetti nelle esperienze possono essere fisici. Quando l'IA generativa crea un oggetto 4D, vengono aggiunte anche qualità fisiche come materiale, massa e resistenza per prepararlo a interagire con altri oggetti fisici nel mondo.

3. Controllabile: oggi interagiamo con l'IA generativa utilizzando dei prompt. Si tratta di una scienza imperfetta, simile a una caccia al tesoro. Chi chiede l'immagine di un coniglio potrebbe ricevere una grande varietà di risultati: un coniglio vero, un coniglietto pasquale di cioccolato, un coniglio dei cartoni animati, un dipinto di un coniglio o un'illustrazione di un coniglio che indossa un cappotto. Quindi perfezioniamo i prompt, chiedendo immagini fotorealistiche o immagini "nello stile di" mentre definiamo la visione che abbiamo in mente. Ciò richiede tempo e tentativi ripetuti per avvicinarci a ciò che stiamo cercando.

Immaginate di seguire questo processo per un oggetto 3D che funziona e interagisce con altri oggetti, come il camion nel nostro esempio sopra. L'ingegneria dei prompt a questo livello sarebbe esponenzialmente complessa, non qualcosa che chiunque potrebbe usare facilmente. Per dare vita all'idea di un creatore, abbiamo bisogno di un modo più veloce e semplice per comunicare e perfezionare, collaborando essenzialmente con un assistente AI che sia più un partner e meno una caccia al tesoro. 

Questa è una sfida a livello di settore e molte aziende stanno lavorando per rendere l'IA generativa più controllabile. Abbiamo fatto alcuni progressi in questo senso con strumenti come ControlNet, che aumenta il controllo consentendo al creatore di fornire condizioni di input aggiuntive oltre ai semplici prompt di testo. Attualmente stiamo esplorando altri metodi promettenti per un flusso di lavoro soddisfacente, come far mettere in pausa l'IA dopo passaggi critici per attendere l'input dell'utente. Ma abbiamo ancora molta strada da fare per ottenere un'esperienza senza soluzione di continuità.

Siamo entusiasti dell'impatto che abbiamo visto finora e ancora più entusiasti di ciò che ci aspetta. Rispetto ai creatori che non utilizzano la versione beta di Material Generator, coloro che la utilizzano hanno aumentato l'uso delle variazioni di materiali con rendering basato sulla fisica (PBR) di oltre il 100%: da poco più di mille nel marzo 2023 a oltre duemila nel giugno 2024. Al 2 giugno 2024, i creatori hanno adottato circa 535 milioni di caratteri di codice suggeriti da Code Assist. 

Man mano che inizieremo a risolvere le sfide su questa strada verso il 4D, i nostri creatori saranno in grado di creare di più e più velocemente. Ci aspettiamo inoltre di vedere una maggiore diversità di esperienze su Roblox, poiché rendiamo possibile a più persone diventare creatori. Ciò che costruiscono e come lo costruiscono ci mostrerà dove investire in nuovi strumenti e algoritmi di IA per potenziare questi nuovi creatori, insieme alla nostra comunità esistente. 

Con l'IA generativa 4D, Roblox ha aperto una nuova frontiera per la creazione di esperienze e risorse. Sebbene le sfide siano nuove, il nostro processo di innovazione è ben rodato. Combiniamo i nostri eccellenti team interni di ricerca e sviluppo, le collaborazioni con le università e la rapida iterazione sui prototipi in partnership con la nostra comunità.