A trajetória da Roblox rumo à IA generativa 4D

• A Roblox está desenvolvendo uma IA generativa 4D, indo além de objetos 3D isolados para interações dinâmicas. 
• Resolver o desafio do 4D exigirá compreensão multimodal que abranja aparência, forma, física e scripts.
• As primeiras ferramentas, fundamentais para o nosso sistema 4D, já estão acelerando a criação na plataforma.

A Roblox capacita os criadores a construir experiências 3D imersivas, avatares e acessórios, fornecendo as ferramentas, os serviços e o suporte de que precisam para dar vida às suas ideias. São esses criadores que desenvolvem o conteúdo vibrante em nossa plataforma, que envolve mais de 77 milhões de usuários ativos diários (no primeiro trimestre de 2024). Por meio do nosso aplicativo gratuito Roblox Studio, lançamos um conjunto de ferramentas de IA generativa projetadas exclusivamente para os fluxos de trabalho do Roblox e treinadas com conteúdo específico do Roblox.

Essas ferramentas tornam a criação mais fácil, mais eficiente e mais divertida tanto para especialistas quanto para novatos. O Assistant permite a edição do espaço de trabalho 3D, o Animation Capture permite a captura de movimentos faciais e corporais, o Code Assist auxilia na edição e criação de scripts, o Material Generator permite a repetição de aparência de materiais e o Texture Generator permite o mapeamento de texturas específicas para ativos. Cada uma dessas ferramentas de IA generativa aprimora uma parte do processo criativo 3D.

Juntas, essas ferramentas ampliam o conjunto de habilidades do criador e reduzem o tempo entre a concepção e a conclusão. Nós as desenvolvemos utilizando nossas próprias descobertas inovadoras de pesquisa, bem como as melhores soluções do ecossistema mais amplo de IA. Elas abordam a criação de ativos individuais em 1D (scripts), 2D (superfícies) e 3D (espaços). Apresentamos uma prévia de alguns dos resultados de nosso laboratório de geração e edição de geometria 3D em várias conferências internacionais de pesquisa, incluindo nossa própria Roblox Developers Conference.

Em todo o setor, 1D e 2D são o que há de mais avançado, e o 3D está na vanguarda da IA generativa. Cada um deles é um desafio cada vez mais significativo que impulsiona continuamente avanços técnicos empolgantes. Como vivemos em um espaço 3D, pode parecer que esse seja o desafio definitivo da IA generativa. No entanto, com base nas necessidades de nossa comunidade, nossa visão para este trabalho se estende ainda mais.

Onde estamos hoje

Estamos trabalhando em direção à IA generativa 4D, onde a quarta dimensão é a interação. O poder da plataforma online da Roblox é a interação — entre pessoas, objetos e ambientes. Ao contrário dos videogames online tradicionais, o poderoso mecanismo de execução da Roblox utiliza um modelo único de programação e simulação focado na interação. Esse modelo é inspirado no conceito de um metaverso, onde os elementos se encontram de maneiras complexas, múltiplas e espontâneas, em vez de formas restritas e limitadas. 

Ferramentas de IA generativa 1D, 2D e 3D produzem recursos individuais. O desafio que enfrentamos com a IA generativa 4D está em dar vida a esses recursos de maneiras que permitam interações irrestritas, adequadas à nossa plataforma. Isso significa, por exemplo, que um avatar não é apenas forma e cor — é também um esqueleto, animações e a capacidade de segurar ferramentas e manter o equilíbrio. Esse avatar pode usar roupas que não foram projetadas especificamente para ele e que se ajustam automaticamente para se encaixar perfeitamente e acompanhar todos os movimentos. Nossa nova ferramenta Avatar AutoSetup é um dos primeiros exemplos de como a IA generativa pode ajudar a automatizar esse tipo de criação. Os desenvolvedores agora podem concluir esse processo em minutos, em vez de horas ou dias.

Um carro esportivo não é apenas uma forma elegante e pintura na superfície — é também o motor, as peças móveis e a estrutura física que permitem que ele acelere pelas ruas virtuais com precisão e controle. Em cada caso, o objeto é estendido do 3D para interagir com todas as suas partes por meio da física e com um usuário por meio de seu avatar.

Cada um desses elementos 4D ricamente interativos pode ser adicionado a um ambiente maior, onde a IA generativa harmoniza o estilo de cada elemento e injeta suporte interativo entre os objetos e com o ambiente. Agora, um usuário, por meio de seu avatar, pode participar de uma corrida de rua com modificadores de dano e pontuações altas, e derrapar até parar em uma loja de moda de marca, onde compra roupas novas para comemorar sua vitória.

Hoje, criar tais experiências requer a criação manual do código-fonte do script, da estrutura do espaço de trabalho e do modelo de dados, da geometria 3D, das animações e dos materiais. Nossas ferramentas de IA generativa existentes auxiliam em cada etapa do pipeline. Estamos construindo um sistema que conectará todos esses elementos e os gerará simultaneamente. Para alcançar isso, precisamos treinar nosso sistema de IA generativa 4D de maneira multimodal, ou seja, combinando vários tipos de dados. Isso já é feito para imagens e texto, que alimentam o Material Generator. Habilitar a interação e adicionar otimizadores específicos para física é como alcançaremos o próximo nível de capacidade 4D.

Apenas no último ano, vimos mudanças enormes na forma como o conteúdo é criado no Roblox. Olhando para o futuro, vemos um cenário em que qualquer pessoa, em qualquer lugar, poderá dar vida a uma ideia simplesmente digitando ou falando um comando. Para chegar lá, precisamos começar a resolver alguns dos desafios que encontraremos pelo caminho.

Os desafios que temos pela frente

As experiências que compartilhamos acima estarão disponíveis em um futuro próximo. Mais adiante, enfrentamos três desafios claros que precisaremos superar: 

1. Funcionalidade: os objetos criados por essa futura ferramenta de IA generativa precisam ser funcionais. Trata-se de o sistema olhar para um caminhão ou um avião, onde você tem a forma 3D, e tratá-lo não como um objeto opaco e fechado. E, sem que o criador precise intervir, ele pode reconhecer automaticamente quais são as partes que precisam ter articulações ou onde a malha precisa se abrir.

Esse é um problema de IA de nível humano que esses sistemas precisam resolver — procurar o posicionamento correto das rodas, por exemplo, e então adicionar um eixo para que elas funcionem da mesma forma que funcionariam no mundo físico. E procurar onde fica a porta, cortar uma abertura e adicionar dobradiças para que a porta possa abrir e fechar.

2. Interativo: Os itens criados com essa futura IA generativa também precisam ser capazes não apenas de funcionar de forma independente, mas também de interagir com outros objetos no ambiente. Portanto, agora que o sistema criou para nós um carro com uma porta que abre e rodas que giram, ele precisa compreender a física do mundo em que o carro está inserido. Como o veículo se move no terreno? Se ele colidir com uma pedra, onde e como ele se amassa, com base no tamanho da pedra e na velocidade do veículo?

Esse desafio complexo exige que tanto o objeto criado quanto o ambiente ou os objetos com os quais ele interage compreendam a física um do outro. Felizmente, o Roblox leva vantagem nesse aspecto, já que a plataforma foi construída como um motor físico, o que significa que todos os objetos nas experiências podem ser físicos. Quando a IA generativa cria um objeto 4D, qualidades físicas como material, massa e resistência também serão adicionadas para prepará-lo para interagir com outros objetos baseados na física no mundo.

3. Controlável: Hoje, interagimos com a IA generativa usando prompts. Essa é uma ciência imperfeita, semelhante a uma caça ao tesouro. Alguém que peça uma imagem de um coelho pode receber uma enorme variedade de resultados: um coelho de verdade, um coelhinho de Páscoa de chocolate, um coelho de desenho animado, uma pintura de um coelho ou uma ilustração de um coelho vestindo um casaco. Então, refinamos os prompts, pedindo imagens fotorrealistas ou imagens “no estilo de”, à medida que ajustamos a visão que temos em mente. Isso leva tempo e tentativas repetidas para nos aproximarmos do que estamos procurando.

Imagine tentar seguir esse processo para um objeto 3D que funcione e interaja com outros objetos, como o caminhão do nosso exemplo acima. A engenharia de prompts nesse nível seria exponencialmente complexa — não algo que qualquer pessoa pudesse usar facilmente. Para dar vida à ideia de um criador, precisamos de uma maneira mais rápida e fácil de nos comunicarmos e refinarmos, essencialmente colaborando com um assistente de IA que seja mais um parceiro e menos uma caça ao tesouro. 

Esse é um desafio em toda a indústria, e muitas empresas estão trabalhando para trazer maior controlabilidade à IA generativa. Fizemos alguns progressos nessa área com ferramentas como o ControlNet, que aumenta o controle ao permitir que o criador forneça condições de entrada adicionais além de simples prompts de texto. Atualmente, estamos explorando outros métodos promissores para um fluxo de trabalho satisfatório, como fazer com que a IA pause após etapas críticas para aguardar a entrada do usuário. Mas ainda temos um longo caminho a percorrer para alcançar uma experiência perfeita.

Estamos entusiasmados com o impacto que vimos até agora e ainda mais entusiasmados com o que está por vir. Em comparação com criadores que não estão usando a versão beta do Material Generator, aqueles que a utilizam aumentaram o uso de variações de materiais com renderização baseada em física (PBR) em mais de 100% — passando de pouco mais de mil em março de 2023 para mais de duas mil em junho de 2024. Até 2 de junho de 2024, os criadores adotaram aproximadamente 535 milhões de caracteres de código sugeridos pelo Code Assist. 

À medida que começamos a resolver os desafios neste caminho rumo ao 4D, nossos criadores poderão criar mais e mais rápido. Também esperamos ver uma maior diversidade de experiências no Roblox, à medida que possibilitamos que mais pessoas se tornem criadores. O que eles constroem e como constroem nos mostrará onde investir em novas ferramentas e algoritmos de IA para capacitar esses novos criadores, juntamente com nossa comunidade existente. 

Com a IA generativa 4D, o Roblox abriu uma nova fronteira para a criação de experiências e ativos. Embora os desafios sejam novos, nosso processo de inovação está bem aperfeiçoado. Combinamos nossas equipes internas de pesquisa e desenvolvimento de ponta, colaborações com universidades e iteração rápida em protótipos em parceria com nossa comunidade.