El camino de Roblox hacia la IA generativa 4D

• Roblox está trabajando en el desarrollo de una IA generativa 4D, que va más allá de los objetos 3D individuales para ofrecer interacciones dinámicas. 
• Resolver el reto del 4D requerirá una comprensión multimodal que abarque la apariencia, la forma, la física y los scripts.
• Las primeras herramientas, fundamentales para nuestro sistema 4D, ya están acelerando la creación en la plataforma.

Roblox permite a los creadores desarrollar experiencias 3D inmersivas, avatares y accesorios, proporcionándoles las herramientas, los servicios y el apoyo que necesitan para dar vida a sus ideas. Son estos creadores quienes construyen el contenido dinámico de nuestra plataforma, que atrae a más de 77 millones de usuarios activos diarios (a fecha del primer trimestre de 2024). A través de nuestra aplicación gratuita Roblox Studio, hemos lanzado un conjunto de herramientas de IA generativa diseñadas específicamente para los flujos de trabajo de Roblox y entrenadas con contenido específico de Roblox.

Estas herramientas hacen que la creación sea más fácil, más eficiente y más divertida tanto para expertos como para principiantes. Assistant permite la edición del espacio de trabajo 3D, Animation Capture permite capturar movimientos faciales y corporales, Code Assist ayuda con la edición y creación de scripts, Material Generator permite la repetición de la apariencia de los materiales y Texture Generator permite el mapeo de texturas específicas para cada activo. Cada una de estas herramientas de IA generativa mejora una parte del proceso creativo en 3D.

En conjunto, estas herramientas amplían las habilidades de los creadores y reducen el tiempo desde el concepto hasta la finalización. Las hemos creado utilizando nuestros propios avances de investigación innovadores, así como las mejores soluciones del ecosistema de IA en general. Abordan la creación de activos individuales en 1D (scripts), 2D (superficies) y 3D (espacios). Presentamos algunos de los resultados de nuestro laboratorio de generación y edición de geometría 3D en diversas conferencias internacionales de investigación, incluida nuestra propia Roblox Developers Conference.

En todo el sector, el 1D y el 2D son tecnología punta, y el 3D se encuentra a la vanguardia de la IA generativa. Cada uno de ellos supone un reto cada vez más importante que impulsa continuamente avances técnicos apasionantes. Dado que vivimos en un espacio 3D, podría parecer que ese es el reto definitivo de la IA generativa. Sin embargo, basándonos en las necesidades de nuestra comunidad, nuestra visión para este trabajo se extiende aún más allá.

Dónde nos encontramos hoy

Estamos trabajando hacia la IA generativa 4D, donde la cuarta dimensión es la interacción. El poder de la plataforma online de Roblox es la interacción: entre personas, objetos y entornos. A diferencia de los videojuegos online tradicionales, el potente motor de ejecución de Roblox aprovecha un modelo único de programación y simulación centrado en la interacción. Este modelo se inspira en el concepto de metaverso, donde los elementos se relacionan de formas complejas, múltiples y espontáneas, en lugar de hacerlo de manera prescrita y limitada. 

Las herramientas de IA generativa 1D, 2D y 3D producen activos individuales. El reto al que nos enfrentamos con la IA generativa 4D consiste en dar vida a esos activos de formas que permitan interacciones sin restricciones adecuadas para nuestra plataforma. Esto significa, por ejemplo, que un avatar no es solo forma y color, sino también un esqueleto, animaciones y la capacidad de agarrar herramientas y mantener el equilibrio. Ese avatar puede llevar ropa que no haya sido diseñada específicamente para él y que se ajuste automáticamente para quedar perfecta y siga todos sus movimientos. Nuestra nueva herramienta Avatar AutoSetup es un primer ejemplo de cómo la IA generativa puede ayudar a automatizar este tipo de creación. Los desarrolladores ahora pueden completar este proceso en minutos, en lugar de horas o días.

Un coche deportivo no es solo una forma elegante y pintura en la superficie, sino también el motor, las piezas móviles y el sistema físico que le permiten rugir por las calles virtuales con precisión y control. En cada caso, el objeto se amplía desde el 3D para interactuar con todas sus partes a través de la física y con un usuario a través de su avatar.

Cada uno de estos elementos 4D, ricamente interactivos, puede añadirse a un entorno más amplio en el que la IA generativa armoniza el estilo de cada elemento e introduce soporte interactivo entre los objetos y con el entorno. Ahora, un usuario, a través de su avatar, puede participar en una carrera callejera con modificadores de daños y puntuaciones máximas, y derrapar hasta detenerse en una tienda de moda de marca, donde compra ropa nueva para celebrar su victoria.

Hoy en día, crear este tipo de experiencias requiere la creación manual del código fuente del script, la estructura del espacio de trabajo y del modelo de datos, la geometría 3D, las animaciones y los materiales. Nuestras herramientas de IA generativa actuales ayudan en cada parte del proceso. Estamos desarrollando un sistema que conectará todos estos elementos y los generará simultáneamente. Para lograrlo, debemos entrenar nuestro sistema de IA generativa 4D de forma multimodal, es decir, combinando múltiples tipos de datos. Esto ya se ha hecho con imágenes y texto, que alimentan Material Generator. Habilitar la interacción y añadir optimizadores específicos para la física es cómo alcanzaremos el siguiente nivel de capacidad 4D.

Solo en el último año, hemos visto cambios enormes en cómo se crea el contenido en Roblox. De cara al futuro, vemos un futuro en el que cualquiera, en cualquier lugar, pueda dar vida a una idea con solo escribir o decir un comando. Para llegar allí, tenemos que empezar a resolver algunos de los retos que nos encontraremos en el camino.

Los retos que nos esperan

Los experimentos que hemos compartido anteriormente estarán disponibles en un futuro próximo. Más allá, nos enfrentamos a tres retos claros que tendremos que superar: 

1. Funcionalidad: Los objetos creados por esta futura herramienta de IA generativa deben ser funcionales. Se trata de que el sistema observe un camión o un avión, de los que se dispone de la forma 3D, y no lo trate como un objeto opaco y cerrado. Y sin que el creador tenga que intervenir, pueda reconocer automáticamente cuáles son las partes que necesitan articulaciones, o dónde debe abrirse la malla.

Este es un problema de IA a nivel humano que estos sistemas deben resolver: buscar la ubicación correcta de las ruedas, por ejemplo, y luego añadir un eje para que funcionen igual que lo harían en el mundo físico. Y buscar dónde está la puerta para luego recortar una abertura y añadir bisagras, de modo que la puerta pueda abrirse y cerrarse.

2. Interactivo: Los elementos creados con esta futura IA generativa también deben ser capaces no solo de funcionar de forma independiente, sino también de interactuar con otros objetos del entorno. Así que ahora que el sistema nos ha creado un coche con una puerta que se abre y ruedas que giran, necesita comprender la física del mundo en el que se sitúa el coche. ¿Cómo se mueve el vehículo por el terreno? Si choca contra una roca, ¿dónde y cómo se deforma, en función del tamaño de la roca y la velocidad del vehículo?

Este complejo reto requiere que tanto el objeto creado como el entorno u objetos con los que interactúa comprendan la física del otro. Por suerte, Roblox lleva ventaja en este aspecto, ya que la plataforma se construyó como un motor físico, lo que significa que todos los objetos de las experiencias pueden ser físicos. Cuando la IA generativa crea un objeto 4D, también se le añaden cualidades físicas como el material, la masa y la resistencia para prepararlo para interactuar con otros objetos basados en la física del mundo.

3. Controlable: Hoy en día, interactuamos con la IA generativa mediante indicaciones. Se trata de una ciencia imperfecta, similar a una búsqueda del tesoro. Alguien que pida una imagen de un conejito podría recibir una gran variedad de resultados: un conejo real, un conejito de Pascua de chocolate, un conejito de dibujos animados, un cuadro de un conejo o una ilustración de un conejo con un abrigo. Así que refinamos las indicaciones, pidiendo imágenes fotorrealistas o imágenes «al estilo de» a medida que ajustamos la visión que tenemos en la cabeza. Esto lleva tiempo y repetidos intentos para acercarnos a lo que buscamos.

Imagina intentar seguir este proceso para un objeto 3D que funcione e interactúe con otros objetos, como el camión de nuestro ejemplo anterior. La ingeniería de indicaciones a este nivel sería exponencialmente compleja, algo que nadie podría utilizar fácilmente. Para dar vida a la idea de un creador, necesitamos una forma más rápida y sencilla de comunicarnos y perfeccionar, colaborando esencialmente con un asistente de IA que sea más un socio y menos una búsqueda del tesoro. 

Este es un reto para todo el sector, y muchas empresas están trabajando para aportar una mayor controlabilidad a la IA generativa. Hemos logrado algunos avances en este sentido con herramientas como ControlNet, que aumenta el control al permitir al creador proporcionar condiciones de entrada adicionales más allá de las simples indicaciones de texto. Actualmente estamos explorando otros métodos que parecen prometedores para lograr un flujo de trabajo satisfactorio, como hacer que la IA se detenga tras pasos críticos para esperar la entrada del usuario. Pero nos queda un largo camino por recorrer para lograr una experiencia fluida.

Estamos entusiasmados con el impacto que hemos visto hasta ahora y aún más con lo que nos depara el futuro. En comparación con los creadores que no utilizan la versión beta de Material Generator, aquellos que sí la utilizan han aumentado su uso de variaciones de materiales de renderizado basado en la física (PBR) en más de un 100 %: de poco más de mil en marzo de 2023 a más de dos mil en junio de 2024. A fecha de 2 de junio de 2024, los creadores han adoptado aproximadamente 535 millones de caracteres de código sugeridos por Code Assist. 

A medida que comencemos a resolver los retos en este camino hacia el 4D, nuestros creadores podrán crear más y más rápido. También esperamos ver una mayor diversidad de experiencias en Roblox a medida que hacemos posible que más personas se conviertan en creadores. Lo que construyan y cómo lo construyan nos mostrará dónde invertir en nuevas herramientas y algoritmos de IA para empoderar a estos nuevos creadores, junto con nuestra comunidad existente. 

Con la IA generativa 4D, Roblox ha abierto una nueva frontera para la creación de experiencias y activos. Aunque los retos son nuevos, nuestro proceso de innovación está bien perfeccionado. Combinamos nuestros equipos internos de investigación y desarrollo de primer nivel, colaboraciones con universidades y la rápida iteración de prototipos en colaboración con nuestra comunidad.