CubePart: un generador 3D de vocabulario abierto y controlable por partes

Los activos 3D interactivos utilizados en juegos y simulaciones suelen descomponerse en partes semánticas específicas para dar soporte a la animación, la física y los comportamientos programados; sin embargo, la mayoría de los modelos 3D generativos producen mallas monolíticas o descomposiciones arbitrarias de partes que no pueden alinearse con los requisitos específicos de la aplicación. Presentamos CubePart, un marco generativo para la generación de mallas 3D de vocabulario abierto y controlables por partes que expone la estructura de las partes como una señal de control explícita en tiempo de inferencia. A partir de una indicación de texto global y un esquema de partes definido por el usuario expresado como una lista abierta de nombres de partes, nuestro método genera un conjunto de mallas —una por cada elemento del esquema— que se ensamblan en un objeto coherente respetando la estructura semántica especificada. Para hacer posible esta capacidad, introducimos un canal de datos escalable para construir un gran conjunto de datos 3D de vocabulario abierto y etiquetado por partes, junto con una arquitectura generativa de dos etapas que separa la síntesis de formas globales de la decodificación a nivel de partes. Demostramos que los activos resultantes pueden integrarse directamente en motores de juegos y ser controlados por scripts de animación y comportamiento sin necesidad de un posprocesamiento manual. Página del proyecto