로블록스의 4D 생성형 AI로 가는 길

• Roblox는 단일 3D 객체를 넘어 역동적인 상호작용으로 확장되는 4D 생성형 AI를 구축하고 있습니다. 
• 4D의 과제를 해결하려면 외관, 형태, 물리, 스크립트에 걸친 다중 모달 이해가 필요합니다.
• 4D 시스템의 기반이 되는 초기 도구들은 이미 플랫폼 내 창작 활동을 가속화하고 있습니다.

Roblox는 크리에이터들이 아이디어를 현실로 구현하는 데 필요한 도구, 서비스 및 지원을 제공함으로써 몰입감 넘치는 3D 경험, 아바타 및 액세서리를 제작할 수 있도록 지원합니다. 바로 이 크리에이터들이 우리 플랫폼의 활기찬 콘텐츠를 제작하며, 이는 매일 7,700만 명 이상의 활성 사용자(2024년 1분기 기준)를 끌어모으고 있습니다. 무료 Roblox Studio 앱을 통해, 우리는 Roblox 워크플로우에 맞게 특별히 설계되고 Roblox 전용 콘텐츠로 훈련된 일련의 생성형 AI 도구들을 출시했습니다.

이 도구들은 전문가와 초보자 모두에게 창작 과정을 더 쉽고, 효율적이며, 즐겁게 만들어 줍니다. '어시스턴트(Assistant)'는 3D 작업 공간 편집을, '애니메이션 캡처(Animation Capture)'는 얼굴 및 신체 모션 캡처를, '코드 어시스트(Code Assist)'는 스크립트 편집 및 작성을, '머티리얼 제너레이터(Material Generator)'는 타일링 가능한 머티리얼 외관 생성을, '텍스처 제너레이터(Texture Generator)'는 자산별 텍스처 매핑을 지원합니다. 이러한 생성형 AI 도구들은 각각 3D 창작 과정의 한 부분을 강화합니다.

이 도구들은 종합적으로 크리에이터의 역량을 강화하고, 아이디어 구상부터 완성까지 걸리는 시간을 단축합니다. 우리는 자체적인 혁신적인 연구 성과와 더 넓은 AI 생태계의 최고 수준의 솔루션을 활용하여 이 도구들을 개발했습니다. 이 도구들은 1D(스크립트), 2D(표면), 3D(공간) 환경에서 개별 자산의 제작을 지원합니다. 우리는 자체 로블록스 개발자 컨퍼런스(Roblox Developers Conference)를 비롯한 다양한 국제 연구 컨퍼런스에서 3D 지오메트리 생성 및 편집 연구실의 결과물을 미리 선보이고 있습니다.

업계 전반에서 1D와 2D는 최첨단 기술이며, 3D는 생성형 AI의 최전선에 있습니다. 각각은 점점 더 중요한 과제로 부상하며, 끊임없이 흥미로운 기술적 발전을 이끌고 있습니다. 우리가 3D 공간에서 살아가고 있기에, 이것이 생성형 AI의 궁극적인 도전 과제처럼 보일 수 있습니다. 그러나 커뮤니티의 요구를 바탕으로, 이 작업에 대한 우리의 비전은 그보다 훨씬 더 멀리 뻗어 있습니다.

현재의 현황

우리는 4차원이 상호작용인 4D 생성형 AI를 향해 나아가고 있습니다. Roblox 온라인 플랫폼의 핵심은 사람, 사물, 환경 간의 상호작용입니다. 기존의 온라인 비디오 게임과 달리, Roblox의 강력한 런타임 엔진은 상호작용에 중점을 둔 독창적인 프로그래밍 및 시뮬레이션 모델을 활용합니다. 이 모델은 메타버스 개념에서 영감을 받았으며, 여기서는 요소들이 규정되고 제한된 방식이 아닌 복잡하고 다대다(many-to-many)이며 자발적인 방식으로 만나게 됩니다. 

1D, 2D, 3D 생성형 AI 도구는 개별 자산을 생성합니다. 4D 생성형 AI에서 우리가 직면한 과제는 이러한 자산에 생명을 불어넣어, 우리 플랫폼에 적합한 제한 없는 상호작용이 가능하도록 만드는 것입니다. 예를 들어, 아바타는 단순히 모양과 색상만이 아니라 뼈대, 애니메이션, 도구를 잡거나 균형을 잡는 능력까지 포함합니다. 해당 아바타는 특별히 그 아바타를 위해 디자인되지 않은 의상을 입을 수 있으며, 의상은 자동으로 완벽하게 맞춰지고 모든 움직임을 따라갑니다. 우리의 새로운 '아바타 자동 설정(Avatar AutoSetup)' 도구는 생성형 AI가 이러한 유형의 제작을 자동화하는 데 어떻게 도움이 될 수 있는지를 보여주는 초기 사례입니다. 개발자들은 이제 이 과정을 몇 시간이나 며칠이 아닌 단 몇 분 만에 완료할 수 있습니다.

스포츠카는 단순히 매끄러운 형태와 표면 도색으로만 이루어진 것이 아닙니다. 정밀함과 제어력을 바탕으로 가상 도로를 질주할 수 있게 해주는 엔진, 가동 부품, 물리 리깅도 포함됩니다. 각각의 경우, 객체는 3D를 넘어 물리 엔진을 통해 모든 부품과 상호작용하고, 아바타를 통해 사용자와도 상호작용합니다.

이러한 풍부한 상호작용을 제공하는 4D 요소들은 각각 더 큰 환경에 추가될 수 있으며, 생성형 AI는 각 요소의 스타일을 조화시키고 오브젝트 간 및 환경과의 상호작용을 지원합니다. 이제 사용자는 아바타를 통해 데미지 수정자와 최고 점수 시스템이 적용된 스트리트 레이스에 참가하고, 승리를 기념하기 위해 새로운 옷을 쇼핑할 수 있는 브랜드 패션 매장에 미끄러지듯 멈춰 설 수 있습니다.

현재 이러한 경험을 구현하려면 스크립트 소스 코드, 작업 공간 및 데이터 모델 구조, 3D 지오메트리, 애니메이션, 머티리얼을 수동으로 제작해야 합니다. 당사의 기존 생성형 AI 도구는 파이프라인의 각 단계에서 도움을 줍니다. 저희는 이러한 모든 요소를 연결하여 동시에 생성해 낼 시스템을 구축하고 있습니다. 이를 달성하기 위해, 저희는 4D 생성형 AI 시스템을 다중 모달 방식으로, 즉 여러 유형의 데이터를 함께 통합하여 훈련시켜야 합니다. 이는 이미 Material Generator의 기반이 되는 이미지와 텍스트에 대해 구현된 바 있습니다. 상호작용을 가능하게 하고 물리학을 위한 전용 최적화기를 추가하는 것이 바로 4D 기능의 다음 단계로 나아가는 방법입니다.

불과 지난 1년 동안만 해도 Roblox에서 콘텐츠가 생성되는 방식에 엄청난 변화가 있었습니다. 앞으로는 누구나, 어디서나 단순히 명령어를 입력하거나 말하기만 해도 아이디어를 현실로 구현할 수 있는 미래가 펼쳐질 것입니다. 이를 실현하기 위해서는 그 과정에서 마주하게 될 몇 가지 과제를 해결해 나가야 합니다.

우리 앞에 놓인 과제

위에서 소개한 실험들은 가까운 시일 내에 이용 가능해질 것입니다. 더 장기적으로는 해결해야 할 세 가지 명확한 과제가 있습니다: 

1. 기능성: 이 미래의 생성형 AI 도구가 만들어내는 오브젝트는 기능적이어야 합니다. 즉, 시스템이 트럭이나 비행기와 같은 3D 형태를 볼 때 이를 단순히 밀폐된 불투명한 물체로 취급하지 않고, 제작자가 개입하지 않아도 관절이 필요한 부분이 어디인지, 또는 메쉬가 열려야 하는 지점을 자동으로 인식할 수 있어야 합니다.

이는 시스템이 해결해야 할 인간 수준의 AI 과제입니다. 예를 들어 바퀴의 올바른 위치를 파악한 뒤, 실제 세계에서와 마찬가지로 작동할 수 있도록 바퀴를 위한 차축을 추가하는 것입니다. 또한 문이 위치할 곳을 찾아 개구부를 만들고 경첩을 추가하여 문이 열리고 닫히도록 해야 합니다.

2. 상호작용성: 이러한 미래형 생성형 AI로 만들어진 물체는 독립적으로 기능할 뿐만 아니라 환경 내의 다른 물체와 상호작용할 수 있어야 합니다. 따라서 시스템이 문을 열고 바퀴가 회전하는 자동차를 만들어 냈다면, 이제 그 자동차가 놓인 세계의 물리 법칙을 이해해야 합니다. 차량은 지형 위에서 어떻게 움직일까요? 바위에 충돌할 경우, 바위의 크기와 차량의 속도에 따라 어디가 어떻게 찌그러질까요?

이러한 복잡한 과제를 해결하려면 생성된 객체와 상호작용하는 환경 또는 객체 모두가 서로의 물리 법칙을 이해해야 합니다. 다행히도 로블록스(Roblox)는 이 측면에서 유리한 고지에 있습니다. 이 플랫폼은 물리 엔진으로 구축되었기 때문에, 체험 내의 모든 오브젝트가 물리적인 특성을 가질 수 있습니다. 생성형 AI가 4D 오브젝트를 생성할 때, 재료, 질량, 강도와 같은 물리적 속성도 함께 추가되어 세계 내의 다른 물리 기반 오브젝트들과 상호작용할 수 있도록 준비됩니다.

3. 제어 가능성: 오늘날 우리는 프롬프트를 사용하여 생성형 AI와 상호작용합니다. 이는 보물찾기와 유사한, 완벽하지 않은 과정입니다. 누군가 토끼 이미지를 요청하면 실제 토끼, 초콜릿 부활절 토끼, 만화 속 토끼, 토끼 그림, 또는 코트를 입은 토끼 일러스트 등 매우 다양한 결과를 받을 수 있습니다. 그래서 우리는 머릿속에 있는 비전을 구체화하며, 사실적인 이미지나 “~스타일의” 이미지를 요청하는 식으로 프롬프트를 다듬습니다. 이는 우리가 원하는 결과에 가까워지기 위해 시간과 반복적인 시도가 필요합니다.

앞서 예시로 든 트럭처럼, 기능을 수행하고 다른 물체와 상호작용하는 3D 객체에 대해 이 과정을 따르려고 상상해 보세요. 이 수준의 프롬프트 엔지니어링은 기하급수적으로 복잡해져, 누구라도 쉽게 사용할 수 있는 것이 아닙니다. 창작자의 아이디어를 현실로 구현하려면, 더 빠르고 쉬운 소통 및 정교화 방식이 필요합니다. 즉, 보물찾기 게임보다는 파트너에 가까운 AI 어시스턴트와 협업하는 방식이죠. 

이는 업계 전반의 과제이며, 많은 기업이 생성형 AI에 더 큰 제어력을 부여하기 위해 노력하고 있습니다. 저희는 텍스트 프롬프트 외에도 창작자가 추가적인 입력 조건을 제공할 수 있게 하여 제어력을 높이는 ControlNet과 같은 도구를 통해 이 분야에서 일부 진전을 이루었습니다. 현재 저희는 중요한 단계 후에 AI가 일시 정지하여 사용자 입력을 기다리는 등, 만족스러운 워크플로우를 제공할 것으로 기대되는 다른 방법들도 탐구하고 있습니다. 하지만 원활한 경험을 구현하기까지는 아직 갈 길이 멉니다.

지금까지 확인된 성과에 대해 매우 기쁘게 생각하며, 앞으로 펼쳐질 미래에는 더욱 큰 기대를 걸고 있습니다. Material Generator 베타 버전을 사용하지 않는 제작자와 비교했을 때, 베타 버전을 사용하는 제작자들은 물리 기반 렌더링(PBR) 머티리얼 변형 사용량을 100% 이상 증가시켰습니다. 2023년 3월 1,000여 건에서 2024년 6월 2,000여 건으로 증가한 수치입니다. 2024년 6월 2일 기준으로, 크리에이터들은 코드 어시스트(Code Assist)가 제안한 약 5억 3,500만 자의 코드를 채택했습니다. 

4D로 나아가는 이 여정에서 당면한 과제를 해결해 나감에 따라, 크리에이터들은 더 많은 것을 더 빠르게 제작할 수 있게 될 것입니다. 또한 더 많은 사람이 크리에이터가 될 수 있도록 지원함에 따라, 로블록스 내에서 더욱 다양한 경험을 접하게 될 것으로 기대합니다. 그들이 무엇을, 어떻게 제작하는지는 기존 커뮤니티와 함께 이 새로운 크리에이터들에게 힘을 실어주기 위해 어떤 새로운 도구와 AI 알고리즘에 투자해야 할지 보여줄 것입니다. 

4D 생성형 AI를 통해 로블록스는 경험과 자산 제작의 새로운 지평을 열었습니다. 과제는 새롭지만, 우리의 혁신 프로세스는 이미 잘 다져져 있습니다. 우리는 최고 수준의 내부 연구개발 팀, 대학과의 협력, 그리고 커뮤니티와의 파트너십을 통한 프로토타입의 신속한 반복 개선을 결합하고 있습니다.