SIGGRAPH 2024에서 선보인 Roblox의 3D 및 4D 기술 혁신

Roblox는 전 세계 수백만 명의 크리에이터가 아바타, 액세서리, 체험 콘텐츠를 제작하여 전 세계 사람들이 서로 소통할 수 있는 3D 몰입형 플랫폼을 구축하기 위해 끊임없이 혁신하고 있습니다.

전 세계 컴퓨터 그래픽 및 인터랙티브 기술 분야의 최고 권위 있는 컨퍼런스인 SIGGRAPH에서, 저희는 새로운 기술 및 알고리즘 분야의 획기적인 성과를 공유할 예정입니다. 이번에 소개할 연구 결과에는 고무처럼 늘어나는 3D 재질을 구현하는 새로운 방법, 얼굴 애니메이션이 적용된 아바타를 더 빠르게 제작하는 기술, 그리고 더욱 생생하게 움직이는 머리카락 표현 기술 등이 포함됩니다. 이 모든 것은 몰입형 3D의 미래를 이끌어갈 강력한 이론적 성과이자 초기 단계의 프로토타입입니다. 덴버에서 열리는 SIGGRAPH에서 저희 세션에 참여하여 자세한 기술 내용을 확인해 보시기 바랍니다.

점점 더 정교해지는 아바타

아바타는 완전한 얼굴 애니메이션, 사용자 정의 가능한 신체, 레이어드 의상, 그리고 플랫폼 전반에 걸친 일관된 외관을 통해 로블록스(Roblox)에서 개인적 표현의 핵심을 이룹니다. 최근 발표된 '디지털 표현 보고서(Digital Expressions Report)'에 따르면, Z세대 응답자의 88%가 로블록스와 같은 메타버스형 세계에서 자신을 표현하는 것이 일상생활에서 더 편안하게 자신을 표현하는 데 도움이 되었다고 답했습니다. 이러한 자기 표현을 지원하기 위해, 우리는 아바타 기술의 최신 수준을 지속적으로 발전시키고 있습니다.

3D 메시를 기반으로 새로운 아바타를 생성하는 과정은 전통적으로 고도의 기술적 작업이 필요한 여러 단계를 거칩니다. 이는 4D 생성의 과제 중 하나로, 정적인 3D 자산을 완전히 동적이고 상호작용이 가능하며 조합 가능한 형태로 확장하여 메타버스 경험 속에서 생동감 있게 구현하는 것입니다. 케이징, 리깅, 스키닝 등 관련 단계들은 전문 제작자라 하더라도 아바타 하나당 최대 일주일이 소요될 수 있습니다. 또한 플랫폼의 고급 의상 및 표정 기능과의 호환성을 보장하기 위해 추가 작업이 필요합니다.

'아바타 자동 설정(Avatar Auto Setup)'을 통해 이 기술이 플랫폼에 미치는 영향을 직접 체험해 보실 수 있습니다. 이 자동화 시스템은 입력된 기하학적 모델만을 Roblox와 호환되며, 사용자 정의가 가능하고, 애니메이션 적용이 준비된, 리깅 및 스키닝이 완료된 아바타로 변환해 줍니다. 이 시스템을 통해 예전에는 최대 일주일이 걸리던 작업이 이제 몇 분 만에 완료될 수 있습니다.

로블록스에서 사용자들이 자신을 표현하는 인기 있는 방법 중 하나는 아바타의 헤어스타일을 바꾸는 것입니다. 2023년 한 해 동안만 로블록스 사용자들은 1억 3,900만 개 이상의 헤어스타일을 구매했으며, 730만 명의 사용자가 5개 이상의 헤어스타일을 구매했습니다. 하지만 실제 세상에서처럼 머리카락 한 올 한 올이 움직이는 현실적인 헤어스타일을 구현하는 것은 매우 어려운 과제입니다. 평균적으로 인간의 두피에는 10만 개에서 15만 개의 모낭이 있습니다. 이러한 규모에서 복잡한 기하학적 구조를 시뮬레이션하고, 저장하며, 전송하는 것은 계산 효율성과 안정성 측면에서 모두 어렵습니다.

로블록스의 젬 유크셀(Cem Yuksel)과 라이트스피드 스튜디오(LightSpeed Studios), 유타 대학교(University of Utah)의 동료들은 논문 “실시간 물리 기반 헤어 보간(Real-time Physically Guided Hair Interpolation)”을 통해, 기존 시뮬레이션된 가이드 헤어 데이터를 활용하는 새로운 물리 기반 헤어 보간 방식을 제시했다. 이 연구는 거의 추가 부하 없이 경험(experience)의 헤어 렌더링 시각적 품질을 획기적으로 향상시킨다.

현실감 넘치는 3D 시뮬레이션 및 렌더링

Roblox의 크리에이터들은 사람들이 플레이하거나 소통하기 위해 참여하는 경험뿐만 아니라, 그 경험을 구성하는 오브젝트들도 제작합니다. 저해상도 안드로이드 기기부터 고해상도 게임 콘솔이나 VR 헤드셋에 이르기까지 Roblox가 더 많은 플랫폼에서 이용 가능해짐에 따라, 이러한 오브젝트들이 사용자의 기기에서 가능한 최고의 해상도로 표시될 수 있도록 하는 것이 중요합니다.

빛과 그림자는 종종 3D 렌더링에 있어 난제입니다. 최근 연구로 큰 진전이 있었지만, 기존 방식은 피사계 심도나 앤티앨리어싱과 같은 카메라 효과로 인해 이미지가 흐려질 수 있습니다. NVIDIA 및 유타 대학교와 협력하여, 로블록스의 Cem Yuksel은 “Area ReSTIR: 실시간 디포커스 및 앤티앨리어싱을 위한 리샘플링”을 발표했습니다. 이 연구는 ReSTIR에 영역 샘플링을 도입하여 이러한 카메라 효과를 더 효율적으로 해결합니다. 그 결과, 더 적은 샘플로도 빛과 그림자 사이의 경계가 선명해지고 디테일이 더욱 살아납니다.

새로운 Area ReSTIR을 적용해 조명과 그림자가 개선된 동일한 거리 풍경.

로블록스(Roblox)의 Hsueh Derek Liu와 동료들은 논문 “A Unified Differentiable Boolean Operator with Fuzzy Logic”에서 구성형 고체 기하학(CSG) 3D 표현을 위한 생성형 AI를 가능하게 하는 방법을 제시합니다. 로블록스의 물리 시뮬레이터는 CSG를 통한 엔지니어링 산업의 고체 모델링에서 견고성을 얻으며, 이는 또한 타당한 가상 형상의 생성을 단순화합니다. 엔터테인먼트 업계에서는 얇은 표면 모델링이 더 일반적이지만, 이는 물체 내부의 부피를 표현하지 못합니다. CSG는 이전에는 생성형 AI와 호환되지 않았는데, 이는 기하학에 AI를 훈련하고 적용하는 미분 단계가 형태의 연속적인 진화와 유사한 수학적 특성을 요구하기 때문입니다. “퍼지” 연산을 수행하기 위한 새로운 수학적 기본 요소를 고안함으로써, 우리는 미분 가능한 CSG를 구현했고, 이를 바탕으로 CSG 생성형 AI를 구축했습니다.

거의 20년 동안, 로블록스의 막대한 R&D 투자 덕분에 저희 플랫폼과 그 위에서 활약하는 커뮤니티는 기술 혁신의 힘을 얻어 성장해 왔습니다. 훌륭한 R&D에는 위험 감수와 솔직한 평가가 필요합니다. 저희의 모든 R&D 연구가 제품 기능으로 구현될 수 있는 적절한 형태나 시기를 갖춘 결과를 도출하는 것은 아니며, 이 글에서 설명하는 작업은 추측적이며 미래 지향적입니다. 하지만 여기서 소개하는 새로운 기술 중 일부는 이미 로블록스 크리에이터들이 사용할 수 있는 도구에 포함되어, 더욱 현실감 있는 아바타와 3D 세계를 구현할 수 있게 되었다는 점에 큰 기쁨을 느낍니다. 모든 연구는 해당 분야 전반과 3D 몰입형 플랫폼 기술을 발전시키기 위한 한 걸음입니다.

AI, 아바타, 물리학, 그래픽스 등 다양한 분야에서, 우리는 SIGGRAPH 2024를 통해 일련의 새로운 성과를 전 세계와 공유하게 되어 매우 기쁩니다.