로블록스, SIGGRAPH 2023에서 3D 모션 및 렌더링 연구 발표 예정

작성자 모건 맥과이어, 로블록스 수석 과학자

게시일 2023. 7. 25.

8월 6일부터 10일까지 로스앤젤레스에서 열리는 컴퓨터 그래픽 및 인터랙티브 기술 분야의 최고 권위 컨퍼런스인 ACM SIGGRAPH 2023에서 저희의 혁신적인 성과를 소개하게 되어 자랑스럽게 생각합니다. 행사 기간 동안 저희 연구진은 6개의 기술 논문 세션, 2개의 프론티어 워크숍, 2개의 실시간 라이브 이벤트, 그리고 포스터 세션에서 발표할 예정입니다. 컨퍼런스 기간 내내 저희 부스에서 로블록스와 저희 연구에 대해 논의할 수 있도록 팀원들이 상주할 예정입니다. 또한, 엄선된 기술 논문 트레일러에 저희의 연구 성과를 소개해 주신 위원회 측에 깊은 감사를 드립니다.

Roblox Research는 낙관주의와 예의를 바탕으로 10억 명의 사람들을 연결한다는 목표를 가지고, 당사의 소셜 3D 플랫폼을 위한 기술 기초 과학을 연구합니다. 우리는 제1원리와 인공지능(AI) 기술을 결합하여 3D 콘텐츠 제작, 물리 시뮬레이션, 실시간 콘텐츠 관리 기능을 발전시키고 있습니다. 저희의 최신 연구 성과는 머리카락, 직물, 사물, 풍경이 실제 세상에서와 마찬가지로 움직임, 충돌, 바람에 반응하도록 합니다. 수억 명의 사용자가 이용하는 글로벌 플랫폼을 지원하기 때문에, 모든 측면은 클라이언트 및 서버 측 모두에서 확장 가능해야 하며 구형 휴대폰부터 최신 AR/VR 헤드셋에 이르기까지 모든 기기를 지원해야 합니다. 아래에서 저희가 발표할 연구에 대해 자세히 알아보고, SIGGRAPH에서 저희를 만날 수 있는 일정을 확인해 보세요.

최적화된 렌더링

3D 세계가 더욱 사실적으로 변함에 따라 구조물과 지형도 점점 더 복잡해지고 있습니다. 이러한 복잡한 환경을 렌더링하려면 물결치거나 뒤틀린 직물, 고르지 않은 지형 등 현실 세계의 효과를 구현할 수 있는 솔루션이 필요합니다. 로블록스(Roblox) 연구원 Hsueh-Ti Derek Liu와 카네기 멜론 대학교 및 토론토 대학교의 동료들은 '내재적 오차 지표를 활용한 표면 단순화(Surface Simplification Using Intrinsic Error Metrics)'라는 발표를 통해 내재적 삼각 분할을 단순화하는 방법을 제안합니다. 기존의 메쉬 단순화 기법은 렌더링을 위해 물체의 외관을 보존하지만, 물체가 뒤틀리거나 구부러지거나 접힐 수 있는 시뮬레이션이 목표라면 어떻게 될까요? 이 방법은 훨씬 더 광범위한 내재적 삼각분할 공간을 탐색하여 시뮬레이션을 위한 메쉬를 단순화함으로써, 지오데식 거리 계산과 같은 일반적인 작업에서 1,000배 이상 빠른 결과를 도출합니다. 이 혁신적인 방법은 시뮬레이션의 디테일 수준을 한층 높이는 데 기여할 수 있습니다.

리우는 또한 조지 메이슨 대학교, 토론토 대학교, 워털루 대학교의 동료들과 공동으로 진행한 '미분 가능한 높이 필드 경로 추적(Differentiable Heightfield Path Tracing)'에 관한 연구 결과도 발표할 예정이다. 이 기술은 AI 훈련 애플리케이션을 위해 지형, 그림자, 3D 객체를 빠르고 사실적으로 렌더링할 수 있게 해준다. 이 접근 방식은 실시간 프레임 속도를 달성하며, 대부분의 기존 3D 메쉬 미분 렌더러보다 수십 배 더 빠릅니다. 이는 향후 출시될 생성형 AI 및 콘텐츠 관리 AI 도구를 포함한 대화형 역렌더링 애플리케이션의 가능성을 열어줍니다. 연구진은 지형 최적화 및 텍스트 기반 형상 생성과 같은 다양한 대화형 작업을 통해 이 방법을 시연합니다.

아바타를 위한 사실적인 모션 및 그 너머

인간의 움직임은 복잡하고 매우 다양합니다. 우리의 목표는 가상 환경에서 사실감과 표현력을 위해 이러한 움직임을 모든 세부 사항까지 정확하게 재현하는 것이며, 이는 큰 도전 과제입니다. 예를 들어, 멀티태스킹, 즉 서로 다른 행동을 매끄럽게 결합하는 것은 인간이 매우 능숙하게 해내는 일입니다. 기존의 컴퓨터 그래픽스는 걷기나 던지기 같은 단일 행동에 초점을 맞추며, 결합된 행동을 명시적으로 작성해야 합니다.

로블록스(Roblox)의 연구원 빅터 조르단(Victor Zordan)과 페이 쉬(Pei Xu)는 클렘슨 대학교(Clemson University) 및 캘리포니아 대학교 머세드 캠퍼스(University of California, Merced)의 동료들과 함께 발표한 논문 '작업 제어를 통한 복합 동작 학습(Composite Motion Learning with Task Control)'에서 다중 작업 동작 제어를 위한 새로운 강화 학습 접근법을 제시합니다. 이 연구는 물리 시뮬레이션이 적용된 캐릭터를 위한 복잡한 작업 중심 동작 제어를 위한 강화 학습 접근법을 제안합니다. 이 다중 목표 제어 접근법을 통해 캐릭터는 걷는 동안 저글링을 하는 것과 같은 복합적인 다중 작업 동작을 수행할 수 있습니다. 또한 결합된 행동에 대한 명시적인 참조 동작 예시 없이도 다양한 다른 활동을 결합할 수 있습니다. 이 접근법은 기존 컨트롤러를 재사용함으로써 샘플 효율적인 훈련도 지원합니다.

몰입형 3D 환경에서 시뮬레이션된 헤어스타일은 또 다른 움직임 관련 과제를 제시합니다. 이러한 환경에서 세심하게 디자인되고 스타일링된 헤어 모델은 중력의 당김을 이겨내지 못하고 자체 무게로 인해 의도된 형태를 유지하지 못한 채 즉시 무너질 수 있습니다. 로블록스(Roblox) 연구원 젬 유크셀(Cem Yuksel)과 라이트스피드 스튜디오(LightSpeed Studios)의 동료들이 발표한 '가닥 기반 하이브리드 헤어 시뮬레이션을 위한 처짐 없는 초기화(Sag-free Initialization for Strand-based Hybrid Hair Simulation)'는 가닥 기반 헤어 시스템을 위한 새로운 초기화 프레임워크를 제안합니다. 이 연구는 중력 및 기타 외부 힘에 맞서 머리카락이 형태를 유지하기 위해 발휘해야 하는 내부 힘을 계산함으로써 처짐 현상을 제거합니다. 이는 머리카락의 역학을 불필요하게 경직시키지 않고, 가닥 수준의 충돌을 고려함으로써 달성됩니다. 이 논문은 또한 최우수 논문 장려상을 수상했습니다.

Roblox는 시뮬레이션 기반의 3D 플랫폼으로, 오브젝트 간 및 아바타와의 주요 상호작용이 명시적인 코드가 아닌 제1원리 물리학을 통해 이루어집니다. 올해 우리는 오브젝트 시뮬레이션 분야의 다양한 발전에 관한 두 가지 새로운 연구 결과를 공유합니다.

Yuksel은 UCLA, 유타 대학교, Adobe Research의 동료들과 함께 '다층 두꺼운 쉘(Multi-layer Thick Shells)'을 발표할 예정입니다. 이 연구는 가죽 의류, 베개, 매트, 금속 판과 같은 재료에 대해 두께를 고려한 시뮬레이션을 가능하게 하는 새로운 접근 방식을 제안합니다. 이 접근 방식은 전단 잠김 현상을 방지하고 미세한 주름 디테일을 효율적으로 포착하며, 다양한 구조물에 대한 빠르고 고품질의 두께 고려 시뮬레이션의 길을 열어줍니다.

시뮬레이션에서 또 다른 운동 관련 과제는 물체가 충돌하고 분리될 때 발생합니다. 현실 세계에서 물체는 일반적으로 충돌한 후 다시 분리될 수 있으며, 이때 여전히 두 개의 별개의 형태를 유지합니다. 유크셀(Yuksel)은 유타 대학교의 동료들과 함께, 주어진 내부 점으로부터 교차하는 메쉬의 경계까지의 최단 경로를 효율적으로 계산하는 방법을 발표할 예정입니다. 이 방법은 변형 가능한 체적 물체를 시뮬레이션할 때 충돌 및 자기 충돌 처리를 위한 빠르고 견고한 해결책을 제공합니다. 이를 통해 효율적인 기법을 활용하여 매우 까다로운 자기 충돌 시나리오를 시뮬레이션할 수 있습니다. 예를 들어, XPBD는 거의 충돌 없는 상태를 유지해야 하는 계산 비용이 높은 시뮬레이션 방법과 달리, 충돌 해결에 대한 보장을 제공하지 않습니다.

인터랙티브 이벤트

Roblox 플랫폼의 모든 것은 상호작용이 가능하며 실시간으로 이루어집니다. 저희의 새로운 발전을 경험하는 가장 좋은 방법은 라이브 데모와 실시간 라이브 세션을 통해 직접 확인하는 것입니다. 'Roblox Generative AI in Action' 세션에서 연구원 브렌트 빈센트(Brent Vincent)와 카르틱 아야르(Kartik Ayyar)는 크리에이터들이 복잡한 모델링이나 코딩 없이도 자연어 및 기타 의도 표현을 활용하여 상호작용 가능한 오브젝트와 장면을 구축하는 방법을 시연할 예정입니다. 'AI 3D 프린팅 캐릭터를 활용한 중재 현실(Intermediated Reality with an AI 3D-printed Character)' 세션에서는 로블록스의 케니 미첼(Kenny Mitchell)과 3Finery Ltd의 롬가리 카사스 캄브라(Llogari Casas Cambra)가 실시간 음성 인식을 처리하고 3D 프린팅 캐릭터로 응답을 생성하는 AI 모델을 선보일 예정입니다. 이 모델은 오디오와 동기화되어 캐릭터의 표정을 애니메이션으로 표현합니다.

로블록스 과학자들은 프론티어 워크숍(Frontier Workshops)의 패널 토론에도 참여합니다. 'IRL을 넘어: 3D 인터랙티브 소셜 미디어가 우리의 상호작용, 표현, 사고 방식을 어떻게 변화시키고 있는가(Beyond IRL, How 3D Interactive Social Media is Changing how we Interact, Express, and Think)' 세션에서는 로블록스 과학자인 로렌 치텀(Lauren Cheatham)과 카리사 강(Carissa Kang)이 분야 전문가, 사회과학자, 행동 연구자들과 함께 몰입형 가상 환경이 어떻게 태도와 행동을 형성하고, 정체성 탐구를 지원하며, 젊은 세대가 현실 세계로 확장될 수 있는 건강한 경계를 설정하도록 도울 수 있는지에 대해 논의할 예정입니다. '온라인 공동 경험을 위한 표현적 아바타 상호작용(Expressive Avatar Interactions for Co-experiences Online)' 세션에서는 로블록스 과학자 이안 삭스(Ian Sachs), 비벡 비르마(Vivek Virma), 숀 팔머(Sean Palmer), 톰 사노키(Tom Sanocki), 케니 미첼(Kenny Mitchell)이 다른 전문가들과 함께 전 세계 대규모 커뮤니티를 대상으로 원격 상호작용 및 표현적 커뮤니케이션을 위한 경험을 배포하며 겪은 과제와 얻은 교훈에 대해 논의할 예정입니다.

아드리안 쉬안 웨이 림(Adrian Xuan Wei Lim)은 포스터 세션을 진행하며, 게임용으로 설계된 새로운 투영 기법인 '리버스 프로젝션: 실시간 로컬 스페이스 텍스처 매핑(Reverse Projection: Real-Time Local Space Texture Mapping)'을 발표할 예정입니다. 이 기술은 3D 오브젝트의 텍스처에 데칼을 실시간으로 직접 그려 넣는 방식입니다. 로컬 공간 텍스처에서 계산되고 외부로 투영되는 투영 기법을 활용함으로써, 저사양 안드로이드 기기부터 고사양 게이밍 데스크톱에 이르기까지 다양한 기기를 사용하는 크리에이터들은 자신의 자산을 자유롭게 커스터마이징할 수 있습니다. 제안된 이 파이프라인은 모델 페인팅의 속도와 다용도성을 향상시키는 데 한 걸음 더 나아가는 계기가 될 수 있습니다.

Roblox Research 팀이 SIGGRAPH 2023에서 발표할 모든 논문을 여기에서 확인하세요. 아래에 나열된 저희 부스와 세션에 방문해 주시기 바랍니다. 현장에서 여러분을 뵙기를 기대합니다!

8월 6일 일요일