울산과학기술원(UNIST) 주경돈 교수팀은 25일 3D 가우시안 모델이 생성한 3D 캐릭터의 자세를 형태 왜곡 없이 바꿔주는 AI 기술인 디폼스플랫(DeformSplat, Rigidity-aware 3D Gaussian Deformation)을 개발했다. 이 기술은 사진 한 장만 입력해 3D 캐릭터의 자세를 사진 속 동작과 동일하게 복제할 수 있게 한다.
3D 가우시안 스플래팅은 2D 데이터를 입력받아 3D 객체를 재구성해 주는 AI 모델이다. 그러나 이 모델이 3D 캐릭터를 움직이게 하려면 여러 각도에서 촬영한 영상 데이터나 연속 촬영된 비디오 데이터가 필요했다. 이러한 데이터가 부족하면 팔, 다리 등이 움직일 때 엿가락처럼 휘어지는 형태 왜곡이 발생하기 쉽다.
연구팀은 가우시안–픽셀 매칭과 강체 부위 분할 기술을 이용해 디폼스플랫을 개발했다. 실제 실험 결과, 팔을 드는 동작을 입력했을 경우 정면뿐 아니라 측면이나 뒤쪽 시점에서도 팔과 몸통의 비율이 흐트러지지 않았고, 관절이 고무처럼 늘어나는 현상도 거의 나타나지 않았다.
디폼스플랫은 호랑이의 역동적인 움직임이나 로봇의 기울기, 캐릭터가 팔을 드는 동작 등을 수행할 때 형태가 찌그러지거나 부자연스럽게 늘어나는 왜곡 없이 원본의 기하학적 특징을 그대로 유지하며 자세만 바꾸는 것을 확인할 수 있다.
디폼스플랫의 기능은 초기 3D 모델과 사용자가 입력한 목표 동작이 담긴 사진을 분석해 3D 모델의 자세를 변형시킨 결과물을 생성한다.
디폼스플랫은 메타버스·애니메이션 등 3D 콘텐츠 제작의 진입 장벽을 낮추는 데 기여할 것으로 보인다.
디폼스플랫(DeformSplat, Rigidity-aware 3D Gaussian Deformation)은 3D 가우시안 모델이 생성한 3D 캐릭터의 자세를 형태 왜곡 없이 바꿔준다.
디폼스플랫의 작동 원리는 크게 두 단계로 구성된다. 먼저 ‘가우시안-픽셀 매칭(Gaussian-to-Pixel)’ 과정을 통해 입력된 사진 속 픽셀과 3D 모델의 해당 위치를 연결한 뒤, ‘강체 분할(Rigid Part Segmentation)’을 통해 자세를 변형한다.
디폼스플랫은 사진 한 장만 입력해 3D 캐릭터의 자세를 사진 속 자세와 똑같이 움직이게 바꿔준다.
디폼스플랫은 각도를 바꿔 옆이나 뒤에서 보아도 형태 왜곡이 적고 자연스러운 자세를 유지한다.
디폼스플랫은 3D 가우시안 스플래팅이 재구성한 3D 캐릭터를 만화나 게임에서처럼 움직이게 하기 위해 개발된 기술이다.
@Meerae AI 빅데이터 연구소 meerae.info@gmail.com