울산과학기술원(UNIST) 인공지능대학원 주경돈 교수팀은 25일 사진 한 장만으로 3D 캐릭터의 자세를 자연스럽게 바꾸는 인공지능(AI) 기술인 디폼스플랫(DeformSplat, Rigidity-aware 3D Gaussian Deformation)을 개발했다. nn디폼스플랫은 3D 가우시안 스플래팅(3D Gaussian Splatting)으로 만들어진 3D 캐릭터에, 목표 동작이 담긴 2D 사진을 입력하면 3D 캐릭터가 사진 속 포즈를 그대로 따라 하도록 자세를 변형한다. nn3D 가우시안 스플래팅은 2D 이미지로부터 3D 객체를 재구성하는 데 강점이 있지만, 재구성된 3D 캐릭터를 실제 콘텐츠처럼 움직이게 하려면 보통 여러 각도 영상이나 연속 촬영된 비디오 데이터가 필요했다. nn데이터가 부족하면 움직임 과정에서 팔·다리·몸통 비율이 무너지거나 관절이 고무처럼 늘어나는 왜곡이 쉽게 발생하기 때문이다. nn연구팀은 디폼스플랫으로 변형한 3D 캐릭터가 시점을 옆이나 뒤로 바꿔 봐도 형태 왜곡이 적고 자연스러운 자세를 유지하는 것을 실험으로 확인했다. nn예컨대 팔을 드는 동작을 입력했을 때 정면뿐 아니라 측면·후면 시점에서도 팔과 몸통 비율이 흐트러지지 않았고, 관절이 비물리적으로 늘어나는 현상도 거의 나타나지 않았다. nn핵심 기술은 두 가지다. 먼저 ‘가우시안-픽셀 매칭(Gaussian-to-Pixel Matching)’을 통해 3D 캐릭터를 이루는 가우시안 점과 2D 사진의 픽셀을 연결해, 사진에 담긴 자세 정보를 3D 변형으로 전달한다. nn여기에 ‘강체 부위 분할(Rigid Part Segment)’을 적용해, 팔·다리 등이 엿가락처럼 휘는 형태 왜곡을 크게 줄였다. nn디폼스플랫은 메타버스·게임·애니메이션 등 3D 콘텐츠 제작 과정이 한층 간단해질 것으로 기대된다. nn(좌측부터) 주경돈 교수, 김진혁 연구원(제1저자), 방재훈 연구원, 서승현 연구원. UNIST 제공 nn그림. 개발된 AI 모델인 디폼스플랫의 기능. 위쪽 줄은 초기 3D 모델(3DGS)과 사용자가 입력한 목표 동작이 담긴 사진(Image)이다. 아래쪽 줄은 AI가 목표 사진을 분석해 3D 모델의 자세를 변형시킨 결과물이다. 호랑이의 역동적인 움직임이나 로봇의 기울기, 캐릭터가 팔을 드는 동작 등을 수행할 때, 형태가 찌그러지거나 부자연스럽게 늘어나는 왜곡 없이 원본의 기하학적 특징을 그대로 유지하며 자세만 바뀐 것을 확인할 수 있다. UNIST 제공 nn디폼스플랫은 사진 속 2D 캐릭터의 동작을 화면 속 3D 캐릭터가 그대로 따라 움직일 수 있게 만드는 AI 기술이다. nn3D 가우시안 스플래팅이 재구성한 3D 캐릭터를 만화나 게임에서처럼 움직이게 하려면, 여전히 여러 각도에서 촬영한 영상 데이터나 연속 촬영된 비디오 데이터가 필요했다. 이러한 데이터가 부족하면 팔, 다리 등이 움직일 때 엿가락처럼 휘어지는 형태 왜곡이 생기기 쉽기 때문이다. nn디폼스플랫의 작동 원리. nn디폼스플랫은 ‘가우시안-픽셀 매칭(Gaussian-to-Pixel Matching)’과 ‘강체 부위 분할(Rigid Part Segment)’을 적용해, 팔·다리 등이 엿가락처럼 휘는 형태 왜곡을 크게 줄였다. nn디폼스플랫은 메타버스·게임·애니메이션 등 3D 콘텐츠 제작 과정이 한층 간단해질 것으로 기대된다. nn디폼스플랫은 사진 한 장만으로 3D 캐릭터의 자세를 자연스럽게 바꾸는 AI 기술이다. nn디폼스플랫은 3D 가우시안 스플래팅으로 만들어진 3D 캐릭터에, 목표 동작이 담긴 2D 사진을 입력하면 3D 캐릭터가 사진 속 포즈를 그대로 따라 하도록 자세를 변형한다. nn디폼스플랫은 사진 속 2D 캐릭터의 동작을 화면 속 3D 캐릭터가 그대로 따라 움직일 수 있게 만드는 AI 기술이다. nn디폼스플랫은 3D 가우시안 스플래팅으로 만들어진 3D 캐릭터에, 목표 동작이 담긴 2D 사진을 입력하면 3D 캐릭터가 사진 속 포즈를 그대로 따라 하도록 자세를 변형한다. nn디폼스플랫은 사진 속 2D 캐릭터의 동작을 화면 속 3D 캐릭터가 그대로 따라 움직일 수 있게 만드는 AI 기술이다. nn디폼스플랫은 3D 가우시
@Meerae AI 빅데이터 연구소 meerae.info@gmail.com