울산과학기술원(UNIST) 인공지능대학원 주경돈 교수팀이 사진 한 장만으로 3D 캐릭터의 자세를 자연스럽게 변형할 수 있는 인공지능 기술 ‘디폼스플랫(DeformSplat, Rigidity-aware 3D Gaussian Deformation)’을 개발했다. 이 기술은 2025년 25일에 발표됐다. 3D 가우시안 스플래팅 기술이 생성한 3D 캐릭터에 목표 동작이 담긴 2D 사진을 입력하면, 팔·다리 등이 엿가락처럼 휘는 형태 왜곡을 크게 줄이며 자세를 그대로 따라 움직이게 한다. 데이터가 부족해도 정면뿐 아니라 측면·후면 시점에서도 팔과 몸통 비율이 흐트러지지 않고, 관절이 고무처럼 늘어나는 현상도 거의 나타나지 않는다. 연구팀은 가우시안–픽셀 매칭(Gaussian-to-Pixel Matching)과 강체 부위 분할(Rigid Part Segmentation) 기술을 이용해 이 모델을 개발했다. 디폼스플랫은 3D 가우시안 스플래팅으로 만들어진 3D 캐릭터에 2D 사진을 입력하면 자세를 변형한다. 이 기술은 메타버스·게임·애니메이션 등 3D 콘텐츠 제작 과정을 간단하게 만들 수 있다. (좌측부터) 주경돈 교수, 김진혁 연구원(제1저자), 방재훈 연구원, 서승현 연구원.
디폼스플랫은 3D 가우시안 스플래팅이 재구성한 3D 캐릭터를 실제 콘텐츠처럼 움직이게 하려면 여러 각도 영상이나 연속 비디오 데이터가 필요했으나, 이 기술은 그 데이터 없이도 형태 왜곡을 줄여 자연스러운 자세를 유지한다. 실험 결과, 팔을 드는 동작을 입력했을 때 정면뿐 아니라 측면이나 뒤쪽 시점에서도 팔과 몸통 비율이 흐트러지지 않았고, 관절이 비물리적으로 늘어나는 현상도 거의 나타나지 않았다. 연구팀은 시점을 옆이나 뒤로 바꿔도 형태 왜곡이 적고 자연스러운 자세를 유지하는 것을 실험으로 확인했다.
디폼스플랫의 작동 원리는 3D 캐릭터를 이루는 가우시안 점과 2D 사진의 픽셀을 연결해 사진에 담긴 자세 정보를 3D 변형으로 전달하는 기술을 기반으로 한다. 이 기술은 3D 가우시안 스플래팅이 생성한 3D 캐릭터의 자세를 형태 왜곡 없이 바꾸는 데 성공했다. UNIST는 주경돈 교수팀이 디폼스플랫을 개발했다고 밝혔다. 연구팀은 주경돈 교수, 김진혁, 방재훈, 서승현 연구원이 참여했다.
디폼스플랫은 사진 한 장만 입력해도 3D 캐릭터의 자세를 그대로 따라 움직이게 한다. 이 기술은 3D 캐릭터를 자연스럽게 움직이게 하며, 메타버스·게임·애니메이션 등 3D 콘텐츠 제작 과정이 간단해질 것으로 기대된다.
디폼스플랫(DeformSplat, Rigidity-aware 3D Gaussian Deformation)은 3D 가우시안 스플래팅으로 만들어진 3D 캐릭터에, 목표 동작이 담긴 2D 사진을 입력하면 3D 캐릭터가 사진 속 포즈를 그대로 따라 하도록 자세를 변형한다.
디폼스플랫은 가우시안–픽셀 매칭(Gaussian-to-Pixel Matching)과 강체 부위 분할(Rigid Part Segmentation) 기술을 이용해 이 같은 모델을 개발했다. 가우시안–픽셀 매칭(Gaussian-to-Pixel Matching)은 3D 캐릭터를 이루는 가우시안 점과 2D 사진의 픽셀을 연결해 사진에 담긴 자세 정보를 3D 변형으로 전달한다.
디폼스플랫은 2025년 25일에 발표됐다. UNIST 인공지능대학원 주경돈 교수팀이 디폼스플랫을 개발했다. (좌측부터) 주경돈 교수, 김진혁 연구원(제1저자), 방재훈 연구원, 서승현 연구원.
@Meerae AI 빅데이터 연구소 meerae.info@gmail.com