UNIST 인공지능대학원 주경돈 교수팀이 디폼스플랫(DeformSplat)이라는 AI 기술을 개발했다. 이 기술은 사진 한 장만 입력받아 3D 캐릭터의 자세를 형태 왜곡 없이 사진 속 자세와 동일하게 움직이게 한다. 3D 가우시안 스플래팅은 2D 사진을 입력받아 3D 객체를 재구성하지만, 움직이게 하려면 여러 각도의 영상 데이터나 비디오 데이터가 필요했다. 이러한 데이터가 부족하면 팔, 다리 등이 엿가락처럼 휘어지는 형태 왜곡이 발생했으나, 디폼스플랫은 이 문제를 해결했다. 실제 실험 결과 팔을 드는 동작을 입력했을 경우, 정면뿐 아니라 측면이나 뒤쪽 시점에서도 팔과 몸통의 비율이 흐트러지지 않았고, 관절이 고무처럼 늘어나는 현상도 거의 나타나지 않았다. 연구팀은 가우시안–픽셀 매칭과 강체 부위 분할 기술을 이용해 이 기술을 개발했다. 가우시안–픽셀 매칭은 3D 캐릭터를 구성하는 가우시안 점들과 2D 사진 속 픽셀을 연결해, 사진에 담긴 자세 정보를 3D 캐릭터로 전달하는 기술이다.
디폼스플랫은 메타버스·애니메이션 등 3D 콘텐츠 제작에 유리한 기술로 평가된다. 이 기술은 3D 가우시안 모델이 생성한 3D 캐릭터의 자세를 빨간박스 안의 캐릭터의 자세로 바꾸는 기능을 제공한다. 주경돈 교수, 김진혁·방재훈·서승현 연구원이 이 연구를 수행했다. 기술 개발은 25일 발표되었다.
@Meerae AI 빅데이터 연구소 meerae.info@gmail.com