울산과학기술원(UNIST) 인공지능대학원 주경돈 교수팀이 사진 한 장만으로 3D 캐릭터의 자세를 자연스럽게 변형할 수 있는 인공지능 기술 ‘디폼스플랫(DeformSplat)’을 개발했다. 이 기술은 2D 사진을 입력받아 3D 캐릭터가 그 자세를 그대로 따라 움직이도록 하며, 팔·다리 등이 엿가락처럼 휘는 형태 왜곡을 크게 줄인다. 이는 여러 각도 영상이나 연속 비디오 데이터가 부족해도 3D 캐릭터를 자연스럽게 움직일 수 있게 한다. 연구팀은 디폼스플랫이 정면뿐 아니라 측면·후면 시점에서도 팔과 몸통 비율이 흐트러지지 않고, 관절이 고무처럼 늘어나는 현상이 거의 나타나지 않았다고 실험으로 확인했다. 디폼스플랫은 3D 가우시안 스플래팅 기반의 3D 캐릭터에, 목표 동작이 담긴 2D 사진을 입력하면 자세를 변형한다. 이 기술의 핵심은 ‘가우시안-픽셀 매칭(Gaussian-to-Pixel Matching)’과 ‘강체 부위 분할(Rigid Part Segmentation)’ 기술을 통해 3D 캐릭터의 가우시안 점과 2D 사진의 픽셀을 연결해 자세 정보를 전달한다. 연구팀은 이 모델이 시점을 옆이나 뒤로 바꿔도 형태 왜곡이 적고 자연스러운 자세를 유지하는 것을 실험으로 확인했다. 디폼스플랫은 메타버스·게임·애니메이션 등 3D 콘텐츠 제작 과정을 간단하게 만들 것으로 기대된다. UNIST는 이 기술을 25일 밝혔다.nn디폼스플랫은 3D 가우시안 스플래팅으로 만들어진 3D 캐릭터에 2D 사진을 입력하여 자세를 변형한다. 3D 가우시안 스플래팅은 2D 이미지로부터 3D 객체를 재구성하는 데 강점이 있지만, 재구성된 3D 캐릭터를 실제 콘텐츠처럼 움직이게 하려면 보통 여러 각도 영상이나 연속 촬영된 비디오 데이터가 필요했다. 데이터가 부족하면 움직임 과정에서 팔·다리·몸통 비율이 무너지거나 관절이 고무처럼 늘어나는 왜곡이 쉽게 발생한다. 연구진이 개발한 디폼스플랫은 사진 한 장만 입력해주면 형태 왜곡 없이 3D 캐릭터의 자세를 사진 속 자세와 똑같이 움직이게 바꿔준다.nn디폼스플랫의 작동원리(사진=UNIST)는 3D 가우시안 모델이 생성한 3D 캐릭터의 자세를 형태 왜곡 없이 바꿔주는 AI 기술이다. 연구팀은 가우시안-픽셀 매칭과 강체 부위 분할 기술을 이용해 이 같은 모델을 개발했다. 가우시안-픽셀 매칭은 3D 캐릭터를 구성하는 가우시안 점과 2D 사진의 픽셀을 연결해 사진에 담긴 자세 정보를 3D 변형으로 전달한다. 강체 부위 분할은 3D 캐릭터의 강체 부위를 분리하여 자세 변형 시 물리적 비율을 유지하는 데 기여한다.nn디폼스플랫은 25일 UNIST에서 발표됐다. 주경돈 교수, 김진혁 연구원(제1저자), 방재훈 연구원, 서승현 연구원이 연구팀을 이끈다. 이 기술은 메타버스·애니메이션 등 3D 콘텐츠 제작 수월하게 만들 것으로 기대된다. 실험 결과, 시점을 옆이나 뒤로 바꿔도 형태 왜곡이 적고 자연스러운 자세를 유지한다. 디폼스플랫은 3D 캐릭터의 자세 변형에 있어 형태 왜곡을 최소화하는 기술로 평가된다.nn디폼스플랫은 2D 사진을 입력받아 3D 캐릭터의 자세를 변형한다. 이 기술은 여러 각도 영상이나 연속 비디오 데이터가 없어도 자연스럽게 움직일 수 있게 한다. 연구팀은 이 기술이 메타버스·게임·애니메이션 등 3가지 분야에서 활용 가능하다고 판단했다. 디폼스플랫은 25일 UNIST에서 발표됐다. 주경돈 교수, 김진혁 연구원(제1저자), 방재훈 연구원, 서승현 연구원이 연구팀을 이끈다.nn디폼스플랫은 3D 가우시안 스플래팅 기반의 3D 캐릭터에 2D 사진을 입력하여 자세를 변형한다. 3D 가우시안 스플래팅은 2D 이미지로부터 3D 객체를 재구성하는 데 강점이 있지만, 재구성된 3D 캐릭터를 실제 콘텐츠처럼 움직이게 하려면 보통 여러 각도 영상이나 연속 촬영된 비디오 데이터가 필요했다. 데이터가 부족하면 움직임 과정에서 팔·다리·몸통 비율이 무너지거나 관절이 고무처럼 늘어나는 왜곡이 쉽게 발생한다. 연구진이 개발한 디폼스플랫은 사진 한 장만 입력해주면 형태 왜곡 없이 3D 캐릭터의 자세를 사진 속 자세와 똑같이 움직이게 바꿔
@Meerae AI 빅데이터 연구소 meerae.info@gmail.com