단 한 장의 사진만으로 개의 3차원 형상을 복원해 애니메이션까지 만들 수 있는 인공지능 기술이 개발됐다.
우리집 강아지를 똑 닮은 아바타를 가상현실(VR), 증강현실(AR), 메타버스에서 만나볼 수 있게 됐다.
UNIST 인공지능대학원 주경돈 교수팀은 강아지의 사진 한 장만으로 움직일 수 있는 3차원 아바타(3D Avatar)를 생성할 수 있는 인공지능 모델 'DogRecon'을 개발했다고 24일 전했다.
개는 품종마다 체형이 다르고, 네 발로 걷는 특성상 관절이 가려지는 경우가 많아 3D 복원이 까다로운 동물이다.
특히 2D 사진 한 장으로 3차원 형상을 복원하려면 정보 부족 탓에 일부 부위가 부정확하게 생성되거나 형태가 왜곡되는 경우가 많다.
DogRecon은 개 전용 통계 모델을 적용해 품종별 체형이나 자세 차이까지 잡아내고, 생성형 AI로 다양한 각도의 이미지를 자동 생성함으로써 가려지는 부분까지 실제처럼 복원할 수 있다.
또 가우시안 스플래팅 모델을 기반으로 해, 개의 곡선형 체형과 털의 질감까지 정확하게 재현한다.
데이터셋을 이용한 성능 테스트에서, DogRecon은 단 한 장의 사진만으로도 기존 영상 기반 기술과 유사한 수준으로 자연스럽고 정확하게 개의 3차원 아바타를 만들어냈다.
기존 모델들은 강아지가 다리를 구부린 자세에서도 몸통이 뻗어 있거나, 관절이 어색하게 꺾이고, 귀, 꼬리, 털이 뭉치는 등 실제 모습과 동떨어진 형태로 재현되는 경우가 많았다.
또 DogRecon은 텍스트 입력만으로 아바타의 동작을 생성하는 '텍스트 기반 애니매이션 생성',VR·AR 등 응용 분야에도 뛰어난 확장성을 보였다.
이번 연구는 UNIST 조경수 연구원이 제1저자로 주도했으며, 공동 저자로는 강창우 연구원(UNIST), 순동현 연구원(DGIST)이 참여했다.
조경수 연구원은 "전체 가구의 4분의 1 이상이 반려동물을 키우는 시대인 만큼, 그동안 사람 중심으로 개발돼 온 3D 복원 기술을 반려동물로도 확장해보고 싶었다"며 "DogRecon은 누구나 자신의 반려견을 디지털 공간에서 구현하고, 직접 움직이게 할 수 있는 도구가 될 것"이라고 말했다.
주경돈 교수는 "이번 연구는 생성형 AI와 3D 복원 기술을 결합해 실제와 유사한 반려동물 모델을 구현한 의미 있는 성과"라며 "앞으로 다양한 동물이나 개인 맞춤형 아바타로의 확장도 기대된다"고 말했다.
이번 연구는 컴퓨터비전 분야 세계 최고 권위의 저널인 '국제컴퓨터비전저널(International Journal of Computer Vision)'에 6월 2일 출판됐으며, 과학기술정보통신부와 정보통신기획평가원(IITP)의 '일상생활에서 필요한 상식을 기반으로 새로운 사실을 추론하며 이해하는 인공지능기술개발 사업'과 'UNIST 인공지능대학원 지원사업'의 도움을 받아 수행됐다.
논문과 시연 영상은 프로젝트 웹사이트에서 확인할 수 있다.
영남취재본부 김철우 기자 sooro97@asiae.co.kr
<ⓒ투자가를 위한 경제콘텐츠 플랫폼, 아시아경제 무단전재 배포금지>
