XR Animator : iPhone Camera + 웹캠 조합 풀트래킹
아이폰 + 웹캠 조합으로 풀트래킹 가능할까?
립모션과 같은 다른 장비없이 트래킹하는 여러가지 방법이 있는데
대표적인 프로그램이 Webcam Motion Capture를 많이 쓰고 있는 것 같다.
단점은 유료라는 것.
찾다보니 XR Animator라는 것을 발견함, 그래서 이걸로 웹캠 핸드&바디트래킹을 해보려합니다.
그리고, 페이셜은 아이폰으로 하는게 제일 나은 것 같아서,
이 두가지를 혼합해서 사용해보고자 합니다.
1. 페이지를 열어 아래로 내려보면 Asset 항목에서 해당하는 zip파일을 다운받습니다
https://github.com/ButzYung/SystemAnimatorOnline/releases
Releases · ButzYung/SystemAnimatorOnline
XR Animator, AI-based Full Body Motion Capture and Extended Reality (XR) solution, powered by System Animator Online - ButzYung/SystemAnimatorOnline
github.com
2. XR Animator - electron-v28.2.7-win32-x64_SA 폴더의 electron.exe 파일을 실행합니다.
3. 실행하면 배경이 투영된 상태로 아바타가 한 마리 등장합니다.
배경이 투영되어서 깜놀했고요, 화면을 움직일 줄 몰라서 드래그하니 그냥 화면 회전이 된다는...
프로그램 화면 전체를 움직이는 것은 "마우스 우측 버튼" 드래그해주시면 됩니다.
4. 웹캠 연결하기
하단 세번 째 아이콘 (Webcam/Media)를 선택하면 팝업이 뜨며, "2.Yes(flip/mirror image)" 클릭합니다.
그래야 캡쳐가 반전되어서 거울처럼 보일 거예요.
5. 내 컴에 연결된 웹캠을 선택합니다
6. 팝업에서 "3.Body + Hand"를 눌렀습니다.
아무일도 일어나지 않아요. 아직!
7. 하단의 네번째 아이콘 (Motion Capture) 을 누르면, 캡쳐가 시작됩니다.
손가락까지 아주 잘 잡아주고,
8. 바디 전체 인식까지 잘 됩니다. 머리, 팔, 손, 다리까지 정말 되네요. 공중부양! ㅋ 신기!
더 멀리가면 몸 전체가 잡히는데, 지금은 키볻로 화면캡쳐하느라 어쩔 수 없이
다리를 들어서 이정도 되는 지만 보여주고 있습니다.
어째든 이정도면 매우 훌륭한 편이라고 할 수 있습니다.
9. Full Body를 해봤습니다
오우, 표정까지 잘 되긴 하지만 웹캠의 한계인지, 설정탓인지 모르겠지만, iPhone 페이셜 만큼은 안되네요.
10. VseeFace에서 내 캐릭터에 적용해보겠습니다.
1) Motion Capture 아이콘을 더블클릭하고,
팝업에서 3. Mocap Off 를 눌러 모션캡처에서 빠져나옵니다.
다시 Motion Capture 아이콘을 눌러서 팝업을 띄운 뒤, 4. Fullbody를 선택합니다.
2) 하단의 다섯번 째 아이콘 VMC-Protocol을 선택하고, 팝업에서 1. VMC-protocol: ON 으로 켜줍니다.
3) VseeFace를 실행한 뒤, 설정 / 일반에서 중앙즈음에 OSC/VMC receiver 옵션을 켜줍니다.
4) 바로 내 캐릭터에 연동이 되는 걸 볼 수 있습니다.
11. 아이폰으로 얼굴 트래킹, 웹캠으로 핸드+바디 트래킹 따로 따로 하기
순서를 꼭 지켜서 안하면 안될 수도 있어요.
1) 사용 중이던 VseeFace , Electron 모두 종료한다
2) VseeFace만 먼저 실행하고, 기본 세팅한다
3) 설정에서 iPhone 설정을 활성화한다 (위 참조)
4) Electron을 실행하고, 기본 세팅한다
5) VseeFace 설정에서 OSC/VMC 활성화한다 (위 참조)
두 개 선택했는데 안되시는 분들
꼭, 다시 실행 한 후, 1 활성화 먼저 하고 2 활성화 나중에 하면 될 겁니다.
BR. h