XR Animator : iPhone Camera + 웹캠 조합 풀트래킹

 

 

 

 

아이폰 + 웹캠 조합으로 풀트래킹 가능할까?

 

 

 

 

립모션과 같은 다른 장비없이 트래킹하는 여러가지 방법이 있는데

대표적인 프로그램이 Webcam Motion Capture를 많이 쓰고 있는 것 같다.

단점은 유료라는 것.

찾다보니 XR Animator라는 것을 발견함, 그래서 이걸로 웹캠 핸드&바디트래킹을 해보려합니다.

그리고, 페이셜은 아이폰으로 하는게 제일 나은 것 같아서,

이 두가지를 혼합해서 사용해보고자 합니다.

 

 

 

 

 

1. 페이지를 열어 아래로 내려보면 Asset 항목에서 해당하는 zip파일을 다운받습니다

https://github.com/ButzYung/SystemAnimatorOnline/releases

Releases · ButzYung/SystemAnimatorOnline

 

 

 

 

 

 

 

 

 

 

2. XR Animator - electron-v28.2.7-win32-x64_SA 폴더의 electron.exe 파일을 실행합니다.

 

 

 

 

 

 

 

 

3. 실행하면 배경이 투영된 상태로 아바타가 한 마리 등장합니다.

  

배경이 투영되어서 깜놀했고요, 화면을 움직일 줄 몰라서 드래그하니 그냥 화면 회전이 된다는...

프로그램 화면 전체를 움직이는 것은 "마우스 우측 버튼" 드래그해주시면 됩니다.

 

 

 

 

 

 

 

 

4. 웹캠 연결하기

 하단 세번 째 아이콘 (Webcam/Media)를 선택하면 팝업이 뜨며, "2.Yes(flip/mirror image)" 클릭합니다. 

 그래야 캡쳐가 반전되어서 거울처럼 보일 거예요.

 

 

 

 

 

 

 

 

5. 내 컴에 연결된 웹캠을 선택합니다

 

 

 

 

 

 

 

 

6. 팝업에서 "3.Body + Hand"를 눌렀습니다.

 아무일도 일어나지 않아요. 아직!

 

 

 

 

 

 

 

 

 

7. 하단의 네번째 아이콘 (Motion Capture) 을 누르면, 캡쳐가 시작됩니다.

 손가락까지 아주 잘 잡아주고, 

 

 

 

 

 

 

 

 

8. 바디 전체 인식까지 잘 됩니다. 머리, 팔, 손, 다리까지 정말 되네요. 공중부양! ㅋ 신기!

더 멀리가면 몸 전체가 잡히는데, 지금은 키볻로 화면캡쳐하느라 어쩔 수 없이

다리를 들어서 이정도 되는 지만 보여주고 있습니다.

어째든 이정도면 매우 훌륭한 편이라고 할 수 있습니다.

 

 

 

 

 

 

 

 

9. Full Body를 해봤습니다

오우, 표정까지 잘 되긴 하지만 웹캠의 한계인지, 설정탓인지 모르겠지만, iPhone 페이셜 만큼은 안되네요.

 

 

 

 

 

 

 

 

10. VseeFace에서 내 캐릭터에 적용해보겠습니다.

 

1)  Motion Capture 아이콘을 더블클릭하고,

팝업에서 3. Mocap Off 를 눌러 모션캡처에서 빠져나옵니다.

다시 Motion Capture 아이콘을 눌러서 팝업을 띄운 뒤, 4. Fullbody를 선택합니다.

 

2) 하단의 다섯번 째 아이콘 VMC-Protocol을 선택하고, 팝업에서 1. VMC-protocol: ON 으로 켜줍니다.

 

 

3) VseeFace를 실행한 뒤, 설정 / 일반에서 중앙즈음에 OSC/VMC receiver 옵션을 켜줍니다.

 

 

4) 바로 내 캐릭터에 연동이 되는 걸 볼 수 있습니다. 

 

 

 

 

 

 

11. 아이폰으로 얼굴 트래킹, 웹캠으로 핸드+바디 트래킹 따로 따로 하기

  순서를 꼭 지켜서 안하면 안될 수도 있어요.

 1) 사용 중이던 VseeFace , Electron  모두 종료한다

 2) VseeFace만 먼저 실행하고, 기본 세팅한다 

 3) 설정에서  iPhone 설정을 활성화한다 (위 참조)

 4) Electron을 실행하고, 기본 세팅한다

 5) VseeFace 설정에서 OSC/VMC 활성화한다 (위 참조)

 

두 개 선택했는데 안되시는 분들

꼭, 다시 실행 한 후, 1 활성화 먼저 하고 2 활성화 나중에 하면 될 겁니다.

 

 

 

 

 

 

 

BR. h