IMUPoser: Full-Body Pose Estimation using IMUs in Phones, Watches, and Earbuds

핸드폰, 시계, 이어폰 에서 얻을 수 있는 IMU 정보를 활용하여 pose estimation 진행

 

WiFi와 마찬가지로 occlusion과 낮은 조도에 대해서도 예측 가능한 장점이 있다.

 

 

기존 IMU 기반이 논문들은 특수한 장비를 사용, 실생활 적용에는 현실적이지 않음, 해당 논문에서는 실제 consumer device를 활용하여 pose estimation을 진행하는 장점이 있음

 

스마트폰: 왼/오 주머니, 왼/오 손, 머리(전화받는 경우), not carried (총 6가지 case)

스마트워치: 왼/오 손목, not carried (총 3가지 case)

이어폰: 머리, 왼/오 주머니(충전상태), not carried (총 4가지 case)

 

총 72 case가 나올수 있음, 이중에서 현실적인 case는 68가지

1 active device는 14 combination

2 active device는 36 combination

3 active device는 18 combination

 

 

24가지 combination에 대한 설명

 

 

모델은 생각보다 간단함..

입력은 5 possible IMU locations x (3 acceleration axes + 3x3 orientation rotation matrix) = 60

해당 데이터로 LSTM 사용

Transformer 사용해 봤는데 성능이 안좋다고 함

output은 144 SMPL pose parameters
(24 joints x 6D rotations)

참고로 SMPL 모델로 body mesh 정보 제공 (6890개의 vertices 예측)

Inference 할때는 joint rotation refinement로 한번 보정한다.

여기서 inverse-kinematics 사용

 

 

데이터 취득

GT는 vicon motion capture system 사용 (12개 MX40 카메라, 4개 T160 카메라)

 

결과