MetaFi++: WiFi-Enabled Transformer-based Human Pose Estimation for Metaverse Avatar Simulation

Metaverse에 활용하기 위한 pose estimation, 마찬가지로 WiFi를 사용

해당 논문이 출판되는 시점에서는 transformer를 wifi csi-based human pose estimation에 처음 사용

 

해당 논문에서는 CSI estimation을 위와 같이 표현(i번째 subcarrier에 대한 amplitude와 phase)

여기서는 amplitude 값만 활용(phase는 noise 정보로 고려)

일반적으로 30 subcarriers를 사용하는데 여기서는 114개의 subcarrier 사용

1개의 transmitter와 3개의 receiver 사용, 총 10개의 연속된 frame 사용

 

각각 receiver마다 따로 CNN feature 계산

 

CNN 입력에 넣기 위해 114x10 tensor를 136x32로 upsampling 함

CNN 최종 결과로 512x17x12 feature 값 추출 (3개의 receiver값 concat)

→ 512 x 204로 flatten

→ 해당 값을 linear projection을 통해 QKV로 활용

→ 해당 연산이 결국 배경에 대한 영향을 줄이고 robust human pose를 생성

최종적으로는 human key point regression하는 문제

 

이전 논문에서는 pose adjacency matrix활용했지만 해당 방식에서는 이 방식이 오히려 성능을 떨어뜨린다고 함

따라서 단순히 position에 대한 mse로 regression문제 학습

저자는 114 subcarriers를 활용했기 때문에 기존 30 subcarrier보다 좀 더 높은 resolution정보를 얻을 수 있어 해당 loss로 충분하다고 생각함

 

결과

일정 error 범위안에서는 좋은 성능을 보임

 

 

Head에서 제일 좋은 성능을 보여줌

팔 다리에서는 성능이 좀 떨어짐
(안테나 개수 늘리면 성능이 좋아질거라 함..)

속도는 NVIDIA RTX 3090 GPU 기준 10ms