CSI-Former: Pay More Attention to Pose Estimation with WiFi

MDPI, Entropy, 2023

 

WiFi를 이용한 pose estimation, transformer를 활용

현재 유일하게 Channel state information (CSI) data및 사람에 대한 key point로 구성된 DB 공개 (Privacy 때문에 이미지는 공개되지 않음)

환경은 이전 논문과 거의 동일

transmitter 3개 receiver 3개 사용, 30 개의 sub-carriers(주파수)사용, 연속된 5개의 정보 사용 (5x30x3x3)

 

 

기존 CSI데이터에는 noise가 많이 포함되어 있음, 다른 논문에서 이러한 데이터 분석 결과를 인용함

 

서로 다른 주파수에서 발생하는 noise는 high correlated 되어 있다.
-> stationary 상태에서 모든 주파수의 amplitude의 변화가 거의 비슷

 

그럼에도 불구하고, 사람이 움직이는 경우 모든 주파수에서 동일한 변화가 발생하지 않는다.
-> noise로 인해서 사람의 특정 pose 정보가 사라지지는 않는다.

 

noise 제거를 위해 여러 필터링 방식 적용
-> CSI 정보가 좀 더 smooth하게 변함, 그러나 hidden pose features들도 같이 필터링되어 사라짐.

 

결론: raw CSI에서 기존 filtering 방식이 아닌 attention 개념을 사용하여 pose estimation에 유용한 sub-carrier를 골라서 사용하자.

 

불행하게도, 우리는 raw CSI 정보만 가지고 사람의 pose 정보에 대한 GT 값을 알 수 없다.

 

따라서 transmitter와 평행한 방향으로 카메라를 설치하여 이미지 정보를 활용하여 GT값을 추출함

 

여기서 GT도 기존 image기반의 pose-estimation 사용(Alphapose)

 

이를 teacher, student network로 표현

student network로는 performer 사용 (performer 논문을 보려고 했으나 내용이 너무 많아서 pass.., attention에 필요한 연산을 줄이는 컨셉, 2020년 논문)

 

여기서는 key point를 regression 문제로 해결 (segmentation이 아님.., multi object 안되고, 사람의 위치 추정도 힘들듯)

 

여기서 key point만 예측하면 너무 overfitting 될 수 있다고함

 

따라서 skeleton-point adjacency matrix (SAM) 사용

 

Loss

계산

결과