심심할때 읽는 논문 심심할때 읽는 논문

NeurIPS 2021, 21회 Introduction 3d 정보를 활용한 People tracking 논문. tracking 할때 2d 정보보다 3d 정보가 유리. 두 사람 사이에 overlap이 발생했을 때 2d 정보보다 3d 정보를 가지고 있는게 두 사람을 구분하는데 더 유리하다. 또한, 3d appearance는 2d appearance와 다르게 viewpoint와 pose 변화에 덜 민감하다. Contribution 기존 HMR방식(SMPL모델의 pose, viewpoint를 예측하는 논문)에서 3d appearance 정보를 추가 예측하도록(이전 세미나에서 texture flow를 사용한 방식) 모델 구성 Proposed method 전체적인 구조는 아래와 같이 진행된다. encoder를 통한..

Introduction 이미지에서 3d human model(SMPL)을 잘 표현할 수 있는 방법에 대해서 서술한 논문. 이를 위해서는 이미지와 실제 사람에 대한 3d 좌표를 가지고 학습을 해야 원하는 정확도를 확보할 수 있음. 하지만 실제 이러한 데이터를 확보하는건 쉽지 않음. 따라서 일반적인 2d 데이터셋(2d keypoint만 있는 데이터)에서도 weakly-supervised 방식을 사용하여 2d-to-3d 연관성을 학습하는 방식을 제안. Fig. 1에서 첫번째, 두번째 줄은 실제 2d-to-3d 데이터셋을 사용하여 학습한 결과 마지막줄은 weakly-supervised 방식을 사용한 결과를 보여줌 Weakly-supervised 방식을 사용해도 준수한 성능을 보여준다. (이렇게 찾은 3d 모델링..

Introduction 기존에는 skeleton 형식으로 사람을 표현했다면, 3d model형태의 사람을 표현하는 방식의 논문 소개 추후 3d model을 이용한 pose estimation, human tracking, action recognition등의 논문들을 소개할 예정이기 때문에 디테일한 내용보다는 컨셉 위주로 설명을 진행하겠다. 일반적으로 3d 모델을 표현하기 위해서는 수많은 vertex가 필요하다. 특히 디테일한 모델링을 하려면 그만큼 많은 vertex가 필요한데 이를 전부 찾으려고 하면 풀려고 하는 문제가 너무 어려워지게 된다. 따라서 사람을 3d 모델링할 수 있는 파라미터로 모든 vertex를 regression할 수 있다면 사람에 대한 3d 모델링을 좀 더 쉽게 할 수 없을까? Fig..