FeatAug-DETR: Enriching One-to-Many Matching for DETRs with Feature Augmentation

원래 보려고 했던 논문, one-to-many matching 논문

기존에는 one-to-many 논문은 어떻게 보면 query augmentation에 집중되어 있다고 볼 수 있다.

 

 

일반적으로 one-to-many 매칭은 아래와 같은 식으로 정의할 수 있다.

Group-DETR

 

Hybrid-matching

 

그럼 해당 논문에서 하려고 하는것은?

Feature와 Ground truth에 대한 augmentation

 

이를 위한 2가지 방법

 

DataAug에서는 random flip과 random crop 사용

FeatAug에서도 random flip과 random crop 사용

RoIAlign(mask-RCNN에서 사용한 방식)을 통해 crop및 resize 진행

다만 이렇게 하는 경우 feature가 블러링 되는 현상이 발생해서 기존 feature map과 gap이 발생함

이를 보정하기 위해 뒤에 1x1 conv + group normalization layer를 추가 (학습에서만 사용)

 

결과