DN-DETR: Accelerate DETR Training by Introducing Query DeNoising

Query denoising을 통해 학습 속도 및 성능 개선

Contribution:

1. 새로운 학습 방식을 사용해 학습 속도 개선, DAB-DETR을 base로 개선, 다른 DETR-like mothods와 쉽게 적용 가능
2. 기존 DETR 수렴 속도가 느린 부분을 새로운 관점에서 접근 → bipartite matching이 문제
3. ablation study로 분석

그렇다면 기존 hungarian matching이 왜 수렴 속도를 늦추는가?

IS: Epoch에 따라 같은 GT에 대해서 매칭된 query가 바뀐 횟수

학습 초반에는 query가 정확하지 않기 때문에 매칭되는 GT가 계속 바뀌게 되고 이는 학습의 일관성을 떨어뜨려 결과적으로 수렴속도를 늦추게 된다.

비슷하게 initial anchor box와 매칭된 gt box 사이의 distance도 분석

둘 사이의 거리가 가까울수록 학습하기 더 편해짐

그럼 어떻게 개선한걸까?

Denoising part는 auxiliary task