GROUP DETR: FAST DETR TRAINING WITH GROUPWISE ONE-TO-MANY ASSIGNMENT

기존 DETR 논문에서 One-to-one 매칭의 한계점을 보여줌

 

DETR에서 one-to-one 매칭은 NMS같은 후처리를 쓰기 않고 end-to-end로 학습할 수 있는 이점을 보여줌

다만 query의 개수가 늘어나도 성능의 향상이 생각보다 크지 않음

(one-to-one 매칭에 단점은 gt 스위칭이 발생한 경우 기존에 positive로 학습되던 방향성이 negative로 학습되도록 변경됨
-> 어떻게 보면 query입장에서 gt label이 일관적이지 않음
-> 기존 anchor-based detector에서 max iou만 positive 나머지는 negative로 고려하는것과 비슷)

 

이를 해결하기 위해 one-to-many 매칭을 사용
-> gt 스위칭이 발생하더라도 기존의 학습되던 방향성이 바뀌지 않음, 즉 하나의 query가 여러개의 gt 정보를 고려할 수 있음
-> 기존 anchor-based detector에서 iou가 0.5이상인 부분만 positive로 학습
-> 이런 경우 단점은 하나의 객체에 대해서 여러가지 prediction 결과가 나오게 됨
-> NMS가 필수적으로 사용되어야 함

 

Group-eise one-to-many 사용
-> one-to-one과 one-to-many의 장점을 보유
-> NMS없이 많은 query를 사용할수록 성능이 좋아짐

 

아이디어는 간단

그룹으로 나눠서 그룹별로 one-to-one 매칭 진행

다만 parameter값은 서로 공유

Inference는 그룹1에 해당하는 query만 사용 (기존 DETR과 연산량 동일)

 

학습된 결과가 그룹별로 고르게 분포되어 있음

perturbation distance

해당 query와 가장 유사한 query와의 거리

 

matching distance

GT와 매칭된 query들과의 거리

결론은 그룹들 사이에 비슷한 query 분포를 가짐

generate multiple positive object queries for each gt object