Conditional DETR for Fast Training Convergence

기존 DETR은 수렴하기까지 학습 시간이 오래 걸린다.. 이를 해결하기 위한 방법을 제시

 

실제 수렴이 빨리 되는것을 확인

 

 

여기서 집중한점은 cross attention에서 spatial query 부분이 learnable query인데 이부분에 가이드를 주면 좀 더 수렴이 잘되지 않을까?

여기서는 anchor point(reference point)를 spatial query에 활용, 이전 decoder layer결과도 spatial query에 영향을 주도록 설정

실제 box regression 하도록 학습을 시키니까 특정 spatial query attention map에서는 box의 끝부분이 활성화 되는것을 확인