Learning to Segment Every Thing

CVPR 2018, 323회 인용

 

 

Partially supervised training paradigm 제안

detection db (WSL) + instance segmentation db (SL)를 사용하여 instance segmentation model 학습

 

contribution:

weight transfer function을 사용

 

 

기본 baseline은 Mask-RCNN 사용

class A: box와 mask annotation이 존재

class B: box annotation만 존재

 

기존 mask-rcnn에서 box branch와 mask branch는 독립적으로 category-specific하게 학습됨

하지만 mask weight가 box weight로 부터 나오도록 학습하게 된다면 category-agnostic하게 둘 사이의 연관 관계를 학습할 수 있지 않을까?

→ weight transfer function 사용

 

class c에 대한 mask weight는 class c에 대한 box weight로 부터 나오도록 학습

이렇게 학습이 된다면 우리가 특정 class에 대한 box 정보만 학습을 하더라도 해당 class의 mask 정보를 찾을 수 있다고 생각

여기서 mask weight는 FCN으로 구성

 

본 논문에서는 추가적으로 class-agnostic mask MLP를 사용하여 성능 개선

(기존 FCN은 객체의 boundary같은 영역 찾는데 집중, MLP는 객체의 전체적인 특징을 잡는데 도움)

 

학습 방식

 

stage-wise training
: detection training 먼저 진행 후 segmentation training 진행
성능이 좋지 않음

 

end-to-end joint training
: 바로 학습 하게 되면 class A와 B사이에 discrepancy 발생(w_det)
따라서

 

 

 

실험