Visual Prompt Tuning

ECCV 2022, 401회 인용

vision prompt를 활용에서 base가 되는 논문

 

 

고전적인 find-tuning 방식에서 벗어나 visual prompt를 학습함으로써 적은 파라미터로도 좋은 성능을 보여줌

 

 

크게 VPT-DEEP과 VPT-SHALLOW로 구분

 

VPT-SHALLOW (기존 파라미터의 0.04%)

 

 

VPT-DEEP (기존 파라미터의 0.53%)

 

 

실험

 

전부 base class에 대한 성능으로 보면 됨

 

 

학습 데이터가 부족할때 visual prompt의 강점이 부각

 

 

모델 사이즈가 커져도 prompt learning의 성능이 기존보다 좋음

 

 

Prompt 위치에 따른 성능 비교

 

 

데이터 종류에 따라 optimal한 prompt 개수가 다르다 (한개만 써도 어느정도 성능이 보장)

 

 

일반적으로 prompt depth와 성능이 비례

 

 

Head 활용 방안에 따른 성능 비교