DPL: Decoupled Prompt Learning for Vision-Language Models

 

학습 파라미터 대비 성능이 뛰어남, 최근 논문들은 슬슬 파라미터도 같이 비교 진행

 

 

문제 접근 방식은 좋은데 해결 방식이 부족한 느낌..

 

Contribution:

우선 기존 transformer 기반 prompt learning에서는 query에 learnable prompt를 추가하여 진행하는 경우가 많음
본 논문에서는 추가된 prompt와 기존 vision(or text) 정보와의 attention에 초점을 맞춤
decoupled attention으로 나눠서 각각 가중치를 조절하여 generality를 확보하려는 목적

 

기존 attention 식

 

 

decoupled attention

 

 

크게 instance forwarding과 prompt forwarding으로 나눔

 

instance forwarding

 

Generalization 성능을 유지하려면 prompt에 대한 영향을 덜 받아야 함

 

 

prompt forwarding

 

prompt와 prompt사이의 attention은 generalization 성능에 방해 (실험적으로 나온 결과…)

 

실험 결과

 

 

높은 H값을 보여줌