CONSISTENCY-GUIDED PROMPT LEARNING FOR VISION-LANGUAGE MODELS

 

CoPrompt 제안,

이는 kgcoop과 MaPLe 논문의 조합으로 보임

 

KgCoop

 

MaPLe

 

Consistency constraint

 

Supervised loss

 

Input perturbation 방식

text: a photo of a [class]를 GPT의 입력으로 넣어 좀 더 자세한 문장으로 변환하여 해당 정보와의 consistency 계산

image: 단순히 augmentation

 

실험 결과

base-to-novel generalization

처음으로 HM이 80을 넘었음

domain generalization 성능

 

기존보다 좋은 성능을 보여줌

 

이전에는 prompt learning과 adapter가 따로 개발됐다면

요즘 추세는 prompt learning + adapter 형식이 많이 보임

 

Module별 조합에 따른 성능 측정

 

dataset 마다 편차가 있지만 일반적으로 Consistency constraint의 비중이 클수록 좋은 성능을 보여줌

 

prompt learning에서 few-shot learning은

보통 10 epoch 미만으로 학습을 많이 하는듯