Learning Expressive Prompting With Residuals for Vision Transformers

Pretrained LVM을 downstream application에 효과적으로 활용할 수 있는 방안 제시

Downstream application에 맞는 prompt들을 학습해보자
기존 거대 모델을 fine-tuning 하는건 비효율적
기존 pre-trained 모델의 weight는 그대로 두고 상대적으로 연산량이 적은 prompt를 학습해서 adaptation을 진행

여기서는 residual learnable tokens도 추가

Prompt에 대해서만 residual learnable token 적용 하도록

결국 loss를 최소화 하는 prompt와 residual learnable token 학습