Visual-Language Prompt Tuning with Knowledge-guided Context Optimization

 

기존 Coop에서 knowledge-guided 추가

CoCoop보다 base, new에서 성능이 향상

 

 

기존 Coop이 new class에서 성능이 떨어지는 원인을 분석

hand-crafted textual embedding 정보와 너무 격차가 벌어지면 성능 저하 발생
(overfitting이 된다)

이를 해결하기 위해서는..?

 

 

regression loss 추가…

 

 

결과