Adaptive Sample Selection for Robust Learning under Label Noise

WACV 2023, 20회 인용

 

Introduction

 

We propose a simple, adaptive selection strategy called BAtch REweighting (BARE)

adaptive threshold에 관한 논문

 

Problem Formualtion and Notation

 

 

Adaptive Curriculum through Batch Statistics

 

일반적인 curriculum learning 형식, 즉 쉬운 data(clean) 먼저 학습하고 점차 어려운 data(noisy)로 학습해보자

G: curriculim을 의미

 

여기서 w는 데이터의 weight (0 or 1)

lambda는 loss의 threshold와 유사

즉 loss가 threshold보다 낮으면 해당 data의 loss를 반영 (w = 1)

그렇지않으면 해당 loss를 반영하지 않음 (w = 0)

여기서 lambda는 constant값

 

해당 식은 lambda가 class에 dependent한 경우

그럼 class에 따른 lambda값을 어떻게 정할지?

본 논문에서는 loss에 대한 threshold가 아닌 prediction에 대한 threshold를 구한다.

 

결론은 batch안에서 class에 대한 prediction값을 구하고 해당 값의 평균, 표준편차를 사용하여 adaptive 하게 threshold 설정

 

 

Experiment result

symmetric, class-conditional noise에 대해서도 좋은 성능을 보여줌