Mitigating Memorization of Noisy Labels by Clipping the Model Prediction

ICML 2023, 7회 인용

 

Introduction

 

기존 CE loss는 unbounded 되어 있기 때문에 noisy label에 취약할 수 밖에 없다.

본 논문에서는 LogitClip이라는 개념을 제안하여, noise에 robust한 loss를 제안

 

The Unboundedness of CE loss

 

CE loss의 경우 confidence가 낮은 데이터(hard sample) 위주로 학습에 활용된다.

0에 가까울수록, 무한대로 발산, noisy 데이터에 overfitting 될 가능성이 높다.

 

Proposed method

 

CE loss는 아래와 같이 식 정리할 수 있음

 

Upper bound 추가

 

다만 이렇게 학습하려고 하면 optimization 풀기가 어려워짐

 

Logit Clipping

 

 

애초에 prediciton값에 clipping 후처리 적용 후 CE loss 풀면 됨

 

결국 logit은

범위에 들어옴

 

 

loss도 따라서 해당 범위에 들어옴

 

threshold 값에 따라서 loss lower, upper bound가 정해짐

 

 

실제 noise label로 학습한 모델과, clean label로 학습한 모델의

제안한 loss를 쓰면 그 차이가 일정 범위안에 수렴됨을 증명

 

Experiment results

 

모든 loss에 logit clipping 적용시 성능 향상

 

threshold에 따른 test 성능 비교

threshold가 너무 크면 기존 CE와 유사, 너무 작으면 lower, upper bound차이가 거의 없어서 오히려 학습이 안됨

 

모델 구조에 따른 영향이 적음

 

나중에 NCE+AGCE도 봐야 할듯