Sample Prior Guided Robust Model Learning to Suppress Noisy Labels

Introduction

 

 

CIFAR-100N에서 1등한 논문

 

일반적으로 training loss가 작은 data는 clean, 높은 data는 noise로 구분한다.

하지만 그림과 같이 같은 loss이더라도 clean과 noise가 혼재되어 있어 분리하기 어렵다.

 

본 논문에서는

Although the hard samples and noisy samples cannot be directly distinguished by training loss, we observed that they have different behaviors in training history

에서 영감을 받았다.

 

Proposed method

 

우선 제일 처음에 prior generation module를 사용하여 데이터를 easy, hard, noise로 구분한다.

 

 

1. K epoch에 해당하는 prediction score 저장 (label에 해당하는 score)
2. 평균 prediction score를 기준으로 sorting 진행, 2개의 threshold를 사용하여 easy와 noise(n1) 구분
3. easy data에 noise를 추가하여 새로운 dataset 생성(D_a), 2 class (noise or not)
4. 해당 data로 기존 CNN(M_c) 다시 학습, 해당 모델로 training history 다시 추출
5. 추출된 histroy에서 hard data(인위적으로 만든 data) 구분, 해당 data로 shallow CNN(M_m) 학습 → prediction history로 noise on not 구분하는 모델
6. 해당 CNN으로 실제 hard data에 적용, hard, noise data 구분

 

그 다음은 sample dividing optimization 과정

앞서 구분한 data들의 weight를 정하는 과정이라고 볼 수 있다.

 

 

w_ip는 앞서 학습한 M_m classifier로 정해짐

 

 

w_it는 training loss기반 GMM으로 구함

 

최종적으로 w_ip와 w_it를 적용

 

그 다음은 pseudo label를 정제하는 과정

 

여기서는 square matrix T를 활용해서 pseudo-label이 ground truth와 근접하게 만들 수 있다고 생각

 

 

T의 경우 easy set에서 구할 수 있다. Easy set에서 class prediction의 분포를 의미

이를 고려하여 pseudo label을 한번 보정한다.

 

최종 label은 위와 같이 사용, 실제 label + refined pseudo label

 

최종 loss

 

label set: easy + hard → cross entropy

unlabel set: noise → MSE

 

Experiment result