Estimating Instance-dependent Bayes-label Transition Matrix using a Deep Neural Network

ICML 2022, 31회 인용

 

Preliminaries

 

 

IDN을 기반으로 noisy가 추가되었다고 가정

noisy rate의 upper bound가 있다고 가정 (해당 논문에서는 해당 값을 실험적으로 정의)

학습 데이터는 noisy distribution에서 sampling 되었다고 가정

 

 

실제 확인할수는 없지만 noisy가 없는 이상적인 data 정의

 

 

이전 논문에서 distilled data와 동일한 개념

 

Proposed method

Bayes-label transition matrix

 

 

distilled label이 noisy label로 될 확률을 matrix로 정의

만약 해당 matrix를 구할수 있다고 하면

noisy label에 대한 prediction으로 distilled label(clean label)을 구할 수 있다. (역행렬 사용)

 

Collecting Bayes Optimal Label

 

이전 논문에서 사용한 방식과 동일

 

 

noisy rate upper bound를 통해 계산

결과적으로 distilled data를 선별하는 과정

 

Bayes Label Transition Network

 

앞서 선별한 distilled data를 활용

 

 

해당 loss를 통해 transition matrix를 학습한다.
여기서 우리는 noisy label과 distilled label(clean label)을 알고 있기 때문에 둘 사이의 transition matrix를 구하는게 가능

 

Classifier Training with Forward Correction

 

이렇게 구한 transition matrix를 활용하여 실제 classifier 학습

 

 

 

 

Experiment result

 

 

기존 보다 성능이 좋음

-V의 경우 transition matrix를 한번 더 tuning 하는 느낌

Are anchor points really indispensable in label-noise learning 해당 논문 참고, 보진 못했음…

 

 

distilled dataset으로만 학습

해당 모델로 noisy dataset을 relabeling 한 이후 다시 학습

결과적으로 transition matrix 사용한 방법이 제일 성능이 좋음

 

 

noisy rate upper bound값에 따른 성능 비교

ground-truth transition matrix와 estimated transition matrix 사이의 error 비교

제안한 matrix가 기존 방식보다 좋은 matrix를 찾는다.