Learning to Purify Noisy Labels via Meta Soft Label Corrector

AAAI 2021, 44회 인용

 

이전 발표한 MLC와 비슷한 컨셥, meta learning 사용

 

Analysis of the existing label correction methods

 

t+1 step에서 loss 계산은 t step에서의 prediction값과 noisy label를 같이 고려함

 

또는 이전 q epoch의 prediction 결과의 평균값을 label로 사용하기도 함

 

이러한 방식은 low quality of new soft label 때문에 error가 누적되는 결과를 가져옴, 성능 저하

 

Proposed method

 

기존 MLC의 컨셉

기존 label corrector의 경우 noisy label과 image feature를 입력으로 하는 모델 구성

제안하는 label corrector의 경우 입력으로 noisy label, prediction result(main network), 이전 step의 label corrector 결과가 사용된다.

 

label corrector 모델 구성

2개의 형태의 파라미터로 구성

 

이전 Meta learning과 유사, 추가적으로 w step 업데이트하는 과정이 1 step 추가됨

 

 

clean data 에서 계산된 loss가 label corrector(theta)에 전파 (이전 MLC과 유사)

이후 업데이트된 theta로 한번 더 main network weight를 업데이트

 

Experiment result

 

좋은 성능을 보여줌

 

Corrected label 결과