Meta Label Correction for Noisy Label Learning

AAAI 2021, 139회 인용

 

Introduction

 

 

기존 label reweighting 방식에서는 잘못된 label을 바로 잡는데 문제가 있음

본 논문에서 meta label correction (MLC)를 사용하여 이러한 문제를 해결

여기서 meta learning 사용, 즉 noise label를 clean label로 바꿔주는 모델을 같이 학습하여 성능을 개선

소량의 clean data가 있는 상황에서 진행한다.

 

Proposed method

 

 

Label correction network (LCN) 사용

입력으로 h(x): image feature (main network와 별개)와 noisy label을 사용

1. LCN을 통해 입력 이미지(noisy data)에 대한 corrected label 생성
2. 해당 이미지를 main network를 통과시켜 label 예측
3. Corrected label과 prediction label 사이의 loss 계산
4. 해당 loss로 main classifier 업데이트
5. 업데이트된 main classifier로 clean data에 대해 label prediction
6. label prediction과 clean label과의 loss 계산
7. 해당 loss로 LCN 업데이트

LCN에 사용되는 loss

 

w_alpha의 경우 argmin을 구하려면 loss가 수렴할때 까지 SGD를 여러번 반복해야 함.

이는 너무 오래 걸리니 one step만 사용

 

근데 alpha의 정확도는 w_alpha의 정확도가 높아야 같이 높아지기 때문에 one step은 너무 error가 많다고 생각

 

따라서 실험적으로 여러 step을 반복하는게 좋음 (1~10 사이)

근데 여러 step을 하려면 아래와 같은 단점
(it also results in longer dependencies over the past k iterations, which requires caching k copies of the model parameters w)

이를 극복하기 위해 아래와 같이 식을 정리

 

결론은 k-step에 대한 gradient를 한번에 구하는 방법 (물론 approximation 결과)

 

Experiment result

 

Dataset statistic

 

기존 MW-Net 보다 좋은 성능을 보여줌

 

Noise-level이 클때는 K-step을 많이 볼수록 좋은 성능을 보여줌