Learning from Noisy Labels with Decoupled Meta Label Purifier

CVPR 2023, 6회 인용

 

Introduction

 

기존 meta label learning 방식

Fully supervision + coupled optimization loop

Coupled optimization 방식은 아무래도 sub-optimal 문제
-> 여기서 coupled는 메인 network와 label corrector 사이의 optimization 문제를 말함
-> meta learning 중간에 gradient descent update 도 1 step (많아야 k step) 사용

이를 해결하기위해 self supervision + decoupled optimization 사용

 

 

 

(a) 기존 MLC 방식에서 decoupled 방식 사용한 경우 성능 향상

여기서 decoupled는 우선 noisy data로 main network 먼저 학습(70 epoch) 이후 frozen,

그 다음 label corrector를 clean data로 학습한 경우

이때 label corrector의 성능이 coupled 방식보다 좋음

 

(b) linear probe를 통해 representation 성능 측정

 

(c) 기존 meta learning 방식에서 SimCLR을 통한 구한 weight 사용 + decoupled에 따른 성능 비교

 

Proposed method

 

기존 meta learning 방식

 

제안하는 방식

 

우선 self-supervised learning은 simCLR 사용 하여 feature 학습 (noise-agnostic descriptor)

→ decoupled task

 

이후 Intrinsic primary correction (IPC)와 extrinsic auxiliary correction (EAC)로 구성

 

Intrinsic primary correction

 

simCLR을 통해 좋은 feature representation을 추출했기 때문에 단순히 linear projection을 통해 class를 예측할 수 있다.

이를 통해 noisy label과의 regression 문제로 바꿀 수 있음

이런 경우 optimal한 w은 closed-form solution을 통해 구할 수 있음

 

해당 weight를 통해 clean data에 대한 prediction 결과를 구할 수 있음

이를 통해 loss를 계산하면

 

2번째 텀은 sharpen the predicted label 역할

 

5, 6번 식을 조합하여 gradient로 prediction 결과를 업데이트 할 수 있음

어떻게 보면 여기까지는 main network를 학습하는 방식과 유사

 

Extrinsic Auxiliary Correction

 

simCLR feature에서 추가적인 label corrector를 학습 하려고 함 (noise data로만)

여기서 gt는 IPC에서 나온 결과

해당 loss로 w_c 학습

이후 every T iterations 마다

 

EMA 방식으로 prediction값 업데이트

해당 방식으로 label refinement 완료

그럼 최종 classifier는 어떻게..?

 

Naive classification network with DMLP

: 최종 정제된 label로 새롭게 classifier를 학습한다. (supervised learning)

LNL framework boosted by DMLP

: 최종 정제된 label로 다른 LNL 방식을 사용하여 main classifier를 학습한다.

 

Experiment result

 

DMLP에서 dividemix 사용한 방법이 가장 성능이 좋음 (dividemix 대신 promix를 사용한다면…?)