Class-Dependent Label-Noise Learning with Cycle-Consistency Regularization

NeurIPS 2022, 5회 인용

 

Introduction

 

Noisy label 학습에 transition matrix를 다룬 논문

 

Transition matrix사이의 cycle-consistency를 고려함

 

Proposed method

 

 

clean label과 noisy label 표현

 

Transition matrix는 clean data에서 noisy data로 가는 확률을 나타냄

 

Forward Transition Matrix Estimation

 

따라서 clean label prediction(모델의 prediction으로 생각)에서 transition matrix를 곱해주면 noisy label에 대한 prediction값이 나옴

 

Noisy data에 대한 loss, 여기서 transition matrix도 같이 학습 한다.

여기서 transition matrix는

 

위와 같은 조건을 만족해야 함

다만 이렇게 학습하게 되면 transition matrix가 Identity matrix로 수렴될 확률이 높음

따라서 VolMinNet 에서는 transition matrix의 volume을 최소한 하는 조건을 추가하여 학습하는데 여기서도 이를 그대로 활용
(여기서 volume이란 determinant를 의미하는거 같음)

 

Cycle-Consistency Regularization

 

위와 같은 방법으로 transition matrix의 역행렬도 같이 학습, 이번에는 clean data에 대한 loss.

noisy training sample이 제한적이기 때문에 일반적으로 transition matrix의 신뢰도가 떨어질수밖에 없음,

따라서 transition matrix의 역행렬을 바로 구하는것보단 loss를 통해 학습하는게 더 낫다고 판단

 

앞서 구한 transition matrix와 transition matrix 역행렬을 가지고 loss 계산 (cycle-consistency 고려)

 

전체 loss

 

Experiment results

 

 

loss 적용 방식에 따른 성능 비교

 

 

기존에 CE loss를 사용했던 noisy label 학습 방식에 제안한 방식을 적용한 경우 성능 향상을 보임