NoisyNN: Exploring the Impact of Information Entropy Change in Learning Systems

ICLR 2024 제출

현재 Imagenet classification에서 독보적으로 1위를 찍음

 

Introduction

 

 

일반적으로 노이즈는 모델을 학습하는데 있어서 안좋은 영향을 미친다고 알려져있다.

하지만 노이즈가 학습하는데 있어서 좋은 영향을 미치는 경우는 없을까?

논문에서는 노이즈를 positive noise와 harmful noise로 구분, PN은 task의 complexity를 낮출 수 있다고 주장.

 

Proposed method

 

Conditional entropy

Task에 대한 entropy를 정의.

noise를 추가 했을때 task에 대한 entropy가 떨어지는지 확인

 

entropy 차이가 positive면 그때의 noise는 positive noise, 그렇지 않으면 harmful noise.

 

Task에 대한 entropy는 아래와 같이 정의

먼저 이미지에 noise를 추가한 경우 task에 대한 entropy는 아래와 같이 표현할 수 있다.

 

 

latent space(feature map)에 noise를 추가한 경우 task에 대한 entropy는 아래와 같이 표현할 수 있다.

 

 

여기서 고려하는 noise는 크게 세가지 타입

Gaussian noise, linear transform noise, salt-and-pepper noise

각각의 타입에 대해서 entropy change를 계산
참고로 이미지에 noise를 추가하는 경우는 수식적으로 positive noise가 될 수 없음 (appendix에 증명)
따라서 latent space에 noise를 추가한 경우를 고려

1. Gaussian noise

기존 latent space에 gaussian noise가 추가된 경우

 

 

결론 항상 negative → harmful noise

 

2. Linear transform noise

기존 latent space에 linear transform noise가 추가된 경우

 

여기서 entropy change를 최대화 하는 Q는 아래와 같이 정의할 수 있다.

 

k는 데이터의 개수, 아래와 같은 조건을 만족하는 Q를 구한다.

linear transform noise가 가해지더라도 기존의 dominant한 information은 유지되도록

norm값은 항상 1이 되도록

 

해당 조건을 만족하는 Q를 구해서 적용

 

3. salt-and-pepper noise

결론은 negative, harmful noise.

 

Experiment result

 

아래와 같이 노이즈를 세팅

 

Linear transform noise를 추가한 feature map을 살펴보면, 결국 다른 data의 feature map과의 linear combination한 결과를 도출한다.

 

Linear transform noise를 추가한 경우 성능이 제일 좋다.

 

Noise 정도에 따른 성능 비교

 

확실히 다른 알고리즘 보다 좋은 성능을 보여줌

 

여기서 optimal한 Q를 사용하면

 

근데 optimal한 Q가 의미하는건..

 

이렇게 되면 모든 데이터에 대한 feature map을 uniform하게 linear combination해서 본다는 소리인데..

이렇게 해서 성능이 잘 나온다는게 충격..