심심할때 읽는 논문 심심할때 읽는 논문

arxiv, 55회 인용 Introduction Transformer style의 convolution network 구성이 핵심기존 self attention 부분에서 attention map과 key value사이의 연산과정을k x k depth-wise conv결과와 value 사이의 Hadamard product로 따라해보자.(당연히 완전 같진 않음) Proposed method ConvNets, Swin transformer과 유사하게 4 stage pyramid structure 사용 각각의 module은 아래와 같이 구성 결국 핵심은 attention map(A)를 구하는 과정기존 transformer 방식은 query와 key 사이의 global attention을 구하는 과정이였다면해당 ..

ECCV 2022, 176회 인용 Introduction  기존 ViT의 self-attention이 비효율적임, 이를 dual-attention으로 변경하여 성능 향상 Proposed method 크게 Spatial window multihead attention과 Channel group attention으로 구분 Spatial window multihead attention Swin transformer와 유사patch attention을 계산할때 이미지 전체가 아닌 특정 window 안에서만 비교함당연히 computation 감소 Channel group attention이전 결과를 transpose 하여 attention을 구함즉 spatial domain으로 보던걸 channel domain에..

ICLR 2024 Introduction 기존 ViT에서 인접한 layer 사이의 attention correlation을 비교 해봄생각보다 비슷한 correlation을 가지고 있는 layer들이 많이 있음그럼 굳이 모든 layer에서 self attention을 해야될 필요가 있을까? 본 논문은 skip attention 컨셉을 사용하여, 기존의 불필요한 computation cost를 줄이는데 집중또한 여러 transformer 구조에 쉽게 적용 가능한 장점 실제로 같은 computation cost를 사용했을 때 여러 task에서 좋은 성능을 보여줌 Proposed method Centered Kernel Alignment (CKA) 사용하여 vector 사이의 유사도 측정class token의 ..

ICLR 2024 Introduction Classification 문제를 regression 문제로 해결하려는 시도크게 loss reweighting과 label correction을 시도 본 논문에서는 compositional data와 log-ratio transform이라는 개념을 사용compositional data: 확률과 같이위의 식을 만족하는 vector들의 집합해당 vector들은 constrained variable이기 때문에 여러 연산들을 적용할때 제약이 많음이를 해결하기 위해 unconstrained variable로 transform 시킨 후 원하는 연산을 진행하고 나중에 inverse transform시켜 다시 원래 특성을 유지할 수 있음 (나름 해석하기로는 이와 같이 이해함....

CVPR 2023, 6회 인용 Introduction 기존 meta label learning 방식Fully supervision + coupled optimization loopCoupled optimization 방식은 아무래도 sub-optimal 문제-> 여기서 coupled는 메인 network와 label corrector 사이의 optimization 문제를 말함-> meta learning 중간에 gradient descent update 도 1 step (많아야 k step) 사용이를 해결하기위해 self supervision + decoupled optimization 사용   (a) 기존 MLC 방식에서 decoupled 방식 사용한 경우 성능 향상여기서 decoupled는 우선 no..

AAAI 2021, 44회 인용 이전 발표한 MLC와 비슷한 컨셥, meta learning 사용 Analysis of the existing label correction methods t+1 step에서 loss 계산은 t step에서의 prediction값과 noisy label를 같이 고려함 또는 이전 q epoch의 prediction 결과의 평균값을 label로 사용하기도 함 이러한 방식은 low quality of new soft label 때문에 error가 누적되는 결과를 가져옴, 성능 저하 Proposed method 기존 MLC의 컨셉기존 label corrector의 경우 noisy label과 image feature를 입력으로 하는 모델 구성제안하는 label corrector의..

AAAI 2021, 139회 인용 Introduction  기존 label reweighting 방식에서는 잘못된 label을 바로 잡는데 문제가 있음본 논문에서 meta label correction (MLC)를 사용하여 이러한 문제를 해결여기서 meta learning 사용, 즉 noise label를 clean label로 바꿔주는 모델을 같이 학습하여 성능을 개선소량의 clean data가 있는 상황에서 진행한다. Proposed method  Label correction network (LCN) 사용입력으로 h(x): image feature (main network와 별개)와 noisy label을 사용LCN을 통해 입력 이미지(noisy data)에 대한 corrected label 생성해..

ECCV 2022, 25회 인용 Introduction 기존은 방식은 clean data를 sampling 해보자라는 concept이라면본 논문에서는 noisy data를 filtering 해보자라는 concept다른점이라고 하면, 해당 방식은 boundary data를 좀 더 고려를 많이 할 수 있다.여기서 noisy data를 구별할 수 있는 방법으로, prediction의 history 정보를 활용단순히 fluctuation을 판단하여 noisy 여부를 구별한다.통계를 보면 fluctuation이 많이 발생할수록 noisy일 확률이 높다. Proposed method전체적인 구조Memory bank에는 epoch당 data의 prediction 결과를 저장 (최근 T epoch 정보)noise da..