새소식

Deep Learning

[draft] Ranking Loss (Pairwise, Triplet)

  • -

Ranking Loss

- 여러 개의 입력 x1, x2,…  , xn 이 주어질 때, 입력 간 상대적인 순위 r(x1), r(x2),…  , r(xn)

- Face Recognition과 같이, class가 수없이 많은 문제를 다룰 때, Softmax는 도움이 되지 않음

 

Pairwise Ranking Loss

- 입력 xi, xj r(xi)>r(xj) 를 만족하면, f(xi)>f(xj) 를 성립하는 실수 함수 f 를 찾는 방법

- 두 입력에 대한 함수값에 차이를 두기 위해, margin = a, a>0 , f(xi)>f(xj)+a

- loss 함수는 f(xi)>f(xj)+a 가 만족되지 않는 경우에만 영향을 미치면 된다.

- max⁡(0, f(xj)+a-f(xi))  

 

Triplet Ranking Loss

Anchor sample : xa , Positive sample : xp , Negative sample : xn

- 3개의 이미지를 선택

- 기준 데이터(Anchor sample)와 근사한 데이터(Positive sample)는 가깝게, 그렇지 않은 데이터(Negative sample)는 멀리 떨어뜨려 분리배치하는 방법

- 기준 이미지와 나머지 두 이미지 사이의 Euclidean Distance를 계산 후 L2 Norm을 적용, 이후 두 distance 사이의 loss 값을 계산

- L(a, p, n)=max⁡(0, D(a,p)-D(a,n)+margin)

'Deep Learning' 카테고리의 다른 글

[draft] Optimization Variants  (0) 2021.05.17
Batch Normalization, 배치 정규화  (0) 2021.05.10
[draft] Forward KL VS Reverse KL  (0) 2021.05.03
[draft] Cross Entropy Loss  (0) 2021.04.05
[draft] Hinge Loss  (0) 2021.04.05
Contents

포스팅 주소를 복사했습니다

이 글이 도움이 되었다면 공감 부탁드립니다.