Machine Learning - Arcing

Arcing에 대해 정의하고 설명하는 블로그를 왜 못 찾겠지... 

(쉽게 설명한 Figure같은 것도 없다.)

나중에 발표 끝나면 추가적으로 기술하리라 (아마도)

 

• Arcing (Adaptive Resampling and Combining), Breiman(1996)
  • https://www.stat.berkeley.edu/users/breiman/arcall96.pdf
  • https://www.stat.berkeley.edu/users/breiman/arc97.pdf  
  • 선택한 데이터를 학습에 재사용함
  • Adaboost와 연관

특허 내용에서 Arcing에 대한 설명을 발췌함

-> https://patents.google.com/patent/KR20090093174A/ko

KR20090093174A - 지하수오염 취약성 평가방법 및 그 시스템 - Google Patents

 

Arcing(Adaptive Resampling and Combining)기법은, 학습자료로부터 K개의 Bootstrap resample을 추출한 뒤, 이를 이용한 분류기를 생성하고, 그 결과를 다음번 Bootstrap Resample을 추출하는데 적용하는 방법으로 진행된다.

즉, 분류기의 성능에 따라 Weighted voting 실시하며, 이전 Bootstrap sample에서 오분류된 관찰치는 가중치를 높게 주어서, 다음 bootstrap sample시에 선택되도록 하는 확률을 높여 줌으로써 이전에 오분류된 관찰치를 정분류할 가능성이 높은 분류기 생성하도록 하는 기법으로서, 일반적으로 Arcing은 많은 선행연구에서 Bagging보다 더 좋은 분류결과를 보인다.

Arcing 기법의 자세한 진행순서는 다음과 같다.

< step1 >

Training 데이터의 있는 N개의 값측치에서 각 관측치가 추출될 확률을 P(i)=1/N으로 같은 값을 적용하여 Bootstrap resample을 실시(i=1,2,...,N)한다.

< step2 >

N개의 관측치를 가지는 k번째 Bootstrap resample로 학습된 분류기 Ck(X)를 형성(X=입력변수)한다.

< step3 >

i번째 경우에 대해 분류기 Ck(X)를 이용하여 분류한 결과가 오분류되었을 경우, 1의 값을, 정분류 되었을 경우 0의 값을 갖는 더미변수 d(i)를 정의한다.

< step4 >

분류기 Ck(X)의 오분류율 εk와 P(i)를 갱신하는데 필요한 값 βk를 아래와 같은 수학식 5에 근거하여 계산한다.

 

만일, k번째 스텝(step)의 오분류율 εk가 0이거나 1/2보다 크면, P(i)=1/N이며, 스텝(step) 1에서 시작한다.

< step5 >

값 βk를 바탕으로 k+1번째 bootstrap resample에서 관측치 I가 샘플링될 확률을 다음 수학식 6과 같이 계산한다.

 

< step6 >

이와 같은 과정을 K번 반복한 후, 각 분류기의 분류결과에 log(βk)의 가중치를 주어 가중 평균한 값을 취하게 된다.