반응형 배깅3 [분석 방법론] Ensemble Learning(5) - Adaptive Boosting(AdaBoost) 본 포스팅은 고려대학교 산업경영공학부 강필성 교수님의 [Korea University] Business Analytics (Graduate, IME654) 강의 중 04-5: Ensemble Learning - Adaptive Boosting(AdaBoost) 영상을 보고 정리한 내용입니다. 1. AdaBoost Idea - random guessing보다 약간 더 잘하는 week model에 대하여, 앞선 모델이 잘 풀지 못했던 어려운 case에 가중치를 부여해서(reweight) 결국에는 strong model을 만들고자 함 - 모델 학습은 순차적으로 진행 - 분류 모델이라면 오분류된 example, 회귀 모델이라면 오차가 큰 example 을 찾아서, 새로운 training set에서 해당 exam.. 2022. 12. 12. [분석 방법론] Ensemble Learning(4) - Random Forests 본 포스팅은 고려대학교 산업경영공학부 강필성 교수님의 [Korea University] Business Analytics (Graduate, IME654) 강의 중 04-4: Ensemble Learning - Random Forests 영상을 보고 정리한 내용입니다. 1. Random Forests 개요 - bagging 기법의 특수한 형태 - base learner는 decision tree - ensemble의 diversity를 확보하기 위해 bagging 기법을 사용하고, predictor variables(예측 변수)를 랜덤하게 선택함 * base learner가 decision tree인 단순 bagging과 차이가 있음 2. Random Forests 알고리즘 - 총 B개의 decision.. 2022. 12. 12. [분석 방법론] Ensemble Learning(3) - Bagging 본 포스팅은 고려대학교 산업경영공학부 강필성 교수님의 [Korea University] Business Analytics (Graduate, IME654) 강의 중 04-3: Ensemble Learning - Bagging 영상을 보고 정리한 내용입니다. 1. K-fold data split - 데이터 관점의 다양성 확보 - 전체 데이터를 k개의 block으로 구분하고, 1개의 block씩 제외하며 학습 데이터셋을 구성 - 예를 들어, 첫 번째 모델에서는 1~(k-1) block을 학습 데이터셋으로 사용, 두 번째 모델에서는 1~(k-2), k block을 학습 데이터셋으로 사용... k 번째 모델에서는 2~k block을 학습 데이터셋으로 사용함 - \(f_i\)와 \(f_j\)는 (k-2)개의 bl.. 2022. 11. 29. 이전 1 다음 반응형
