반응형 boosting5 [분석 방법론] Ensemble Learning(9) - CatBoost 본 포스팅은 고려대학교 산업경영공학부 강필성 교수님의 [Korea University] Business Analytics (Graduate, IME654) 강의 중 04-9: Ensemble Learning - CatBoost 영상을 보고 정리한 내용입니다. 0. GBM 요약 - 순차적으로 모형을 만들어 감, t 번째 부스팅 모형은 t-1까지 누적된 부스팅 모형에, 현재 t 시점에서의 모형 \(h^t\)에 가중치 \(\alpha\)를 곱하여 더하여 도출 - \(h^t\)는 정답값과 추정 값에 대하여 expectation loss를 최소화 하는 함수 h를 의미 - \(h^t\)는 loss functiond의 -gradient, \(-g^t(x,y)\)로 근사 가능 - least squares approxi.. 2023. 1. 1. [분석 방법론] Ensemble Learning(8) - LightGBM 본 포스팅은 고려대학교 산업경영공학부 강필성 교수님의 [Korea University] Business Analytics (Graduate, IME654) 강의 중 04-8: Ensemble Learning - LightGBM영상을 보고 정리한 내용입니다. 1. LightGBM Idea - 기존 GBM 알고리즘은 1) 모든 feature에 대해, 2) 모든 객체(data instance)를 스캔하여 information gain을 추정하는 방식으로 가능한 split point들을 탐색 - 앞서 살펴봤던 XGBoost에서는 객체들을 "bucket"으로 구분하여 2) 모든 객체를 스캔 하는 부담을 줄였음 - LightGBM에서는 1) 모든 feature에 대해 스캔하는 부담을 줄이기 위해 "Exclusive.. 2023. 1. 1. [분석 방법론] Ensemble Learning(6) - Gradient Boosting Machine(GBM) 본 포스팅은 고려대학교 산업경영공학부 강필성 교수님의 [Korea University] Business Analytics (Graduate, IME654) 강의 중 04-6: Ensemble Learning - Gradient Boosting(GBM) 영상을 보고 정리한 내용입니다. 1. Gradient Boosting 개요 - Gradient Descent : gradients를 이용해서 학습 - Boosting : weak model을 점진적으로 개선 - Regression, Classification, Ranking 문제에 모두 적용 가능 - Original GBM으로부터 XGBoost, LightGBM, CatBoost 파생 2. Gradient Boosting Idea - Regression에서.. 2022. 12. 28. [분석 방법론] Ensemble Learning(7) - XGBoost 본 포스팅은 고려대학교 산업경영공학부 강필성 교수님의 [Korea University] Business Analytics (Graduate, IME654) 강의 중 04-7: Ensemble Learning - XGBoost 영상을 보고 정리한 내용입니다. 1. XGBoost 개요 - 어떻게 하면 original Gradient Boosting보다 빠르고, 더 많은 용량을 처리할 수 있을까? - 근사 기법을 적용함에 따라 GBM에 비해 약간의 성능 저하가 있을 수 있지만, 더 빠르게, 더 많은 데이터를 처리할 수 있음, 병렬 처리도 가능함 2. Split Finding Algorithm - Exact greedy algorithm : + 모든 가능한 split point를 탐색하기 때문에, 언제나 opt.. 2022. 12. 28. [분석 방법론] Ensemble Learning(5) - Adaptive Boosting(AdaBoost) 본 포스팅은 고려대학교 산업경영공학부 강필성 교수님의 [Korea University] Business Analytics (Graduate, IME654) 강의 중 04-5: Ensemble Learning - Adaptive Boosting(AdaBoost) 영상을 보고 정리한 내용입니다. 1. AdaBoost Idea - random guessing보다 약간 더 잘하는 week model에 대하여, 앞선 모델이 잘 풀지 못했던 어려운 case에 가중치를 부여해서(reweight) 결국에는 strong model을 만들고자 함 - 모델 학습은 순차적으로 진행 - 분류 모델이라면 오분류된 example, 회귀 모델이라면 오차가 큰 example 을 찾아서, 새로운 training set에서 해당 exam.. 2022. 12. 12. 이전 1 다음 반응형
