리샘플링(resampling)은 훈련 셋에서 반복적으로 샘플을 뽑아 각 샘플을 모델에 재적합(refit)하는 것을 말한다. 리샘플링을 통해 모델에 딱 한 번만 적합시켰을 때는 얻을 수 없는 정보들을 얻을 수 있다. 예를 들어, 선형 회귀에서 적합의 변산도(variability)를 추정할 수 있다. 이번 장에서는 가장 흔히 사용되는 리샘플링 방법인 교차검증(cross-validation)과 부트스트랩(bootstrap)에 대하여 알아본다. 이러한 리샘플링 방법은...
[Read More]
ISL 4. Classification
An Introduction to Statistical Learning
이번 장에서는 질적(범주적) 반응변인을 예측하기 위하여 사용되는 분류(classification)에 대하여 공부한다. 즉, 어떤 관측치를 하나의 범주나 클래스에 할당하는 방법으로, 이번 챕터에서는 먼저 로지스틱 회귀(logistic regression), 선형 판별 분석(linear discriminant analysis)에 대하여 학습한다. 이후 챕터들에서 일반화 가법 모형(generalized additive model), 트리 기반 모델, 랜덤 포레스트, 부스팅, SVM 등의 더 많은 분류 기법에...
[Read More]
ISL 3. Linear Regression
An Introduction to Statistical Learning
이번 장에서는 지도 학습의 가장 간단한 방법인 선형 회귀에 대하여 학습한다. 가장 단순한 모델이기 때문에 실제로 머신러닝에서 활용될 일은 많지 않지만 다른 방법들을 배우기 위한 기초가 되기 때문에 꼼꼼히 학습할 필요가 있다. 먼저 예측변인이 하나인 경우에서 사용되는 단순 선형 회귀를 학습한다. 회귀 계수를 추정하기 위한 최소자승법, 계수 추정값의 표준오차 및...
[Read More]
ISL 2. Statistical Learning
An Introduction to Statistical Learning
이번 장에서는 먼저 통계 학습의 정의에 대하여 배우고, 예측과 추론이라는 통계 학습의 두 가지 목적에 대하여 공부한다. 예측의 정확도와 추론의 용이성 사이에는 트레이드오프가 존재한다. 통계 학습에는 모수적 방법과 비모수적 방법이 있다. 두 번째 절에서는 회귀와 분류 상황에서 모델의 적합도를 평가하는 방법에 대하여 공부한다. 회귀에서는 MSE가, 분류에서는 오류율이 흔히 사용되는 척도이다....
[Read More]
ISL 1. Introduction
An Introduction to Statistical Learning
지난 3월부터 6월까지 Gareth James, Daniela Witten, Trevor Hastie와 Robert Tibshirani의 An Introduction to Statistical Learning을 공부하였다. 공부한 내용을 잊어 버리기 않기 위해 깃헙 블로그에 한 챕터씩 내용을 정리해 포스팅해보고자 한다. 혹시라도 이 글을 읽는 누군가에게 작은 도움이 되길 바라며. 통계 학습이란? 통계 학습(statistical learning)은 데이터를 이해하기 위한 방대한 기법을...
[Read More]