Classification Decision Trees RuleBased Classifiers Nearest Neighbor Classifiers
강의 내용 Classification 분류 정의와 적용사례 의사결정 트리 (Decision Trees) 규칙기반 분류기 (Rule-Based Classifiers) 인접 이웃 분류기 (Nearest Neighbor Classifiers) 베이지안 분류기 (Bayesian Classifiers) 인공 신경망 (Artificial Neural Networks) 지지도 벡터 머신 (Support Vector Machines) Page 2 Data Mining & Practices by Yang-Sae Moon
척추동물 데이터 집합 Classification 클래스 속성 (타겟 속성) 입력 속성 Page 4 Data Mining & Practices by Yang-Sae Moon
분류 작업의 도식화 Classification Page 5 Data Mining & Practices by Yang-Sae Moon
분류 모델의 평가 Classification 클래스 문제를 위한 혼동 행렬 (confusion matrix) 정확도와 오류율 Page 6 Data Mining & Practices by Yang-Sae Moon
분류 작업의 예제 (2/2) Classification 단백질(protein)의 2차 구조가 alpha-helix인지, beta-sheet인지, random coil인지 분류한다. 신문 기사를 경제, 날씨, 연예, 스포츠 등으로 구분한다. Page 8 Data Mining & Practices by Yang-Sae Moon
분류 기술의 종류 Classification 의사결정 트리 (Decision Trees) 규칙기반 분류기 (Rule-based Classifiers) 인접 이웃 분류기 (Nearest Neighbor Classifiers) 베이지안 분류기 (Bayesian Classifiers) 인공 신경망 (Artificial Neural Networks) 지지도 벡터 머신 (SVM: Support Vector Machines) Page 9 Data Mining & Practices by Yang-Sae Moon
강의 내용 Classification 분류 정의와 적용사례 의사결정 트리 (Decision Trees) 규칙기반 분류기 (Rule-Based Classifiers) 인접 이웃 분류기 (Nearest Neighbor Classifiers) 베이지안 분류기 (Bayesian Classifiers) 인공 신경망 (Artificial Neural Networks) 지지도 벡터 머신 (Support Vector Machines) Page 10 Data Mining & Practices by Yang-Sae Moon
의사결정 트리의 예제 Classification Page 11 Data Mining & Practices by Yang-Sae Moon
의사결정 트리의 다른 예제 Page 12 Classification Data Mining & Practices by Yang-Sae Moon
의사결정 트리의 분류 작업 Page 13 Classification Data Mining & Practices by Yang-Sae Moon
모델을 시험 데이터에 적용 (1/6) Page 14 Classification Data Mining & Practices by Yang-Sae Moon
모델을 시험 데이터에 적용 (2/6) Page 15 Classification Data Mining & Practices by Yang-Sae Moon
모델을 시험 데이터에 적용 (3/6) Page 16 Classification Data Mining & Practices by Yang-Sae Moon
모델을 시험 데이터에 적용 (4/6) Page 17 Classification Data Mining & Practices by Yang-Sae Moon
모델을 시험 데이터에 적용 (5/6) Page 18 Classification Data Mining & Practices by Yang-Sae Moon
모델을 시험 데이터에 적용 (6/6) Page 19 Classification Data Mining & Practices by Yang-Sae Moon
의사결정 트리의 분류 작업 Page 20 Classification Data Mining & Practices by Yang-Sae Moon
의사결정 트리 구축 방법 Classification 헌트 알고리즘 (Hunt Algorithm) 현존하는 대부분 알고리즘의 기초 CART ID 3, C 4. 5 SLIQ, SPRINT. . . Page 21 Data Mining & Practices by Yang-Sae Moon
헌트 알고리즘 Classification Page 23 Data Mining & Practices by Yang-Sae Moon
연속형 속성에 기반한 분할 (2/2) Page 29 Classification Data Mining & Practices by Yang-Sae Moon
정보 이득 (Information Gain) (2/2) Page 37 Classification Data Mining & Practices by Yang-Sae Moon
Gini Index 정의 Classification Page 39 Data Mining & Practices by Yang-Sae Moon
Gini 계산 예제 Classification Page 40 Data Mining & Practices by Yang-Sae Moon
Gini 기반의 분할 Classification Page 41 Data Mining & Practices by Yang-Sae Moon
Gini – 이진 속성의 분할 Classification Page 42 Data Mining & Practices by Yang-Sae Moon
Gini – 명목형 속성의 분할 Page 43 Classification Data Mining & Practices by Yang-Sae Moon
Gini – 연속형 속성의 분할 (1/2) Page 44 Classification Data Mining & Practices by Yang-Sae Moon
Gini – 연속형 속성의 분할 (2/2) Page 45 Classification Data Mining & Practices by Yang-Sae Moon
Entropy 정의 Classification Page 47 Data Mining & Practices by Yang-Sae Moon
Entropy 계산의 예제 Classification Page 48 Data Mining & Practices by Yang-Sae Moon
Entropy 기반 분할 Classification Page 49 Data Mining & Practices by Yang-Sae Moon
분류 에러(Classification Error) 정의 Page 51 Classification Data Mining & Practices by Yang-Sae Moon
분류 에러의 예제 Classification Page 52 Data Mining & Practices by Yang-Sae Moon
의사결정 트리 기반 분류의 장점 Page 55 Classification Data Mining & Practices by Yang-Sae Moon
의사기반 트리 분류의 예제: C 4. 5 Page 56 Classification Data Mining & Practices by Yang-Sae Moon
노이즈에 의한 Overfitting 예제 Page 60 Classification Data Mining & Practices by Yang-Sae Moon
Overfitting 문제의 해결 (1/2) Classification Pre-Pruning (Early Stopping Rule): 트리를 생성하는 중간 과정에서 가지치기 수행 Page 62 Data Mining & Practices by Yang-Sae Moon
Overfitting 문제의 해결 (2/2) Classification Post-Pruning (Early Stopping Rule): 완전한 트리를 생성한 후에 가지치기 수행 Overfitting 등의 추가적 기술적 이슈에 대한 내용은 생략 Page 63 Data Mining & Practices by Yang-Sae Moon
강의 내용 Classification 분류 정의와 적용사례 의사결정 트리 (Decision Trees) 규칙기반 분류기 (Rule-Based Classifiers) 인접 이웃 분류기 (Nearest Neighbor Classifiers) 베이지안 분류기 (Bayesian Classifiers) 인공 신경망 (Artificial Neural Networks) 지지도 벡터 머신 (Support Vector Machines) Page 64 Data Mining & Practices by Yang-Sae Moon
규칙기반 분류기 (Rule-Based Classifier) Page 65 Classification Data Mining & Practices by Yang-Sae Moon
규칙기반 분류기 예제 Classification Page 66 Data Mining & Practices by Yang-Sae Moon
규칙기반 분류기의 적용 Classification Page 67 Data Mining & Practices by Yang-Sae Moon
규칙 적용범위(Coverage)와 정확도(Accuracy) Page 68 Classification Data Mining & Practices by Yang-Sae Moon
규칙기반 분류기의 동작 방법 Page 69 Classification Data Mining & Practices by Yang-Sae Moon
의사결정 트리 규칙 생성 Page 71 Classification Data Mining & Practices by Yang-Sae Moon
(생성된) 규칙의 단순화 Classification Page 72 Data Mining & Practices by Yang-Sae Moon
규칙 단순화에 의한 효과 Classification Page 73 Data Mining & Practices by Yang-Sae Moon
순서화된 규칙 집합 (Ordered Rule Set) Page 74 Classification Data Mining & Practices by Yang-Sae Moon
분류 규칙의 생성 방법 Classification Page 75 Data Mining & Practices by Yang-Sae Moon
직접 방법: 순차적 커버링(Sequential Covering) Page 76 Classification Data Mining & Practices by Yang-Sae Moon
순차적 커버링 예제 Classification Page 77 Data Mining & Practices by Yang-Sae Moon
간접 방법: 의사결정 트리 등 사용 Page 78 Classification Data Mining & Practices by Yang-Sae Moon
규칙기반 분류기의 장점 Classification Page 79 Data Mining & Practices by Yang-Sae Moon
강의 내용 Classification 분류 정의와 적용사례 의사결정 트리 (Decision Trees) 규칙기반 분류기 (Rule-Based Classifiers) 인접 이웃 분류기 (Nearest Neighbor Classifiers) 베이지안 분류기 (Bayesian Classifiers) 인공 신경망 (Artificial Neural Networks) 지지도 벡터 머신 (Support Vector Machines) Page 80 Data Mining & Practices by Yang-Sae Moon
인스턴스 기반 분류기 (1/2) Page 81 Classification Data Mining & Practices by Yang-Sae Moon
인스턴스 기반 분류기 (2/2) Page 82 Classification Data Mining & Practices by Yang-Sae Moon
인접 이웃 분류기 (Nearest Neighbor Classifiers) Page 83 Classification Data Mining & Practices by Yang-Sae Moon
인접 이웃 분류기 개념 Classification Page 84 Data Mining & Practices by Yang-Sae Moon
인접 이웃 분류기 정의 Classification Page 85 Data Mining & Practices by Yang-Sae Moon
1 인접 이웃 (1 -Nearest Neighbor) Page 86 Classification Data Mining & Practices by Yang-Sae Moon
인접 이웃 분류기 이슈 (1/4) Page 87 Classification Data Mining & Practices by Yang-Sae Moon
인접 이웃 분류기 이슈 (2/4) Page 88 Classification Data Mining & Practices by Yang-Sae Moon
인접 이웃 분류기 이슈 (3/4) Page 89 Classification Data Mining & Practices by Yang-Sae Moon
인접 이웃 분류기 이슈 (4/4) Page 90 Classification Data Mining & Practices by Yang-Sae Moon
강의 내용 Classification 분류 정의와 적용사례 의사결정 트리 (Decision Trees) 규칙기반 분류기 (Rule-Based Classifiers) 인접 이웃 분류기 (Nearest Neighbor Classifiers) 베이지안 분류기 (Bayesian Classifiers) 인공 신경망 (Artificial Neural Networks) 지지도 벡터 머신 (Support Vector Machines) Page 91 Data Mining & Practices by Yang-Sae Moon
베이지안 분류기 (Bayesian Classifiers) Page 92 Classification Data Mining & Practices by Yang-Sae Moon
베이스 정리의 예제 Classification Page 93 Data Mining & Practices by Yang-Sae Moon
베이지안 분류기 개념 (1/2) Page 94 Classification Data Mining & Practices by Yang-Sae Moon
베이지안 분류기 개념 (2/2) Page 95 Classification Data Mining & Practices by Yang-Sae Moon
순수 베이지안 분류기 (Naïve Bayes Classifier) Page 96 Classification Data Mining & Practices by Yang-Sae Moon
훈련 집합에서 확률 구하기 (1/3) Page 97 Classification Data Mining & Practices by Yang-Sae Moon
훈련 집합에서 확률 구하기 (2/3) Page 98 Classification Data Mining & Practices by Yang-Sae Moon
훈련 집합에서 확률 구하기 (3/3) Page 99 Classification Data Mining & Practices by Yang-Sae Moon
순수 베이지안 분류기 예제 (1/2) Page 100 Classification Data Mining & Practices by Yang-Sae Moon
순수 베이지안 분류기 예제 (2/2) Page 101 Classification Data Mining & Practices by Yang-Sae Moon
베이지안 분류기 요약 Classification Page 102 Data Mining & Practices by Yang-Sae Moon
강의 내용 Classification 분류 정의와 적용사례 의사결정 트리 (Decision Trees) 규칙기반 분류기 (Rule-Based Classifiers) 인접 이웃 분류기 (Nearest Neighbor Classifiers) 베이지안 분류기 (Bayesian Classifiers) 인공 신경망 (Artificial Neural Networks) 지지도 벡터 머신 (Support Vector Machines) Page 103 Data Mining & Practices by Yang-Sae Moon
인공 신경망 개념 (1/3) Classification Page 104 Data Mining & Practices by Yang-Sae Moon
인공 신경망 개념 (2/3) Classification Page 105 Data Mining & Practices by Yang-Sae Moon
인공 신경망 개념 (3/3) Classification Page 106 Data Mining & Practices by Yang-Sae Moon
인공 신경망의 일반적 구조 Page 107 Classification Data Mining & Practices by Yang-Sae Moon
인공 신경망의 학습 알고리즘 Page 108 Classification Data Mining & Practices by Yang-Sae Moon
강의 내용 Classification 분류 정의와 적용사례 의사결정 트리 (Decision Trees) 규칙기반 분류기 (Rule-Based Classifiers) 인접 이웃 분류기 (Nearest Neighbor Classifiers) 베이지안 분류기 (Bayesian Classifiers) 인공 신경망 (Artificial Neural Networks) 지지도 벡터 머신 (Support Vector Machines) Page 109 Data Mining & Practices by Yang-Sae Moon
SVM (Support Vector Machines) (1/7) Page 110 Classification Data Mining & Practices by Yang-Sae Moon
SVM (Support Vector Machines) (2/7) Page 111 Classification Data Mining & Practices by Yang-Sae Moon
SVM (Support Vector Machines) (3/7) Page 112 Classification Data Mining & Practices by Yang-Sae Moon
SVM (Support Vector Machines) (4/7) Page 113 Classification Data Mining & Practices by Yang-Sae Moon
SVM (Support Vector Machines) (5/7) Page 114 Classification Data Mining & Practices by Yang-Sae Moon
SVM (Support Vector Machines) (6/7) Page 115 Classification Data Mining & Practices by Yang-Sae Moon
SVM (Support Vector Machines) (7/7) Page 116 Classification Data Mining & Practices by Yang-Sae Moon
비선형 SVM (Nonlinear SVM) (1/2) Page 117 Classification Data Mining & Practices by Yang-Sae Moon
비선형 SVM (Nonlinear SVM) (2/2) Page 118 Classification Data Mining & Practices by Yang-Sae Moon
강의 내용 Classification 분류 정의와 적용사례 의사결정 트리 (Decision Trees) 규칙기반 분류기 (Rule-Based Classifiers) 인접 이웃 분류기 (Nearest Neighbor Classifiers) 베이지안 분류기 (Bayesian Classifiers) 인공 신경망 (Artificial Neural Networks) 지지도 벡터 머신 (Support Vector Machines) Page 119 Data Mining & Practices by Yang-Sae Moon
- Slides: 119