Reduksi dimensi menggunakan PCA Dimensionality Reduction Satu pendekatan

Reduksi dimensi menggunakan PCA

Dimensionality Reduction • Satu pendekatan terkait dengan dimensi yang tinggi adalah mengurangi dimensi data tersebut. • Memproyeksikan data dimensi tinggi ke dimensi yang rendah menggunakan transformasi linier dan non-linier 2

Dimensionality Reduction • Transformasi linier adalah sederhana dalam perhitungan dan mudah dilakukan kx 1 kxd dx 1 (k<<d) • Pendekatan yang sederhana adalah – Principal Component Analysis (PCA) – Fisher Discriminant Analysis (FDA) 3

Principal Component Analysis (PCA) • Setiap teknik reduksi dimensi adalah menemukan transformasi yang memenuhi ketentuan/kriteria tertentu (misal information loss, data discrimination, dll) • Tujuan dari PCA adalah mengurangn dimensi data dengan mempertahankan variasi data yang ada 4

Principal Component Analysis (PCA) • Carilah basis dalam sub ruang dimensi rendah − Proyeksikan ke ruang dimensi yang rendah : (1) Original space : (2) Lower-dimensional sub-space dinyatakan • Note: if K=N, then 5

Principal Component Analysis (PCA) • Contoh (K=N): 6

Principal Component Analysis (PCA) • Information loss − Reduksi dimensi menyebabkan informasi hilang !! − PCA mempertahankan informasi: 7

Principal Component Analysis (PCA) • Methodology − misalkan x 1, x 2, . . . , x. M adalah N x 1 vectors 8

Principal Component Analysis (PCA) • Metodologi – cont. 9

Principal Component Analysis (PCA) • Eigenvalue spectrum K λi λN 10

Principal Component Analysis (PCA) • Tranformasi linier dengan PCA − Transformasi linier RN RK yaitu melakukan reduksi dimensi 11

Principal Component Analysis (PCA) • Interpretasi Geometri −. 12

Principal Component Analysis (PCA) • Berapa banyak Principal Component? − Untuk memilik K, anda dapat menggunakan kriteria berikut: 13

Principal Component Analysis (PCA) • Error karena reduksi dimensi: • average error karena reduksi dimensi adalah: 14