ARSITEKTUR DATA WAREHOUSE Oleh Rahmat Robi Waliyansyah M

ARSITEKTUR DATA WAREHOUSE Oleh : Rahmat Robi Waliyansyah, M. Kom.

PERBEDAAN AKTIFITAS DATA WAREHOUSE DAN OLTP

PENGERTIAN ARSITEKTUR DATA § Arsitektur data warehouse adalah sekumpulan produk yang saling berintegrasi yang mampu untuk melakukan proses ekstraksi dan transformasi data operasional untuk dimasukkan ke dalam basisdata agar end-user dapat melakukan analisis dan mengambil laporan. § Arsitektur data untuk data warehouse mempunyai komponen utama yaitu read-only database. § Tujuannnya : Meningkatkan kualitas dan akurasi informasi bisnis dan mengirimkan informasi ke pemakai dalam bentuk yang dimengerti dan dapat diakses dengan mudah.

Karakterisitik arsitektur data warehouse 1. Data diambil dari sistem asal (sistem informasi yang ada), database dan file. 2. Data dari sistem asal diintegrasikan ditransformasi sebelum disimpan ke dalam Database Management System (DBMS) seperti Oracle, Ms. SQL Server, Sybase dan masih banyak yang lainnya. 3. Data warehouse merupakan sebuah database terpisah bersifat hanya dapat dibaca yang dibuat khusus untuk mendukung pengambilan keputusan. 4. Pemakai mengakses data warehouse melalui aplikasi front end tool.

Infrastruktur data warehouse �Merupakan software, hardware, pelatihan dan komponen-komponen lainnya yang memberikan dukungan yang dibutuhkan untuk mengimplementasikan data warehouse �Salah satu instrumen yang mempengaruhi keberhasilan pengembangan data warehouse adalah pengidentifikasian arsitektur mana yang terbaik dan infrasruktur apa yang dibutuhkan. �Arsitektur yang sama, mungkin memerlukan infrastruktur yang berbeda.

BERIKUT INI ADALAH TIGA JENIS TIPOLOGI DATA WAREHOUSE : 1. Functional Data Warehouse (Data Warehouse Fungsional) • Keuntungan dari bentuk DW seperti ini adalah sistem mudah dibangun dengan biaya relative murah • Kerugiannya adalah resiko kehilangan konsistensi data dan terbatasnya kemampuan dalam pengumpulan data bagi pengguna.

2. DATAWAREHOUSE (DATA WAREHOUSE TERPUSAT) • Keuntungan dari bentuk ini adalah data benar-benar terpadu karena konsistensinya yang tinggi • Kerugiannya adalah biaya yang mahal serta memerlukan waktu yang cukup lama untuk membangunnya.

3. Distributed Data Warehouse (Data Warehouse terdistribusi) • Keuntungannya adalah data tetap konsisten karena sebelum data digunakan data terlebih dahulu mengalami proses sinkronisasi. • Kerugiananya kompleks adalah untuk lebih diterapkan karena sistem operasi dikelola secara terpisah & juga biayanya yang paling mahal dibandingkan dengan dua bentuk data warehouse lainnya

ARSITEKTUR WAREHOUSE DAN KOMPONEN DATA

Operasional Data Berfokus pada fungsi-fungsi transaksional Merupakan Detail, bagian dari infrastruktur perusahaan tidak ada redudansi, dapat diupdate Merefleksikan nilai sekarang

Operasional Data Store • Tempat penyimpanan sementara dari data operasional saat ini • Menyuplai data yang sudah diekstrak dari sistem sumber dan dibersihkan • Menyederhanakan proses integrasi dan restrukturisasi data di data warehouse

Load Manager Menampilkan semua operasi yang terkait dengan ekstrak dan load data ke dalam data warehouse Data bisa diekstrak langsung dari sumber data atau ODS

WAREHOUSE MANAGER Menampikan semua operasi yang terkait dengan manajemen data dari data warehouse : Ø Analisis data untuk menjamin konsistensi Ø Transformasi dan penggabungan sumber data dari ODS ke table data warehouse Ø Pembuatan indeks dan view pada table base Ø Membuat Denormalisasi dan Agregasi, jika diperlukan Ø Backing up dan Archiving Data

Query Manager • Menampilkan semua operasi yang terkait dengan manajemen query pengguna • Mengarahkan query pada table yang cocok • Menjadwalkan pelaksanaan query

Detailed Data Komponen yang menyimpan detail data dalam skema database : 1. Current Detail Data adalah Langsung dari operasional database dan mengacu pada data perusahaan sekarang contoh : profil pelanggan, data aktivitas pelanggan, data sales, data demografis 2. Old Detail Data à Current Detail Data yang berumur atau histori dari subyek area

Lightly dan Highly Summarized Data • Menyimpan semua data Lightly dan Highly Summarized yang sudah terdefinisi sebelumnya yang dibuat oleh Warehouse Manager • Tujuan : meningkatkan performance query

Menyimpan Detailed Data dan Summarized Data dengan tujuan mengarsip dan melakukan backup BACK UP DATA/ARCHIVE DATA

Metadata § Digunakan untuk membangun, memelihara, mengatur, dan menggunakan data warehouse. § Mengandung lokasi dan deskripsi : 1. Komponen data warehouse (nama, definisi, struktur, dan isi dari data warehouse dan end user view) 2. Identifikasi dari pembuat sumber data (record system) 3. Aturan-aturan integrasi dan transformasi yang digunakan untuk mempopulasikan data warehouse 4. Histori dari update dan refresh data warehouse 5. Pola-pola matriks yang digunakan untuk performa menganalisa data

End User Access Tools • Komponen yang menyediakan informasi dari data warehouse membantu mengambil keputusan yang ada bagi user dalam • Tools mencakup : 1. Reporting dan Query Tool Reporting : Menghasilkan laporan operasional yang teratur Query : Relasi data warehouse untuk dapat menerima SQL atau untuk menghasilkan pernyataan SQL agar dapat melakukan query pada data yang disimpan dalam data warehouse 2. Application Development Tools Dirancang untuk kebutuhan Client Server 3. Executive Information System (EIS) Tool Mendukung pengambilan tingkat tinggi

End User Access Tools (Lanjutan) 4. OLAP Tool Konsep multidimensi Mengizinkan pengguna untuk menggunakan view yang kompleks menganalisis data 5. Data Mining Tool Proses menemukan korelasi, pola, dan gaya baru yang bermanfaat dengan ‘menggali’ data dalam jumlah yang banyak dengan menggunakan teknik statistika dan matematika

Arsitektur Data warehouse Kimball dengan Linked Dimensional Data mart

ARSITEKTUR DATA WAREHOUSE DAN LINDSTEDT DATA VAULT

Arsitektur Dasar Data Warehouse • User dapat secara langsung mengakses data yang diambil dari beberapa source melalui data warehouse. • Metadata dan raw data dari OLTP terdapat didalamnya, dan sebagai tambahan di dalam Warehouse terdapat summary data. • Summary data ini sangat berguna dalam data Warehouse karena mereka melakukan perhitungan yang kompleks sebelumnya. • Sebagai contoh, data warehouse melakukan query untuk mendapatkan data sales di bulan Agustus.

Arsitektur Data Warehouse dengan menggunakan Staging Area • Pada arsitektur ini dapat dilakukan dengan menggunakan program, meskipun hampir semua warehouse menggunakan data staging area didalamnya. • Staging area menyederhanakan proses pembuatan summary dan management umum. warehouse secara

ARSITEKTUR DATA WAREHOUSE DENGAN MENGGUNAKAN STAGING AREA DAN DATA MART • Dapat mengkustomisasi arsitekturnya yang disesuaikan dengan kebutuhan organisasi. • Hal ini dimungkinkan dengan menambahkan data mart. • Data mart merupakan subset dari data resource, biasanya berorientasi untuk suatu tujuan yang spesifik atau subjek data yang didistribusikan untuk mendukung kebutuhan bisnis. • Sebagai contoh data purchasing, sales, dan inventory dapat di pisahkan dalam masing cube. Dalam contoh ini seorang analis keuangan dapat menganalisa histori data untuk purchases dan sales

Aliran informasi data warehouse ada 5 macam yaitu : – Inflow Proses yang terkait dengan extraction, cleansing, dan loading data dari sistem sumber kedalam data warehouse. – Outflow Proses yang terkait dengan ketersediaan data untuk end-users. – Upflow Proses yang terkait dengan penambahan nilai pada data dalam warehouse melalui peringkasan (summarizing), pemaketan (packaging), dan penyebaran (distributing) data.

Aliran informasi data warehouse ada 5 macam (Lanjutan) : • Downflow Proses yang terkait dengan pengarsipan dan backingup/recovery data dalam warehouse. • Metaflow Proses yang terkait dengan pengaturan meta-data, yaitu bagaimana data dipindahkan kedalam atau keluar dari warehouse.

Perbedaan data warehouse dan data mining Teknologi data warehouse digunakan untuk melakukan OLAP (On-line Analytical Processing), sedangkan data mining digunakan untuk melakukan information discovery