DATA WAREHOUSE The Building Blocks Achmad Yasid S

DATA WAREHOUSE (The Building Blocks) Achmad Yasid, S. Kom

Agenda 1. 2. 3. 4. 5. Review Definisi Data warehouse Feature Data warehouse Vs Data Mart Komponen/Building Block Data warehouse Pengenalan Metadata

1. Review Definisi Datawarehouse

Review Definisi Data warehouse : � Information Delivery System • Mengintegrasikan, transformasi data-data corporate kedalam format informasi yang tepat untuk kebutuhan pembuatan keputusan strategis • Caranya : �Mengambil semua data histori persh dari semua sistem OLTP (data internal) �Mengkombinasikan data internal dan data external persh yang relevan. �Menghilangkan conflik akibat perbedaan format data, perbedaan system, description, encoding, unit kemudian mentransformasikannya kedalam format yang baku

Oleh karena itu : Butuh Komponen / building block

2. Feature Datawarehouse

Sebelum membahas building block lebih jauh kita review definisi Datawarehouse terlebih dahulu Bill Inmon : “A Data Warehouse is a subject oriented, integrated, nonvolatile, and time variant collection of data in support of management’s decisions. ”

Sean Kelly : The data in the data warehouse is: � Separate � Available � Integrated � Time stamped � Subject oriented � Nonvolatile � Accessible

Subject-Oriented Data �OLTP • Data set disimpan pada sebuah aplikasi individu • Menyediakan data untuk semua fungsi organisasi (entering order, checking stock, verifying custumer’s credit dll) • Individual data mendukung individual aplikasi

Subject-Oriented Data �Pada datawarehouse data disimpan berdasarkan subjek (business subjek), bukan berdasarkan aplikasi �Manufaktur sales, pengiriman, inventori adalah critical business subjects.

Subject-Oriented Data �Subjek �Aplikasi

Integrated Data

Integrated Data perlu distandarkan : Sales Format Description Unit Encoding Key Text Nama pelanggan U. N. I. J. O. Y. O Tinggi centimeter Sex Yes = Laki-laki No = Perempuan Inventori Key Integer Nama pelanggan UNIJOYO Tinggi meter Sex L = laki-laki P = Perempuan Transaksi Penjualan Key Yes/No Nama pelanggan Universitas Trunojoyo Tinggi inch Sex 1 = Laki-laki 0 = Perempuan

Time-Variant Data Operasional : • Data pada saat ini (current value) Datawarehouse : • Analisa data pada masa lampau • Informasi pada saat ini • Forecast untuk masa yang akan datang

Nonvolatile Data Operasional : � Add, change, delete data pada sistem operasional secara real time setiap transaksi terjadi Datawarehouse � Update ketika kita perlukan saja, bisa secara periodik Data pada DW dikuhusukan untuk query dan analisa data

Nonvolatile Data

Data Granularity

3. Data warehouse Vs Data mart

Data warehouse Vs Data mart Data Mart adl bagian/subset dari data warehouse yang sederhana (bag. Unit 2 terkecil), lebih cepat bekerja

Metode untuk membangun DW �Top Down, overall data warehouse feeding dependent data marts �Bottom Up, several departmental or local data marts combining into a data warehouse.

4. Komponen/Building Block Data warehouse

Komponen/Building Block Data warehouse

Komponen/Building Block Data warehouse Source data : � Production Data data operasional � Internal Data spreadsheets, dokumen, Profil pelanggan, dan database departemen persh. � Archived Data data operasional yang telah disimpan � External Data data statistik, penelitian dari agenci luar, market share competitor, indikator financial standar, dll persh.

Komponen/Building Block Data warehouse �Data staging component : dari berbagai SO + eksternal data disimpan pd DW yg hrs dirubah/disamakan formatnya shg dpt disimpan u/ query & analisa ada 3 komponen : 1. Ekstraksi data 2. Transformasi data, 3. Loading data (ETL)

Komponen/Building Block Data warehouse Data Storage Component Repository data warehouse terpisah dengan repositori sistem operasional Sistem Operasional mendukung “day-to-day operation” (OLTP) Data warehouse data histori yang besar untuk kebutuhan analisa data.

Komponen/Building Block Data warehouse

Komponen/Building Block Data warehouse Information Delivery

Komponen/Building Block Data warehouse Siapa yang membutuhkan data ? �Novice User �Casual User �Business Analyst �Power User

Komponen/Building Block Data warehouse KOMPONEN METADATA Metadata dalam Data Ware. House = Kamus Data/ Data Katalog dalam DBMS (Database Management System)

Komponen/Building Block Data warehouse �Meta • • data Informasi tentang logical struktur data Informasi file dan alamatnya Informasi index Dll Intinya • Meta data = data mengenai data pada data warehouse

Komponen/Building Block Data warehouse KOMPONEN MANAJEMEN DAN KONTROL Komponen ini mengkoordinir servis dan aktivitas dalam data warehouse. Komponen ini berhubungan dengan komponen metadata untuk melakukan fungsi kontrol Metadata adalah sumber informasi bagi modul manajemen

5. Pengenalan Metadata

Pengenalan Metadata TIPE-TIPE METADATA OPERASI METADATA EKSTRAKSI DAN TRANSFORMASI METADATA END – USER METADATA

Pengenalan Metadata OPERASI METADATA Terdiri dari semua informasi tentang data sumber Proses: Pilih data dari sistem sumber untuk data warehouse, pisah recordnya, gabungkan bagian record dengan file sumber lainnya, dan berhasil dengan skema multiple coding dan panjang field

Pengenalan Metadata EXTRAKSI DAN INFORMASI METADATA Terdiri data dari data extraksi data dari sistem sumber, yaitu: Extraction frequencies Extraction method Business rules untuk data extraction

Pengenalan Metadata END-USER METADATA Adalah Peta Navigasi pada data warehouse

Pengenalan Metadata FUNGSI METADATA Menggabungkan semua bagian pada data warehouse Menyediakan informasi tentang isi dan struktur pada pengembang Membuka pintu bagi end - user dan membuat isi yang dapat dikenal oleh mereka.