Murat Bilgin Hakkmda Kdemli Veri Ambar Uzman Generali

Murat Bilgin

Hakkımda • Kıdemli Veri Ambarı Uzmanı / Generali Sigorta • btkulubu. com Kurucu üye • Kitap Yazarı muratbilgin 86@hotmail. com http: //www. muratbilgin. com Murat Bilgin @murat_bilgin

Ajanda • Business Intelligence(BI) Nedir? • Data Warehouse(DW) Nedir? • OLTP vs. OLAP • Dimensional Modelling (Ralph Kimball) • ETL (Extract – Transform – Load) • OLAP Küpleri • Demo (ETL, SSAS OLAP Küpleri)

Business Intelligence(BI) Nedir? • BI, veriyi yararlı bilgi haline dönüştüren nesneler topluluğudur. • BI süreçleri, verilerin toplanmasını, depolanmasını, analiz edilmesini ve son kullanıcının dataya erişmesini sağlayarak, kuruluşun daha iyi iş kararları almasına imkan sağlar. • BI, kuruluşların gözle görülemeyen bilgilerini ortaya çıkararak organizasyonun gelişmesine imkan sağlar.

BI Temel Hedefler • İhtiyaç duyulan tüm veriye erişimi sağlamalı. • Sadece önemli olan veriyi kullanıcıya göstermeli. • Her zaman doğru değerleri göstermeli. • BI sistemi, son kullanıcıların kararlar almak için başvuracağı bir adres haline gelmeli. • Tarihsel veriyi de tutarak geleceğe yönelik tahminler yapabilmemizi sağlayabilmeli.

BI Hakkında Bilinen Yanlışlar • BI sistemlerinin geliştirilip son kullanıcıya sunulması yıllar sürer. • Geliştirme sürecinin zaman ve maliyeti yüksek. • BI sistemlerini sadece büyük bütçeli şirketler kullanabilir. Orta ve küçük boyutlu şirketlerde olması lüks. • BI sistemlerinin, kuruluşları başarıya ulaştıracağına inanılmaması.

BI Yaşam Döngüsü

Data Warehouse(DW) Kavramı • DW, değerli verinin farklı bir ortamda konsolide edilmesiyle oluşan büyük çaplı bir veri deposudur. • DW, veriyi kolay, hızlı ve doğru biçimde analiz etmemizi sağlar. • DW= Karar Destek Sistemi (Decision Support System) • Bir veri ambarı tasarımına başlamadan önce, veri ambarı mimarisinin hedefleri açık ve iyi anlaşılmış olması zorunludur.

DW Tarihi • Bill Inmom 1990’da “Building the Data Warehouse” isimli kitabını yayınlamıştır. • Ralph Kimball 1996’da “Data Warehouse Toolkit” isimli kitap yayınlamıştır. • 2002’de Inmom farklı kaynaklardan zaman varyantlı veri deposu oluşturma tekniklerini kitabında tanıtmıştır. • 2002’de Ralph Kimball birden fazla veri kaynağından beslenen Data Mart’ı tanıtmıştır.

Inmom DW Yaklaşımı • İlişkisel : Veritabanındaki her veri, ilişkili olduğu veriye tam bağımlıdır. • Tarihsel : Veritabanındaki her değişiklik tarihsel olarak izlenir ve kaydedilir. Böylece gelecekte tarihsel raporlar üretilebilir. • Statik : Veritabanına yazılmış bir veri asla silinmez. Veri, gelecekteki raporlamalar için korunur. • Entegre : Veri ambarı, kuruluşun tüm verilerini içeren bir entegrasyonla beslenmelidir. Kimball DW Yaklaşımı • Veri ambarı, özellikle sorgu ve analiz için yapılandırılmış verilerin bir kopyasıdır. • Veri her zaman boyutsal olarak tutulmalıdır.

Dimensional Model • Fact Table : İçerisinde sayısal değerler barındırarak etrafından toplanmış olan boyut tablolarının(dimension table) bağlandığı tablolardır. • Dimension Table : Fact Table’da yer alan Foreign Key’leri temsil eden tablolardır. Product ID : Primary Key (Dimension) ID : Foreign Key (Fact)

Star Schema • Merkezi bir Fact tablosuna direkt bağlı olan çok sayıda Dimension tablosunun oluşturduğu yıldız şeklindeki yapılardır.

Snowflake Schema • Merkezi bir Fact tablosuna bağlı olan çok sayıda dimension tablosuna bağlı, başka dimension tablolarının oluşturulduğu yapılardır.

OLTP (Online Transactional Process) • OLTP = Anlık (Güncel) Veri. • OLTP sistemlerde Insert, Update, Delete gibi DML (Data Manipulation Language) işlemleri sıklıkla gerçekleşmektedir. • OLTP sistemlerinin modellenmesinde normalizasyon kurallarına dikkat edilip veri bütünlüğü (Primary. Foreign Key) sağlanmalıdır.

OLAP (Online Analytical Process) • OLAP, çok boyutlu verilere hızlı bir şekilde bütünleşik olarak erişilmesini sağlayan sistemlerdir. • OLAP, OLTP sistemlerden beslenerek organizasyonun tamamı hakkında çok hızlı bir şekilde bilgi sağlanması amacıyla oluşturulmuş yapılardır. • OLAP = Güncel olmayan (Eski) Veri. • OLAP yapıları çok sık Insert ve Update işlemlerine tabii tutulmazlar. • OLAP sistemlere belirli periyodlarda veri yükleme işlemi yapılır.

OLTP vs OLAP OLTP OLAP Kullanım Şekli Operasyonel İşlemler Bilgisel İşlemler Yapılan İşlemler Harekete Dayalı Analize Dayalı Kullanıcılar Ofis Çalışanları Raporlama Çalışanları Fonksiyonlar Günlük İşlemler Dönemsel İşlemler Database Dizaynı Normalizasyona göre Star - Snowflake/Nesnesel Görünüm Detaylı /Düz ilişkiler Özet / Çok Boyutlu Erişim Okuma / Yazma Genelde Sadece Okuma Database Büyüklüğü 100 MB – GB 100 GB - TB Kullanıcı Sayısı 1000’ler Düzeyinde 10’lar Düzeyinde

ETL (Extract-Transform-Load) • ETL, çeşitli veri kaynaklarından hedef veri tabanımız arasında iş akışına ve ihtiyaçlarımıza uygun dataların ayrıştırıldığı, dönüşüm işlemlerinin yapıldığı bir süreçtir. • ETL paketleri ise iş zekası mantığının esas alarak oluşturulan paralel çalışan uygulamalar bütünüdür. • Extract : ETL sürecinin ilk adımı değişik kaynaklardan(Flat File, Excel, İlişkisel Veri Tabanları) veri çekmektir. • Transform : Datalar üzerinde sıralama, toplama, birleştirme, gruplama, ihtiyacımıza uygun hesaplanmış alanlar yaratma, veri doğrulama, filtreleme gibi dönüştürme işlemleri yapılır. • Load : Dönüştürülen veri hedefe (DW-Data Mart) aktarılır.

OLAP Küpleri Veri Ambarı tablosu : Multi-Dimensional (OLAP) : date 2 date 1