VER MADENCL ve ZEK SI r Gr SABR
VERİ MADENCİLİĞİ ve İŞ ZEK SI Öğr. Gör. SABRİ GÜNGÖR
VERİ MADENCİLİĞİ ve İŞ ZEKASI DERSİ Ders Tanıtım Bilgileri KAYNAKLAR Data Mining Concepts and Techniques (3 th Edition), Jiawei Han, Micheline Kamber and Jian Pei. Veri Madenciliği Kavram ve Algoritmaları (3. Basım), Gökhan Silahtaroğlu, Papatya Bilim. WEB SİTESİ E-POSTA iibf. erciyes. edu. tr/sgungor@erciyes. edu. tr OFİS ERÜ İİBF İşletme Bölümü D-317 Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 2
DÖNEMLİK DERS İÇERİĞİ (Ana Hatlarıyla) Veri Madenciliğine Giriş Veri Önişleme Veri Madenciliği Teknikleri Sınıflandırma Kümeleme Birliktelik Kuralları Algortmalar WEKA Programı ile Veri Madenciliği Tekniklerinin Uygulamaları Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 3
Veri Madenciliğine Giriş Veri Madenciliği Tanımları, İş Zekası Kavramı, Veri Madenciliğinde Kullanılan Teknolojiler, Uygulama Örnekleri, Veri Madenciliğinde Kullanılan Veri Türleri, Bilgi Keşif Süreci, Temel Veri Madenciliği Kavramları, Veri Ambarı, Bilgi Piramidi, OLAP, Veri Madenciliği Yöntemleri, Veri Madenciliğinin Temel Sorunları Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 4
Neden Veri Madenciliği? “Gereksinim buluşun anasıdır. ” Plato Bilgi Çağına Doğru Hareket Etme Bilgi Çağı – Veri Çağı Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 5
Veri Madenciliğinin Tarihi Gelişmiş Veri Analizi (1980’lerin sonu-) Veri Toplama ve Veri Tabanı Oluşturma (-1960) Veri Tabanı Yönetim Sistemleri (1970 -80) Bilgi Sis. Geleceği Gelişmiş Veri Tabanı Sistemleri (1980’lerin ortası-) Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 6
Nedir Veri Madenciliği? Madencilik kavramı büyük miktarda veriden az ama değerli cevherin çıkarılmasını ifade eden canlı bir kavramdır. Veri madenciliği, «büyük miktardaki verilerden ilginç örüntüleri ve bilgileri keşfetme sürecidir. » Ya da başka bir tanımla «Büyük ölçekli veriler arasından değeri olan bir bilgiyi elde etme işidir. » Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 7
Veri Madenciliğine Giriş Veri Madenciliği Tanımları, İş Zekası Kavramı, Veri Madenciliğinde Kullanılan Teknolojiler, Uygulama Örnekleri, Veri Madenciliğinde Kullanılan Veri Türleri, Bilgi Keşif Süreci, Temel Veri Madenciliği Kavramları, Veri Ambarı, Bilgi Piramidi, OLAP, Veri Madenciliği Yöntemleri, Veri Madenciliğinin Temel Sorunları Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 8
Veri Madenciliğinde Kullanılan Teknolojiler Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 9
Veri Madenciliğine Giriş Veri Madenciliği Tanımları, İş Zekası Kavramı, Veri Madenciliğinde Kullanılan Teknolojiler, Uygulama Örnekleri, Veri Madenciliğinde Kullanılan Veri Türleri, Bilgi Keşif Süreci, Temel Veri Madenciliği Kavramları, Veri Ambarı, Bilgi Piramidi, OLAP, Veri Madenciliği Yöntemleri, Veri Madenciliğinin Temel Sorunları Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 10
Bilgi Keşif Süreci Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 11
Bilgi Keşif Süreci 1. Veri temizleme 2. Veri bütünleştirme 3. Veri seçimi 4. Veri dönüşümü 5. Veri madenciliği (verideki örüntüleri çıkarmak için akıllı yöntemlerin uygulandığı temel bir süreç) 6. Örüntü değerlendirmesi 7. Bilgi sunumu Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 12
Bilgi Keşif Süreci Veri Temizleme : Gürültülü ve tutarsız verileri çıkarmak Veri Bütünleştirme : Birçok data kaynağını birleştirebilmek Veri Seçme : Yapılacak olan analiz ile ilgili olan verileri belirlemek Veri Dönüşümü : Verinin veri madenciliği yöntemine göre hale dönüşümünü gerçekleştirmek Veri Madenciliği : Verilerdeki örüntülerin belirlenmesi için veri madenciliği yöntemlerinin uygulanması Örüntü Değerlendirme: Bazı ölçütlere göre elde edilmiş ilginç örüntüleri bulmak ve değerlendirmek Bilgi Sunumu : Elde edilen bilgilerin kullanıcılara sunumunu Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 13
Veri Madenciliğine Giriş Veri Madenciliği Tanımları, İş Zekası Kavramı, Veri Madenciliğinde Kullanılan Teknolojiler, Uygulama Örnekleri, Veri Madenciliğinde Kullanılan Veri Türleri, Bilgi Keşif Süreci, Temel Veri Madenciliği Kavramları, Veri Ambarı, Bilgi Piramidi, OLAP, Veri Madenciliği Yöntemleri, Veri Madenciliğinin Temel Sorunları Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 14
Temel Veri Madenciliği Kavramları Veri (Data) Veri kelimesi Latince’de “gerçek, reel” anlamına gelen “datum” kelimesine denk gelmektedir. Her zaman somut gerçeklik göstermez. Kavramsal anlamda «veri, kayıt altına alınmış her türlü olay, durum, fikirdir. » Enformasyon (Information) Yaygın olarak haber ya da mesaj kavramıyla eşanlamlı kullanılır. «Formatlanmış ve yapılandırılmış veriler bütünü olarak tanımlanabilir. » «Verilerin ilişkilendirilmiş, düzenlenmiş, anlamlandırılmış, işlenmiş halidir. » «Enformasyon anlam katılmış veridir. » Bilgi (Knowledge) Bilgelik (Wisdom) Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 15
Temel Veri Madenciliği Kavramları Veri (Data) Enformasyon (Information) Bilgi (Knowledge) «İnsan aklının erebileceği olgu, gerçek ve ilkeler bütünü, malumat. » Enformasyonun, bilgiye dönüşmesi, bireyin onu algılaması, özümsemesi ve sonuç çıkarmasıyla gerçekleşir. Bilgelik (Wisdom) Bilgelik ulaşılmaya çalışılan noktadır. Bilgilerin kişi tarafından toplanıp bir sentez haline getirilmesiyle ortaya çıkan bir olgudur. «Neyin bilindiğinin (bilgi) ve en iyinin ne olduğunun (sosyal ve etnik faktörler) dikkate alınarak en uygun davranışın sergilenmesi demektir. » Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 16
Veri Madenciliğine Giriş Veri Madenciliği Tanımları, İş Zekası Kavramı, Veri Madenciliğinde Kullanılan Teknolojiler, Uygulama Örnekleri, Veri Madenciliğinde Kullanılan Veri Türleri, Bilgi Keşif Süreci, Temel Veri Madenciliği Kavramları, Veri Ambarı, Bilgi Piramidi, OLAP, Veri Madenciliği Yöntemleri, Veri Madenciliğinin Temel Sorunları Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 17
Bilgi Piramidi Bilgelik Bilgi Enformasyon Veri Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 18
Veri Madenciliğine Giriş Veri Madenciliği Tanımları, İş Zekası Kavramı, Veri Madenciliğinde Kullanılan Teknolojiler, Uygulama Örnekleri, Veri Madenciliğinde Kullanılan Veri Türleri, Bilgi Keşif Süreci, Temel Veri Madenciliği Kavramları, Veri Ambarı, Bilgi Piramidi, OLAP, Veri Madenciliği Yöntemleri, Veri Madenciliğinin Temel Sorunları Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 19
Veri Madenciliği Yöntemleri Sınıflandırma, Veriyi önceden belirlenmiş sınıflara dahil eder, (Gözetimli) Kümeleme, Benzer verileri aynı gruba toplar (Gözetimsiz) Birliktelik Kuralları, Veriler arası ilişki belirleme Regresyon, Veriyi bir fonksiyona dönüştürür Zaman Serisi Analizi, Zamanla değişen verinin değerinin tahmine çalışır. İstisna Analizi, Veri içindeki genele göre aykırı değerleri bulmaya odaklanır. … Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 20
Veri Madenciliği Yöntemleri Kaynak: https: //www. saedsayad. com/data_mining_map. htm Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 21
Veri Madenciliğine Giriş Veri Madenciliği Tanımları, İş Zekası Kavramı, Veri Madenciliğinde Kullanılan Teknolojiler, Uygulama Örnekleri, Veri Madenciliğinde Kullanılan Veri Türleri, Bilgi Keşif Süreci, Temel Veri Madenciliği Kavramları, Veri Ambarı, Bilgi Piramidi, OLAP, Veri Madenciliği Yöntemleri, Veri Madenciliğinin Temel Sorunları Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 22
İş Zekası Nedir? İş Zekası, ham verinin işlenerek daha anlamlı ve kullanışlı hale getirilmesini sağlayan süreçlere, yöntemlere verilen isimdir. İş zekası ya da kurumsal zeka en basit anlamı ile ham verinin, analiz ve karar destek amacı ile anlamlı ve yararlı bilgiye dönüştürülmesi işlemidir. Bu işlemleri hızlı bir şekilde yapabilmek için bilgisayar işin içerisine girmiştir. Bilgisayarın girmesiyle bunlara iş zekası sistemleri denmektedir. İş zekası sistemi kullanıcısının doğru karar verebilme yetisini arttıran bir karar destek sistemidir. Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 23
İş Zekası (Yoksa İstihbaratı mı? ) ZEKA X İSTİHBARAT Business Intelligence (BI) İş Zekası Artificial Intelligence (AI) Yapay Zeka Central Intelligence Agency (CIA) Merkezi İstihbarat Teşkilatı ASLINDA; Yönetici makamlara sunulmak üzere toplanmış ve analiz edilmiş stratejik veya taktik içerikli işlenmiş bilgidir. Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 24
Veri Madenciliğine Giriş Veri Madenciliği Tanımları, İş Zekası Kavramı, Veri Madenciliğinde Kullanılan Teknolojiler, Uygulama Örnekleri, Veri Madenciliğinde Kullanılan Veri Türleri, Bilgi Keşif Süreci, Temel Veri Madenciliği Kavramları, Veri Ambarı, Bilgi Piramidi, OLAP, Veri Madenciliği Yöntemleri, Veri Madenciliğinin Temel Sorunları Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 25
Veri Madenciliği Uygulama Alanları BİLİM DEVLET Astronomi, Kanun yaptırımı uygulama İlaç keşfi Vergi kaçakçılığı tespiti Terörle mücadele İŞ HAYATI WEB Reklam, Müşteri İlişkileri Yönetimi Metin madenciliği E-Ticaret Web sitesi analizi Yatırım belirleme Arama motorları Üretim Sağlık Pazarlama Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 26
Örnek Uygulamalar (özellikle iş zekası kapsamında) Hangi promosyonu ne zaman uygulamalıyım? Hangi ürünleri birlikte promosyonlu olarak satmalıyım? Hangi müşteri aldığı krediyi geri ödemeyebilir? Bir müşteriye ne kadar kredi verilebilir? Sahtekarlık olabilecek davranışlar hangileridir? Hangi müşteriler yakın zamanda kaybedilebilir? Hangi müşterilere promosyon yapmalıyım? Hangi yatırım araçlarına yatırım yapmalıyım? Mevcut müşteri profilim nedir? Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 27
Veri Madenciliğine Giriş Veri Madenciliği Tanımları, İş Zekası Kavramı, Veri Madenciliğinde Kullanılan Teknolojiler, Uygulama Örnekleri, Veri Madenciliğinde Kullanılan Veri Türleri, Bilgi Keşif Süreci, Temel Veri Madenciliği Kavramları, Veri Ambarı, Bilgi Piramidi, OLAP, Veri Madenciliği Yöntemleri, Veri Madenciliğinin Temel Sorunları Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 28
Veri Madenciliğinde Kullanılan Veri Türleri Veri Dosyaları Veri Tabanı Verileri Veri Ambarı İşlemsel Veriler (Transactional Data) Diğer Veri Türleri Sensör verileri, Veri Akışları, Boyutsal veriler (harita), Sosyal ağ verileri, Multimedya, grafik www verileri … Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 29
Veri Madenciliğinde Kullanılan Veri Türleri Veri Tabanları Veritabanı, birbirleriyle ilişkili bilgilerin depolandığı alanlardır. Microsoft Access, File. Maker, SQL, My. SQL, ORACLE … Veri tabanları ilişkisel yada ilişkisel olmayan türden olabilir. Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 30
Veri Madenciliğine Giriş Veri Madenciliği Tanımları, İş Zekası Kavramı, Veri Madenciliğinde Kullanılan Teknolojiler, Uygulama Örnekleri, Veri Madenciliğinde Kullanılan Veri Türleri, Bilgi Keşif Süreci, Temel Veri Madenciliği Kavramları, Veri Ambarı, Bilgi Piramidi, OLAP, Veri Madenciliği Yöntemleri, Veri Madenciliğinin Temel Sorunları Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 31
Veri Madenciliğinde Kullanılan Veri Türleri Veri Ambarı ilişkili verilerin sorgulandığı ve analizlerinin yapılabildiği bir depodur. Veri ambarı veritabanını yormamak için oluşturulmuştur. Bir veri ambarı ilgili veriyi kolay, hızlı, ve doğru biçimde analiz etmek için gerekli işlemleri yerine getirir. Veri ambarı, işlemsel sistemlerdeki veriyi kopyalayıp, karar verme işlemi için uygun formda saklar. Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 32
Veri Madenciliğinde Kullanılan Veri Türleri Veri Ambarı Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 33
Veri Madenciliğinde Kullanılan Veri Türleri Veri Ambarı’nın Özellikleri Amaca yöneliktir Sadece ihtiyaç duyulan bilgileri alır, gereksiz bilgilerle yükünü arttırmaz. Birleştirilmiştir Farklı veri kaynaklarından ihtiyaç duyduğu bilgileri bir araya getirir. Bu sırada birleştirme, dönüştürme gibi veri önişleme işlemleri uygulanır. Zaman değişkenlidir Canlı veritabanlarına göre daha eski bilgiyi barındırabilir. Değişken değildir Canlı veritabanlarında bilgi sürekli değişebilirken burada saklandığı için değişken değildir. Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 34
Veri Madenciliğine Giriş Veri Madenciliği Tanımları, İş Zekası Kavramı, Veri Madenciliğinde Kullanılan Teknolojiler, Uygulama Örnekleri, Veri Madenciliğinde Kullanılan Veri Türleri, Bilgi Keşif Süreci, Temel Veri Madenciliği Kavramları, Veri Ambarı, Bilgi Piramidi, OLAP, Veri Madenciliği Yöntemleri, Veri Madenciliğinin Temel Sorunları Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 35
Veri Madenciliğinde Kullanılan Veri Türleri OLAP (On-Line Analytical Processing) OLAP kavramı aslında veri ambarının bir işlevidir. OLAP genel olarak, çok boyutlu verinin oluşturulması, yönetimi, analizi ve anlık sorgulanması şeklinde tanımlanmaktadır. OLAP, verilere özetleme ve detaylandırma yaparak ve verilerin bir eksen etrafında döndürülmesine olanak sağlayarak kullanıcıların veri dolaşımı yapmalarına izin verir. OLAP NE sorusuna cevap verir, veri madenciliği NEDEN sorusuna cevap verir. Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 36
Veri Madenciliğinde Kullanılan Türleri OLAP (Avantaj-Dezavantaj) Veri OLAP’ın avantajları Daha geniş kapsamlı sonuç Daha kısa süreli işlem OLAP’ın dezavantajları Kullanıcı neyi nasıl soracağını bilmeli Genellikle veriden istatistiksel inceleme yapmak için kullanılır. Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 37
Veri Madenciliğine Giriş Veri Madenciliği Tanımları, İş Zekası Kavramı, Veri Madenciliğinde Kullanılan Teknolojiler, Uygulama Örnekleri, Veri Madenciliğinde Kullanılan Veri Türleri, Bilgi Keşif Süreci, Temel Veri Madenciliği Kavramları, Veri Ambarı, Bilgi Piramidi, OLAP, Veri Madenciliği Yöntemleri, Veri Madenciliğinin Temel Sorunları Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 38
Veri Madenciliğinin Temel Sorunları Gizlilik-Sosyal Haklar Veri Madenciliği Yöntemleri Her düzeyde aynı kalitede sonuç elde edilemeyebilir Veriden kaynaklı problemler Hala gelişmeye açık/muhtaç yöntemler. Başarı ve ölçeklenebilirik Kişisel bilgilerin izinsiz, habersiz kullanımı, ulaşılan sonuçların izinsiz açıklanması, Verilerin eksik, gürültülü, tutarsızlığı Kullanıcı Etkileşimi Veri Madenciliği sonuçlarının görselleştirilmesi (Anlaşılabilirlik) Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 39
Veri Madenciliğine Giriş - SON Öğr. Gör. SABRİ GÜNGÖR Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi İşletme Bölümü – Veri Madencilii ve İş Zekası Dersi 40
- Slides: 40