STANBUL TEKNK NVERSTES ELEKTRONK HABERLEME MHENDSL renme nasl

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Öğrenme nasıl gerçekleşiyor? Hatırlatma Ağırlıklar hatayı en azlıyacak şekilde güncelleniyor Öğrenme metodu eğiticili öğrenme, öğrenme kuralı geriye yayılım algoritması

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ psikolog Parallel Dağılmış İşlemci (Parallel Distributed Processing) psikolog, matematikçi J. L. Mc Clelland, D. E. Rumelhart harf ve kelime algısına yönelik çok katmanlı yapı önerdiler, 1981 Parallel distributed processing: Explorations in the microstructure of cognition Rumelhart, D. E. , Mc. Clelland, J. L. (1986) MIT Press: Cambrige, Mass Çok katmanlı yapılar, öğrenme kuralları, bilişsel psikoloji ve bilime ilişkin uygulamaları içeriyor.

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Parallel Dağılmış İşlemci (Parallel Distributed Processing) Geriye yayılım Learning representations by back-propagating errors David E. Rumelhart*, Geoffrey E. Hinton† & Ronald J. Williams* Nature, 1986. We describe a new learning procedure, back-propagation, for networks of neurone-like units. The procedure repeatedly adjusts the weights of the connections in the network so as to minimize a measure of the difference between the actual output vector of the net and the desired output vector. As a result of the weight adjustments, internal 'hidden' units which are not part of the input or output come to represent important features of the task domain, and the regularities in the task are captured by the interactions of these units. The ability to create useful new features distinguishes back -propagation from earlier, simpler methods such as the perceptron-convergence procedure 1.

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ T ve L harfini ayırt eden bir ağa veriler nasıl sunulur Bu harfleri ağa nasıl sunacağız? 25 X 1 boyutlu vektörler ile

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Bu verilerin yanı sıra bozuk veriler de verelim. .

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Bir de test kümesi oluşturalım. . . Test kümesinde sağlam veriler ve eğitim kümesindekilerden farklı bozuk veriler olsun

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Başka Seçenekler yok mu? Neyi seçiyoruz? Kullanılan hücre modeli daha gerçekçi olabilir. . . Bir sinir hücresi modeli: Hodgkin-Huxley Modeli

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Nasıl indirgenecek? y 1 w 2 y 2 w 1 - wm-1 ym-1 wm ym In xn yn

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Bu hücrelerden oluşan ağ yapısı nasıl? İleri yol Geri besleme http: //www. willamette. edu/~gorr/classes/cs 449/rnn 1. html

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Bu hücrelerden oluşan bir ağ Hopfield Ağı http: //en. wikipedia. org/wiki/Hopfield_network

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Hopfield Ağı Kararlı denge noktalarında sonlanan dinamik bir yapı Her bir denge noktası bellekte saklanan bir örüntüye karşı çağrışımlı bellek düşürülebilir Bellekte saklanan örüntülere ait bilgi hücreler arasındaki ağırlıklarda saklı Öğrenme Hebb kuralı ile ancak ağırlıklar ardışıl güncelleme ile belirlenmiyor

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Çağrışımlı bellek. . http: //www. scholarpedia. org/article/Hopfield_network

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Bu hücrelerden oluşan bir başka ağ Çıkış katmanı Gizli katman İçerik katmanı giriş Elman Ağı

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Çıkış Katmanı y(k) …. . İçerik Katmanı xc(k) …. . Gizli Katman x(k) Giriş Katmanı u(k)

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Bu ağ yapılarının genel adı: Yinelemeli ağlar (Recurrent Networks) Dinamik yapılar Çıkışlarda geçmişe ait verilerin de katkısı var Kaotik davranış da dahil çok farklı davranışları modellemek mümkün

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Elman Ağı ile zamanda yapı tanıma: kelime tanıma Elman ağı belirli bir kurala göre oluşturulmuş sembol dizisinin altında yatan kuralı öğrenebiliyor. Bu semboller dili oluşturan sesler olarak düşünülebilir. Harf dizisine ilişkin gösterim: 6 özellik ile elde ediliyor Sessiz Sesli Kesikli Yüksek Dönüşlü Akortlu b [1 0 0 1] d [1 0 1] g [1 0 1 1] a [0 1 0 0 1 1] i [0 1 0 1] u [0 1 1 1] Mahmut Meral Bitirme Ödevi, 2003

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ önce üç sessiz harften biri rasgele olarak seçilip sesli harfler aşağıdaki kurala göre araya eklenmiştir. b -> ba d -> dii g -> guuu Örneğin rasgele seçilen sessiz harf dizisi dbgbddg… ise oluşan harf dizisi: diibaguuubadiidiiguuu… şeklindedir. . . U(n+1) . . . . U(n) 0 1 0 0 1 1 1 0 1 0 1 0 1 1 1 0 1 1 1

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Elman Ağı ile kelime dizisi tanıma Elman ağı, ses sembollerinden (harflerden) oluşan kelimeler kullanılarak bir harf dizisinin içinden anlamlı harf dizilerini de (kelimeleri) ayırabilir Uygulamada on üç farklı harften oluşan altı farklı kelime kullanılmaktadır. Harfler beş bitlik vektörler olarak kodlanmıştır. Kelimelerin uzunluğu üç ile yedi harf arasında değişmektedir. Altı kelimeden rasgele 450 kelime uzunluklu bir dizi oluşturdu. Daha sonra kelime dizisi 2106 harf uzunluğunda bir harf dizisine çevrilerek beş bitlik vektörler şeklinde kodlandı

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ e l m a n a ğ ı i l e z a m a n d a y a p ı t a n ı m a Giriş 00101 01000 01100 00001 01101 00001 00110 00111 01000 00100 10010 00001 01101 00010 00001 10001 01110 001111 00001 01101 001100 00001 l m a n a ğ ı i l e z a m a n d a y a p ı t a n ı m a Çıkış 01000 01100 00001 01101 00001 00110 00111 01000 00100 10010 00001 01101 00010 00001 10001 01110 001111 00001 01101 001100 00001

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ Kelimeler arası sınırlarda iki ve üzerinde hatalı bit oluşmaktadır. Bir nokta hariç ara noktalarda ise hatalı bit yoktur. . Sadece “zamanda” kelimesindeki “d” harfinin tahmininde bir hatalı bit oluşmaktadır. Bu durumun sebebi “elman” ve “zamanda” kelimelerinin her ikisinde de “man” dizisinin bulunmasıdır. ”zamanda” kelimesindeki “man” dizisinden sonra “d” gelmesi beklenirken, “elman” kelimesindeki “man” dizisinden sonra altı kelime içinden herhangi birinin ilk harfi (e, a, i, z, y, t) gelebilmektedir. Bu durum eğitimi olumsuz yönde etkileyerek hatanın yeterince azalmasını önlemektedir