Yapay Sinir Alarna Giri Neslihan Serap engr T

Yapay Sinir Ağlarına Giriş Neslihan Serap Şengör İTÜ Elektronik ve Haberlerşme Müh. Böl. SİMMAG Sinirbilim Araştırma ve Modelleme Grubu sengorn@itu. edu. tr

Eğitim ne hakkında? Amaç: Temel yapay sinir ağı yapıları Genlikte Ayrık Algılayıcı (Perceptron), Çok Katmanlı Algılayıcı (Multi Layer Perceptron) ve Özdüzenlemeli Ağ ( Kohonen Ağı) hakkında bilgi vermek. Öğrenme sürecinin bu yapılarda nasıl gerçekleştirildiğini göstermek.

Herşey nasıl başladı. . . Çağdaş bilgisayarın öncüsü, Delikli kartlar ile komutlar veriliyor, Analitik Makine 1833 Herhangi bir aritmetik işlemi yapabiliyor, Sayıların saklanabileceği bir bellek birimi var, Charles Babbage (1792 -1871) İşlemlerin art arda ve sırasıyla yapılmasını sağlayan ardışık kontrol birimi var. https: //nn. wikipedia. org/wiki/Charles_Babbage https: //en. wikipedia. org/wiki/Analytical_Engine https: //tr. pinterest. com/pin/511228995200003538/

Bu donanım, peki yazılımı kim tasarlıyor? Analitik makinenin gücü ve yapabilirliği hakkında abartılı görüşler belirtmekten kaçınmamız gerek. Herhangi yeni bir konu ele alındığında, genellikle ilginç ve Augusta Ada Byron önemli olan taraflarına ilk olarak büyük bir ilgi gösterilir Lady Lovelace ve abartılır. Ve doğal olarak bu abartılı beklentiler (1815 -1852) karşılanmayınca gerçekten değerli olan da gözardı edilerek konuya olan ilgi kaybolur. Analitik makinenin yeni bir yöntem, yaklaşım oluşturma becerisi yoktur. Ancak bizim ona yapmasını söylediklerimizi yapabilir. Verilen bir çözümlemeyi takip edebilir, fakat yepyeni gerçekleri bulma, çözümleme yöntemleri oluşturma becerisi yoktur. Sadece nasıl çözeceğimizi bildiğimiz problemleri çözmekte bize yardımcı olabilir. 1843 https: //www. information-age. com/ada-lovelace-day-women-stem-career-path-123462580/

İlk Kim? John Von Neumann 1903 -1957 Alan Turing 1912 -1954 ENIAC (Electronic Numerical Integrator and Computer) EDVAC (Electronic Discrete Variable Automatic Computer) https: //en. wikipedia. org/wiki/John_von_Neumann#/media/File: Johnvon. Neumann-Los. Alamos. gif https: //qz. com/1666246/alan-turing-wwii-codebreaker-will-be-on-the-new-50 -banknote/

Sinir hücresi ile hesaplamalar. . . x 1 x 2 w 1 v xm 1 y wm wm+1 ' Warren Mc. Culloch Walter H. Pitts 1923 -1969 1898 -1969 Mc. Culloch-Pitts Modeli 1943 http: //infonintelli. blogspot. com/2017/11/psychon-and-mcculloch-pitts-neurons. html

Nasıl öğrenecek? Hebb Öğrenme Kuramı (1949) Donald Hebb (1904 -1985) “When an axon of a cell A is near enough to excite a cell B and repeatedly or persistently takes part in firing it, some growth process or metabolic change takes place in one or both cells such that A’s efficiency as one of the cells firing B is increased. “ (Organization of Behavior) Çıkış işareti • zamana bağlı Postsinaptik aktivite • yerel Öğrenme hızı • Öğrenen adaptif sistemler için esin http: //thebrain. mcgill. ca/flash/i/i_07_cl/i_07_cl_tra. html giriş işareti Presinaptik aktivite https: //www. mcgill. ca/neuro/about/donald-hebb-phd

Kendi kendine öğrenebilen ve işe yarar iş yapan ilk yapay sinir ağı x 1 x 2 xn 1 w w 2 1 wn x 1 x 2 w w 2 1 y wn+1 Giriş Katmanı wm Çıkış x n Katmanı Giriş Katmanı Birinci Katman y Çıkış Katmanı Frank Rosenblatt 1928 -1971 Perceptron 1958 Bağlantı ağırlıkları, eğitim kümesi ile belirlenen tek bir nöron Sabit ağırlıklar, sabit fonksiyonlar

Ve mühendisler iş başında M. T. Hoff 1937 - Bernard Widrow 1929 - ADALINE-MADALINE 1960 https: //www. researchgate. net/figure/ADALINE-An-adaptive-linear-neuron-Manually-adapted-synapses-Designed-and-built-by-Ted_fig 2_265789430 Widrow, Lehr, 30 Years of Adaptive Neural Networks: Perceptron, Madaline, and Backpropagation, Proc. of IEEE 1990

Karanlık Yıllar (1969 -1982) • “Perceptrons” Minsky-Papert 1969 matematiksel olarak Perceptron’un XOR mantık fonksiyonunu gerçekleyemeyeceğini ispatladılar. Grossberg- ART özdüzenlemeli bir yapı • Kohonen – özdüzenlemeli bir başka yapı • Fukushima – özdüzenlemeli bir başka yapı daha •

Karanlık Yıllardan Çıkış • 1982 Hopfield Ağı • Geriye Yayılım Algoritması (Backpropagation) * 1974 Werbos * 1985 Parker * 1985 Le. Cun * 1986 Rumelhart Neuromorphic mühendislik/hesaplama

Bir Yapay Sinir Ağı Tanımı (Alexander-Morton 1991) Yapay sinir ağı, basit işlemci ünitelerinden oluşmuş, çok yoğun, parallel ve dağılmış düzende çalışan bir işlemcidir. Deneysel bilgiyi depolama ve kullanıma sunma özelliğine sahiptir. Beyni iki şekilde andırır: Sinir 1) Ağ, bilgiyi ortamdan öğrenme yolu ile elde eder. hücresi 2) Gerekli bilgiyi depolama için basit işlemci ünitelerin arasındaki bağlantıları kullanır. Sinaptik ağırlıklar http: //www. neuralstainkit. com/images/in-p-1401 b-NDT 104. jpg https: //www. vision. org/synaptic-connection-1243

Bilginin gösterimi ve kuralları “Bilgi”’nin Gösterimi “Bilgi” İnsan veya Makina Nasıl anlayacağız? Yorumlama Öngörme Uygun yanıt verme Depolanmış enformasyon veya model Gösterimi nasıl oluşturacağız? Kurallar: (1) Benzer sınıflardan benzer girişler ağda benzer gösterimler oluşturmalı ve böylece aynı kategoriye ait olarak sınıflanmalı, (2) Farklı sınıflara ayrılacak nesnelere, ağda çok farklı gösterimler atanmalı, (3) Belirli bir özellik önemli ise ağda onun gösterimi ile görevlendirilen hücre sayısı daha fazla olmalı,

Benzerliğin ölçütü - Norm V vektör uzayı olmak üzere, aşağıdaki dört özelliği sağlayan fonksiyon : normdur

Gösterim için bir yol za ı ğım m aca e l İş ulay sıl g u y e na r ? gö de z i r ifa ebili ed Bir T harfi Bir L harfi

Ağ Yapıları İleri yol (Feedforward) Tam bağlaşımlı (Recurrent) Hücresel Ağ Kohonen Ağı girişler gizli katman ağırlık matrisi çıkış katmanı çıkışlar girişler ağırlık matrisi girişler öznitelik dönüşümü

Öğrenme Süreçleri Ağın içinde bulunduğu ortamdan etkilenerek parametrelerini değiştirmesi işlemi öğrenmedir. Öğrenme şekli, parametrelerin nasıl değiştirildiği ile belirlenir. Eğiticili Öğrenme Eğiticisiz Öğrenme Pekiştirmeli Öğrenme Özdüzenlemeli Öğrenme

Eğiticili Öğrenme Ortam Eğitici + Eğitilen Sistem - Eğitici ortam hakkında bilgiye sahip Eğitilen sistem ortam hakkında bilgiye sahip değil Eğitilen sisteme ilişkin ağırlıklar eğitim kümesinde içerilen bilgi ve hata aracılığı ile değiştiriliyor Eğiticinin ortam hakkında sahip olduğu bilgi, eğitilen sisteme aktarılıyor

Pekiştirmeli Öğrenme Eğitilen Sistem δ Kritik Değer Atama davranış Ödül r Ortam Öğrenme işleminin her adımında istenilen yanıtı sağlayan bir eğitici yok Eğitilen sistem, sonuçta elde edilecek yanıta erişmek için gerekli davranışı eleştiriyi gözönünde tutarak bulmak zorunda

Özdüzenlemeli Öğrenme Ortam Eğitilen Sistem Bilgiye sahip ya da eleştiride bulunan bir eğitici yok Eğitilen sistem girişlerin istatiksel dağılımını belirledikten sonra sınıflamayı oluşturuyor.

Genlikte Ayrık Algılayıcı-GAA (Perceptron) x 1 x 2 w 2 x 1 w 1 x 2 w 1 v xn 1 wn wn+1 y y xn 1 wn wn+1

Ancak Rosenblatt’ın 1954’de önerdiği yapı bundan farklı. . . Giriş Katmanı x 1 w 2 x 1 w 1 Çıkış Katmanı x 2 w 1 w 2 y y xn 1 wn wn+1 wm Çıkış Katmanı xn Giriş Katmanı Birinci Katman Sabit ağırlıklar, sabit fonksiyonlar Bağlantı ağırlıkları, eğitim kümesi ile belirlenen tek bir nöron

Genlikte Ayrık Algılayıcı aslında. . • Girişlere doğrudan bağlı tek bir nöron değil • Birinci katman değişmeyen bir yapıya sahip • Çıkış katmanı, tek bir nörondan oluşan eğitilebilir bir yapı. Birinci katmanda farklı fonksiyonları oluşturup, Peki Rosenblatt neden birinci katmana gerek duymuş? öğrenme ile bunlar cinsinden çıkışta istenilen fonksiyonu ifade etmek için Tanım: Doğrusal ayrıştırılabilir küme (Linearly separable set) X kümesi R tane Xi alt kümesinden oluşsun. g i ‘ler x’in doğrusal fonksiyonu olmak üzere ise Xi kümeleri doğrusal ayrıştırılabilir kümelerdir.

Tanımı anlamaya çalışalım. . . (-1, 1) (1, 1) R=? g’leri yazalım (-1, -1) (1, -1) Bu iki kümenin doğrusal ayrıştırılabilir olduğunu göstermek için ne yapmalıyız? ve sağlayan a, b ve c’ler bulunmalı bir çözüm:

Özellikle, örüntüleri farklı sınıflara ayıran düzlem olarak kullanılıyor. Tanım: Karar Düzlemi (Decision Surface) Kümeleri ayıran düzlem. Tek bir nöron ile neler yapılabilir? Nöron sayısını artırarak ne yapılabilir ne yapılamaz?

Rosenblatt’ın Genlikte Ayrık Algılayıcısında neler oluyor? Girişler n-boyutlu bir vektör bir örüntüyü Örüntü uzayı temsil ediyor (pattern space) (pattern) el il n e ğ g m al de ü ş nü ğrus ö d o Bu rak d ola x 1 x 2 Katman 1’in çıkışı Genlikte Ayrık w 1 Algılayıcı için karar düzlemi: w 2 ? ? ? y Genlikte Ayrık Algılayıcı ancak katman 1’in görüntü uzayındaki örüntüleri doğrusal ayrıştırılabilir ise iki sınıfa ayırır. wm xn

Soru: Katman 1’de m işlem birimine sahip bir GAA, katman 1 görüntü uzayınındaki P tane örüntüyü 2 sınıfa kaç türlü ayırabilir? Bura da iş Yanıt: i ne? Hatırlatma: Soru: Herhangi bir doğrusal karar düzleminin GAA ile hesaplanabilme olasılığı nedir? Yanıt: m büyük bir sayı ise 2(m+1)’den daha az sayıdaki örüntüyü doğru şekilde sınıflayabilir. 0 < P <2(m+1)

Katman 1 örüntüleri doğrusal ayrıştırılabilecekleri görüntü uzayına taşır. Doğrusal ayrıştırılamayan örüntüleri doğrusal ayrıştırılabilir kılmak iki türlü olasıdır: (i) m (ii) P XOR Genlikte Ayrık Algılayıcı ile ifade etmek: (0, 1) (1, 1) P=4, n=2 İki girişli, tek nöronun kapasitesi: 2*3=6 (0, 0) (0, 1, 1) (0, 0, 0) (0, 0) Kapasite açısından uygun ama doğrusal ayrıştırılabilir (1, 0) değiller (1, 1, 1) (1, 0, 1) (1, 0) m mi P mi değişti?

m mi P mi değişti? Şimdi Genlikte Ayrık Algılayıcı ile biraz iş yapalım x 1 w 2 x 2 w 1 Verilenler: Eğitim Kümesi Amaç: İki sınıfa ayırmak y xm 1 wm wm+1 Gerçeklenebilme Koşulu: Eğitim kümesi doğrusal ayrıştırılabilir ise:

Eğitim kümesi doğrusal ayrıştırılabilir değil ise: Öğrenme Kuralı: öğrenme hızı <1 olan pozitif bir sayı