Hatrlatma Verilen eitim kmesi iin ortalama karesel hata
- Slides: 16
Hatırlatma Verilen eğitim kümesi için, ortalama karesel hata öğrenme performansının ölçütü olarak al ve bu amaç ölçütünü enazlayan parametreleri belirle. EK BİLGİ Bazı Eniyileme (Optimizasyon) Teknikleri Eniyileme problemi Kısıtlar: Kısıtsız Eniyileme Problemi ‘yı
Hatırlatma Teorem: 1. Mertebeden gerek koşul ‘in ekstremum noktası ise Teorem: 2. Mertebeden yeter koşul kesin pozitif Nasıl hesaplanır? ‘in minimum noktasıdır. Doğrultu Belirleme (Line Search) Algoritması • • başlangıç noktasını belirle doğrultusunu belirle ‘yı ‘ya göre enazlayan ‘yı belirle doğrultusunu belirle
Amaç: Beklenti: Algoritma fonksiyonu enazlayan ‘a yakınsayacak Ne zaman sona erdilecek? • doğrultusunu belirle Nasıl ? “en dik iniş “ (steepest descent) Newton Metodu Gauss-Newton Metodu Bu doğrultuların işe yaradığını nasıl gösterebiliriz?
“En dik iniş “ (steepest descent) Metodu ile sağlanır mı? ‘yı hesaplamanın bir yolu ne olabilir? ‘yı Sonuç: civarında Taylor serisine açalım. ‘a yakınsayacak Yakınsamayı belirleyecek
Özel durum: Kuadratik 1. Mertebeden gerek koşul Bu herzaman mümkün mü? Kuadratik ise Uygun ‘yı belirlemenin bir yolu var mı? 7. Sayfayı Hatırlayın • ‘yı ‘ya göre enazlayan Nasıl? ‘yı belirle
Newton Metodu ile ‘yı Bu yeni terimlere neden ihtiyaç duyduk? sağlanır mı? civarında Taylor serisine açalım.
Kesin Pozitif? ? Kesin Pozitif ise Sonuç: ‘a yakınsayacak Gauss-Newton Metodu ile Kısıtlama: sağlanır mı?
Gauss-Newton Metodu’nun amacı özel bir için Hessian matrisini kullanmadan 2. mertebe yöntem kadar iyi sonuç elde etmek. Bu ifade aslında nedir?
varsa Sonuç: ‘a yakınsayacak EK BİLGİNİN SONU Amaç: Verilen eğitim kümesi için, ortalama karesel hata öğrenme performansının ölçütü olarak al ve bu amaç ölçütünü enazlayan parametreleri belirle. Toplam ani hata: Ortalama karesel hata: ‘yı
Yapılan: yerine ‘yi en azlamak Eğitim kümesindeki k. veri için ileri yolda hesaplananı yazalım: 1. Gizli Katman Çıkışı 2. Gizli Katman Çıkışı
Eğitim kümesindeki k. veri için hesaplanan toplam ani hata
Çıkış katmanındaki j. nöron ile gizli katmandaki i. nörona ilişkin ağırlığın güncellenmesi Hangi yöntem? Ağırlığın güncellenmesi “en dik iniş “ (steepest descent)
Notasyona Dikkat!!!!! k eğitim kümesindeki kaçıncı veri olduğu aynı zamanda güncellemede bir iterasyon içinde kaçıncı defa güncellendiği çıkış katmanında j. nöron çıkışı gizli katmandaki i. nöron çıkışı Yeni notasyon Çıkış katmanı Gizli katmanın sayısı
Gizli katman ve çıkış katmanındaki her nöron iki iş yapıyor: (i) nöron çıkışındaki işareti nöron girişindeki işaretler cinsinden hesaplıyor, (ii) gradyen vektörünü geriye yayılım için yaklaşık olarak hesaplıyor Yerel gradyen
Çıkış katmanındaki tüm ağırlıkların güncellenmesi
gizli katman (gks-1)’deki j. nöron ile gizli katman (o)’daki i. nörona ilişkin ağırlığın güncellenmesi
- Sistematik hata
- Docuritzu zunbi iin kay adalah sebagai pengganti dari
- Asl gloss
- Asl five parameters
- Kare piramit hacmi
- Karesel fonksiyon
- Köşegenler kare ve dikdörtgeni iki eş parçaya ayırır
- Küpün bütün yüzleri kaç bölgedir
- Hata birikimi
- 3 anlamlı rakam
- Gözleme dayalı teknikler
- Susan hata md
- Lmede
- Donabedian göre verimlilik
- Standart hata güvenirlik katsayısı
- Juran üçlüsü
- Risk öncelik göstergesi