Beyin Bilgisayar Arayz in Zihinsel Durum Tahminleri Uur

Beyin Bilgisayar Arayüzü İçin Zihinsel Durum Tahminleri Uğur Güven ADAR, Yeliz ŞENKAYA Atatürk Üniversitesi, Ordu Üniversitesi. 12/2/2020 BİLGİSAYAR DÜŞÜNCELERİNİZİ OKUYABİLİR Mİ?

BİLGİSAYAR DÜŞÜNCELERİNİZİ OKUYABİLİR Mİ?

Beyin Bilgisayar Arayüzü NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR SONUÇ VE İLERİ ÇALIŞMALAR «Beyin Bilgisayar Arayüzü, insanların motor sinir sistemlerini kullanmaksızın bir bilgisayarı, elektromekanik bir kolu ya da çeşitli nöroprotezleri kullanmalarını olanaklı hale getiren sistemlerdir. »

Beyin Bilgisayar Arayüzü NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR SONUÇ VE İLERİ ÇALIŞMALAR • İnsan Beyninde milyonlarca sinir hücreleri vardır. • Kafanın üzerine yerleştirilen elektrodlarla haberleşmeler hakkında bilgi sahibi olunabilir. • Beynin istenilen bölümü hakkında bilgi sahibi olunabilir. • Bu bölgeye yerleştirilen elektrodlarla istenilen bilgi elde edilebilir.

Beyin Bilgisayar Arayüzü NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR SONUÇ VE İLERİ ÇALIŞMALAR Esas Olarak; Elektrotlardan gelen düşük genlikteki elektrofizyolojik sinyal bir yükselteç bloğuna gelir. Burada yükseltilen sinyaller ilgi alanında süzme işleminden geçirilir. Bu süzülen sinyallerden hangilerinin hangi anlama gelebileceği çıkartılarak, ne tip anlamlar içermiş oldukları çıkarımı yapılır. Gerekli çıkarımla sonucu oluşan özniteliklerin anlamlandırılması ardından gerekli kontrol komutları üretilir ve yapılması gereken işlem gerçekleştirilir.

Beyin Bilgisayar Arayüzü NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ Çalışma Yöntemi; • Verinin alınması, • Magnetosefalogram • Doğrudan Sinir Arayüzü • Elektrosefalogram ZORLUKLAR SONUÇ VE İLERİ ÇALIŞMALAR

Beyin Bilgisayar Arayüzü NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR SONUÇ VE İLERİ ÇALIŞMALAR Verinin Alınması, a)Magnetosefalografi: «Nöronların ateşlemesi sonucunda oluşan manyetik alanı hesaplayan bir sistemdir. » • Sistem kafaya yerleştirilen manyetik alıcılar ile çalışır. • MEG EEG’ye göre daha doğru bir sistemdir. Zayıf alanı da ölçebilir. • Fakat pahalı olmasından dolayı EEG tercih edilir. • Pahalı olmasının sebebi alıcılarının helyum soğutmalı olmasıdır ve süperiletken mıknatıslar gerekir.

Beyin Bilgisayar Arayüzü NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR Verinin Alınması, a)Magnetosefalografi: • Bunun ötesinde bu alanı, manyetik alanından korumak gerekmektedir. • Bu alan ayrıca mıknatıslanamadan uzak ve ses geçirmez olmalıdır. • Bu durumlar harici bilgisayarın kesin sonuç vermesi mümkün değildir. • BCI uygulamalarında kullanılımı oldukça düşüktür. SONUÇ VE İLERİ ÇALIŞMALAR

Beyin Bilgisayar Arayüzü NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR SONUÇ VE İLERİ ÇALIŞMALAR Verinin Alınması, b)Doğrudan Sinir Arayüzü: «Bir dizi elektrodun harici bir cihaza bağlanmış haliyle, beynin dış derisi açılarak, beynin kendisine yerleştirilmiş yöntemdir. » Bunlar, onarılmış görüşler ve protezlerin bilgisayarı kontrolunde kullanılır. Bu sistem en iyi sonucu veren ve en iyi sistemdir. Fakat bu sistem de çok pahalıdır ve skar dokusunun(vücudun yabancı bir cisimle reaksiyonu) sinyali zayıflatmasına meyillidir.

Beyin Bilgisayar Arayüzü NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ Verinin Alınması, b)Doğrudan Sinir Arayüzü: ZORLUKLAR SONUÇ VE İLERİ ÇALIŞMALAR

Beyin Bilgisayar Arayüzü NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR SONUÇ VE İLERİ ÇALIŞMALAR Verinin Alınması, EEG-Elektrosefalogram: «Beynin elektriksel aktivitesinin grafiksel kaydının elde edilmesine yarayan cihaz. » • Genliği tepeden tepeye 1 -400 µV kadardır. • EEG işareti 0, 5 -100 Hz gibi geniş bir frekans bandına sahiptir.

Beyin Bilgisayar Arayüzü NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR SONUÇ VE İLERİ ÇALIŞMALAR Verinin İşlenmesi, EEG-Elektrosefalogram: • Klinik ve fizyolojik ilgi 0, 5 ile 30 Hz arasında BCI testleri yapılmaktadır. • 4 farklı frekans bandına ayrılmıştır. 1. Alfa 2. Beta 3. Delta 4. Teta

Beyin Bilgisayar Arayüzü NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR SONUÇ VE İLERİ ÇALIŞMALAR Verinin İşlenmesi, 1 -EEG-Elektrosefalogram: 1. Delta Dalgaları (δ): Frekans aralığı 0, 5 -4 Hz , genliği 4 -100µV arasında değişir 2. Teta Dalgaları (θ): Frekans aralığı 4 -8 Hz , genliği 5 -100 µV arasında değişir. 3. Alfa Dalgaları (α): Frekans aralığı 8 -13 Hz, genlik 2 -10 µV arasında değişir. 4. Beta Dalgaları (β) : Frekansları 13 Hz’den fazla olan işaretlerdir. Genlikleri 15 µV arasında değişir.

Beyin Bilgisayar Arayüzü NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR SONUÇ VE İLERİ ÇALIŞMALAR Verinin İşlenmesi, 2 -Ön İşleme: • • • İşaretin hangi sınıfa ait olduğuna karar verebilmek için öncelikle eğitim verileri üzerinde inceleme yapılır. Elektrosefalogram işaretlerinden öznitelikler (attributes) çıkarılır. İşaret“gürültü” olarak adlandırılan bozucu kaynakları da bulundurur.

Beyin Bilgisayar Arayüzü NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR SONUÇ VE İLERİ ÇALIŞMALAR Verinin İşlenmesi, 2 -Ön İşleme: Gürültü Kavramı: • İşaretlerin genlikleri çok düşük miktardadır. • Ölçüm yaparken ışığın açık kapalı olması , kişinin dikkatinin dağılması, gözünü kırpması, kalp atışları gibi aktivitelerden çok kolay etkilenebilmektedirler. • En yaygın olarak kullanılan bağımsız bileşen analizi ve filtreleme(lineer ve lineer olmayan) • Dalgacık dönüşümü, temel bileşenler analizi, kaynak dipol analizleri gibi teknikler vardır. Gürültü gidermede kullanılan basit yöntemin içeriği ise yapay kaynak ile 3 gürültü kaynağını bir matriste karıştırmak ve yeni yapay EEG sonuçları almaya dayanır.

Beyin Bilgisayar Arayüzü NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR SONUÇ VE İLERİ ÇALIŞMALAR Verinin İşlenmesi, 3. Öznitelik Çıkarma: «EEG işaretlerinin önemli özelliklerinin çıkarıldığı öznitelik vektörünün elde edilmesi işlemidir. » *Genellikle BCI’da çoklu elektrot kullanılır. *Beynin farklı bölgelerinin farklı işler görmesi. *Yapmak istediğimiz BCI’nin hangi amaca göre çıkarım yapılacağı burada ayrılır. *Bir sonraki basamak için çıkartılacak en iyi öznitelik bulunur.

Beyin Bilgisayar Arayüzü NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR Verinin İşlenmesi, 3. Öznitelik Çıkarma: • BCI çıkış komutu üretmek için gerekli olan özellikler; • 8 -12 Hz ve ya 18 -26 Hz yüksek beta genlikleri vardır. • P 300 ve Yavaş kortikal potansiyeller • İzgel Güç yoğunluğu (power spectral density) • Zaman domeni dalga formları parametreleri bulunmaktadır. SONUÇ VE İLERİ ÇALIŞMALAR

Beyin Bilgisayar Arayüzü NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR SONUÇ VE İLERİ ÇALIŞMALAR Verinin İşlenmesi, 3. Öznitelik Çıkarma: P 300 nedir? «P 300 dalgası, karar verme sürecinde ortaya çıkan bir olay ilişkili potansiyel bileşenigenliğidir. » Bu durum, bir fiziksel uyaran sonucu, kişinin reaksiyonlarından meydana gelen bağlantılar ve dalgalardır. P 300 uyaranı değerlendirme sınıflandırma olarak düşünülmüştür. Not: P 300 harici P 200 genlikleri de mevcuttur.

Beyin Bilgisayar Arayüzü NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR SONUÇ VE İLERİ ÇALIŞMALAR Verinin İşlenmesi, 3. Öznitelik Çıkarma: İzgel Güç yoğunluğu (power spectral density): «İstatistiksel sinyal işleme olarak da bilinir, deterministik bir fonksiyon ile bir frekans güç değişkeninin Hertz başına enerji boyutları vardır. Fourier çevrimi de kullanılır. Plancherel teoremi de kullanılması sonucu elde edilebilir. Bu işlemler sonucunda zaman serisi güç frekansını verir. »

Beyin Bilgisayar Arayüzü NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR SONUÇ VE İLERİ ÇALIŞMALAR Verinin İşlenmesi, 3. Öznitelik Çıkarma: Yavaş Kortikal Potansiyelleri «Yavaş kortikal potansiyeller, (EEG) veya (MEG) manyetik alan değişikliklerinde, 300 ms ile birkaç saniye süren Negatif veya pozitif kutuplaşmalardır. » • Tüm bu verilerden hareketle bir karşılaştırma işlemi yapılır. • Bu işlemlerde esas Eğitim verileridir. • Burada YKP’ların kullanılıp kullanılamayacağı hakkında bilgi sahibi olunur. • Frekans domeni de önemlidir.

Beyin Bilgisayar Arayüzü NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR SONUÇ VE İLERİ ÇALIŞMALAR Verinin İşlenmesi, 4. Sınıflandırma: Sınıflandırma işlemi, farklı düşünsel ve görsel durumlara göre kaydedilen öznitelik vektörlerinin önceki süzgeçlerden geçerek, sınıflandırılması en son işlemdir. En Çok Kullanılanları; *Destek Vektör Makineleri(Support Vector Machines)dır. Bunun yanında çeşitli yöntemlerde(k’ya en yakın komşuluk vs. ) kullanılmaktadır. K’ya en yakın komşuluk: «KNN algoritması sorgu vektörünün en yakın k komşuluktaki vektör ile sınıflandırılmasının bir sonucu olan denetlemeli, oldukça basit bir öğrenme algoritmasıdır. »

Beyin Bilgisayar Arayüzü NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR SONUÇ VE İLERİ ÇALIŞMALAR Verinin İşlenmesi, 4. Sınıflandırma: Destek Vektör Makineleri: • Sınıflandırma (Classification) konusunda kullanılan oldukça etkili ve basit yöntemlerden birisidir. • Sınıflandırma için bir düzlemde bulunan iki grup arasında bir sınır çizilerek iki grubu ayırmak mümkündür. • Bu sınırın çizileceği yer ise iki grubun da üyelerine en uzak olan yer olmalıdır • İşte DVM bu sınırın nasıl çizileceğini belirler.

Beyin Bilgisayar Arayüzü NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR SONUÇ VE İLERİ ÇALIŞMALAR Verinin İşlenmesi, 4. Sınıflandırma: Destek Vektör Makineleri: • Hem doğrusal olarak ayırt edilebilen hem de edilemeyen veri kümesini sınıflandırabilir • Doğrusal olmayan bir eşlem ile n boyutlu veri kümesi m > n olacak şekilde m boyutlu yeni bir veri kümesine dönüştürülür • Yüksek boyutta doğrusal sınıflandırma işlemi yapılır • Uygun bir dönüşüm ile her zaman veri bir hiper düzlem ile iki sınıfa ayrılabilir • Hiper düzleme en yakın öğrenme verileri destek vektörleri olarak adlandırılır.

Beyin Bilgisayar Arayüzü NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR SONUÇ VE İLERİ ÇALIŞMALAR Analizdeki Teknik Zorluklar: ÇOK SENSÖRLÜ BEYİN VERİSİNİN ANALİZİNDEKİ TEKNİK ZORLUKLAR: • • Çok giriş-çok değişken. Çok değişken çok sınıf Çok sınıf=veritabanı Aşırı Yüklenme?

Beyin Bilgisayar Arayüzü NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR SONUÇ VE İLERİ ÇALIŞMALAR Analizdeki Teknik Zorluklar: Çözüm: *Kullanışlı özelliklerin veri boyunca küçültülmesi. *Özellik açma tekniği ve Diskriminant analizi de bir çözüm olarak görülür. Özelliklerin Açılması Çözüm: BCI uygulamalarının geçici ve uzamsal olarak ayrılması(öznitelik) • EEG verisi ve Laplacian filtresinden geçmelidir. • Bundan sonraki durumlarda öznitelik vektörünün oluşumundaki veri boyutunun azaltılması ve gürültülerden tamamen arındırılması sonucu elde edilebilir.

Beyin Bilgisayar Arayüzü NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR SONUÇ VE İLERİ ÇALIŞMALAR Sonuç: BCI sistemleri hala gelişmekte olan sistemler olup, geleceğin teknolojisi olarak görülmektedir. Bu sistemler, oldukça popüler bir araştırma kısmı olup dünyada yüzlerce araştırma yapılmaktadır. Bu araştırmalar sonucunda dünyadaki engelli, felçli insanlara, bir uzvunu kaybetmiş savaş mağduru kişilere bir çözüm olabilecektir.

Beyin Bilgisayar Arayüzü NEDİR? NASIL ÇALIŞIR BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR SONUÇ VE İLERİ ÇALIŞMALAR İleri Çalışmalar: Genel olarak, EEG’nin kullanım alanı, uzuvlarını kaybetmiş kişileri amaçlasa da, farklı sosyal alanlarda da kullabilmesi düşünülmektedir; Bunlardan, günümüzde henüz yaygınlaşmamış Google Glass’ın beyin sinyalleriyle kontrol edilmesi(veya benzeri bir geliştirme yapılması), Düşüncelerin sözcüklere aktarılıp, bilgisayara aktarılması, Sadece beyin sinyallerinin kullanılması ile, bir hamam böceğinin kullanılması, gibi düşünceler çoğaltılabilmesidir.

Beyin Bilgisayar Arayüzü NEDİR? NASIL ÇALIŞIR EPOCH ve EEG BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR SONUÇ VE İLERİ ÇALIŞMALAR

Beyin Bilgisayar Arayüzü NEDİR? NASIL ÇALIŞIR Roboroach BBA SÜRECİ-VERİNİN İŞLENMESİ ZORLUKLAR SONUÇ VE İLERİ ÇALIŞMALAR

Teşekkürler.