Derlem Dilbilim Giri Bilgisayar ve Dil likisi Nedir

Derlem Dilbilim: Giriş

Bilgisayar ve Dil İlişkisi Nedir? Ø Bilgisayar Uygulamaları Sözcük işlemleyici (word processor) Ø World Wide Web-Arama Motorları § İndeksleme, bilgiye ulaşma ve çağırm E-posta, MSN ØMakine Çevirisi (google translation) ØSes tanıma ve sentezleme 2

Bilgisayar Mühendisi Dil Hakkındaki Bilgiye Nasıl Ulaşır? • Dilbilimcilerle işbirliği yapar. • Dili betimlemeye ilişkin nicel ve nitel bilgiye sahiptir. • Geliştireceği yazılımla ilgili gerekli testleri yapabilmek için dil kullanım malzemesini kendisi toplar. 3

Dile İlişkin Nicel Bilgi Nedir? • İngilizcede en sık kullanılan ilk 5 sözcük nedir? • Türkçede en sık kullanılan ilk 5 sözcük nedir? • Sözlü İngilizcede en sık kullanılan ve ilk 3 sırayı alan 2’li ve 6’lı sözcük kümeleri nelerdir? • Türkçe bilgilendirici metinler ve kurgusal metinler en sık kullanılan 3’lü sözcük kümeleriyle birbilerinden ayrılabilir mi? Metin türüne özgü sözcük kümeleri var mıdır? 4

Gerçekleşmiş Dil Verisi Nedir? • “goalless” sözcüğünün anlamı nedir? • “car” sözcüğünü erkekler mi kadınlar mı daha çok kullanıyor? • “Did you want more coffee? ” Geçmiş zamandaki İngilizce soru tümecesi hangi işlevde kullanılıyor? 5

Derlem Elektronik ortamda saklanan, belli bir zaman aralığında, belli bir dil ya da dil değişkesini temsil etmek üzere örneklenmiş özgün metin ve /veya konuşmalardan oluşan bütündür. (Mc. Enery, Xiao, Tono 2006)

Nicel Betimleme ve Gerçekleşmiş Dil Verisi için Dil Derlemi • Derlem, bilgisayarda saklanan, düzenli bir biçimde belli bir amaçla toplanmış, niceliksel ve niteliksel çözümlemeye uygun duruma gelmiş yazılı ve sözlü metinler toplamdır. Doğal dil kullanımı veritabanı. • Brown Corpus 1 milyon sözcük (1960) • BNC 100 milyon sözcük (1990 -1993) • Bank of English 650+ milyon sözcük • COCA 520 milyon (1990 -2015) • CANCODA 5 milyon sözcük (sözlü İngilizce) 7 • Oxford English Corpus 2. 5 bilyon

Web ve Derlemler 8

Sanal derlemler (Virtual corpora) 9

Derlem Büyüklüğü 10

http: //www. webcorp. org. uk http: //www. bncweb. lancs. ac. uk/ http: //corpus. byu. edu/coca/ http: //www. sketchengine. c o. uk Text Corpus Query System for All Languages 11

Yazılı ve Sözlü Türkçe Derlemler http: //www. tnc. org. tr ODTÜ Türkçe Derlemi ODTÜ Metin Düzeyinde İşaretlenmiş Derlem http: //std. metu. edu. tr

Türkçede Dil Derlemi: TUD v. 2. 0 • Türkçe Ulusal Derlemi (TUD)-v. 2. 0 • • • 49. 983 milyon sözcük yazılı veri 1990 -2013 yılları (2010 -2012 sözlü veriler) 9 konu alanı 34 dilsel tür 4978 veri kaynağı (döküman) 13

Sözlü Veri : TUD-v. 2. 0 • 1. 013 sözcük sayısıemi • 2009 -2012 yılları • Bağlam-bağımlı konuşma : 574. 267 • Günlük Konuşma : 439. 461 • 434 döküman 14

Nicel Betimleme: Sıklık Yazılı ve sözlü İngilizcede en sık kullanılan ilk 5 sözcük nedir? BNC- 100 milyon sözcük üzerinden Yazılı+sözlü Sözcük Sıklık the 61. 847 the 39. 605 of 29. 391 I 29. 448 and 26. 817 you 25. 957 a 21. 626 and 25. 210 in 18. 214 it 24. 508 15

Nicel Betimleme: Sıklık • Türkçede en sık kullanılan ilk 5 sözcük nedir? Aksan, Mersinli & Demirhan(2017)TUD- 50 milyon sözcük Sıklık bir 1. 402. 146 ol 1. 312. 151 ve 1. 178. 818 bu 989. 142 da 881. 669 16

• Sözlü İngilizcede en sık kullanılan ve ilk 3 sırayı alan 2’li ve 6’lı sözcük kümeleri nelerdir? • CANCODE – 5 milyon sözcük 2’li birimler 6’lı birimler 2’li birim Sıklık 6’lı birim Sıklık you know 28. 013 do you know what I mean 236 I mean 17. 158 at the end of the day 222 I think 14. 086 and all the rest of it 64 17

Üçlü Sözcük Kümeleri: Metin Türü Farkı Belirleme • Türkçe Kurgusal Metinler Derlemi Üçlü Birim Kurgu Bilg i. Oran dedim kendime 18 1 0. 06 dedi kendine 17 1 bir hali vardı 16 küçük bir çocuk gibi 28 bir an için 30 5 0. 17 öyle değil 35 8 0. 23 • Türkçe Bilgilendirici Metinler Derlemi Üçlü Birim Kurg u Bilgi. Oran bir başka deyişle 59 1 0. 02 0. 06 başta olmak üzere 25 2 0. 07 1 0. 06 bunun sonucu olarak 24 2 0. 08 3 0. 11 bu nedenle de 47 5 0. 11 bu tür bir 27 3 0. 11 18 bir bütün olarak 18 2 0. 11

(1) İkincisinde kapıcıyı buldum karşımda. "Olacak şey değil, " dedim kendime. Onu görmek çok güçtür çünkü. Cemil Kavukçu-Yalnız Uyuyanlar İçin (2) Havalı bir hali vardı Senem'in, yere göğe sığmayan. . . Ahmet Günbay Yıldız-Benim Çiçeklerim Ateşte Açar (3) Hem yaza düğün dernek var. İktisat etmeliyiz öyle değil mi, henüz on para biriktiremedik. Erdeniz Atasü-Dağın Öteki Yüzü (4) Ekonomik başkent Şangay başta olmak üzere Çinlilerin de son aylarda dolar satışını hızlandırdığı belirtildi. Cengiz Özakıncı-Euro Dolar Savaşı (5) Bu gözden geçirme ödevi bir bütün olarak ele almanızı ve bölümler arası ilişkilerin uygun kurulup kurulmadığını görmenizi sağlayacaktır. Türker 19 BaşBilimsel bir Çalışma Ödevi Nasıl Hazırlanır

Derlem Kullanımı Ne Sağladı? Dilin betimlenmesi Sözlük yazımı Dilbilgisi yazımı Dil eğitim malzemesi Psikodilbilim testleri Doğal Dil İşlemleme – İndekseleme, şifreleme… 20

Dil Sezgisi: Derlem Verisi BCNweb (CQP-edition) -COCA • “goalless” sözcüğünün anlamı nedir? • “car” sözcüğünü erkekler mi kadınlar mı daha çok kullanır? 21

22

23

24

25

26

27

“Did you want more coffee? ” Geçmiş zamandaki İngilizce soru tümcesi hangi işlevde kullanılıyor? Geçmiş zaman konuşma İngilizcesinde kibar teklif yaparken kullanılır. Geleneksel dilbilgisi kitapları geçmiş zaman için ne diyor? Geçmişte olmuş edimler, durmlar ya da olayları anlatır. E. g. I traveled to India last week. Derlem verisi ne gösteriyor? Konuşmalarda did+want/need soru kalıbı teklifte yapmak ya da konuşucunun tercihini sormak için kullanılır ve içinde bulunan zamana gönderme yapar. 28

Waiter: Did you need milk or cream for your coffee? Customer: No, I’m fine. Jose: Did you want to go to a movie? Sally: Uh-uh, I’m reading a book. Yuji: Did you want to try one of these drinks? George: Yeah, I’ll have one. Kathy: Did you want chocolate on top of these? Hassan: No thanks. 29

30

31

32

33

Sözcüklerin tipik kullanımları- İTDK Derlemi (250 bin sözcük) Anne sözcüğünün eşdizim örüntüleri Bulunduğu yer: ev, çocuğun okulu, pazar vb. w w w Annesi kapıda karşıladı onu. Kapının ziline üste bastı. Annesi kapıyı açtığı anda… Annem gülerek bizi kapıya kadar geçirdi. Üst kat komşumuz Münevver Hanım, kapıda annemle konuşuyor. Eve yaklaşınca koşmaya başlardım. Annem kapının önünde bizi beklerdi. 34 (Kurtoğlu & Uçar, 2011)

Sözcüklerin tipik kullanımları- İTDK Derlemi w w Annem mutfaktan seslendi. w w Annesi ile alışveriş merkezine gitti. Mutfağa doğru koştu. Anne bana iki tane boş yoğurt… Annem pazardan geldi. Okuldan döndüğümde annem evde yoktu. … Annem: - Aman oğlum, bugün işten biraz geç çıkacağım… (1) 35

İTDK Baba sözcüğünün eşdizim örüntüleri Bulunduğu yer: evin dışı, iş. • • • Akşam, babam eve gelince… Akşam babaları eve geldiğinde… Babası kentten dönüşünde ona… Babam İstanbul’a gittiğinde… Babam bir akşam sevinçle geldi. Dün akşam babam kapıdan girer girmez… Babaları, sabah işe gitmek üzereydi. Canımın içi, baban işten dönünce konuşuruz. Babam iş yerinden eve gelir gelmez… 36

Neden derlem kullanmalı? • Gerçekleşmiş dil verisi kullanımı • Sözvarlığı ve dilbilgisi öğelerinin ilişkisi- örüntüleri / düzenlilikleri belirleme • Keşfetme ve farkına varma yoluyla tümevarım yöntemiyle öğrenme • Dil betimlemede hiçbir zaman farkına varılmayan örüntüleri / düzenlilikleri gösterme 37

38

http: //www. bncweb. lancs. ac. uk/ http: //corpus. byu. edu/coca/ 39

İLGİNİZ İÇİN TEŞEKKÜR EDERİM 40