Introduktion till sprkteknologi Introduktion Sprkteknologi Vi studerar vad

Introduktion till språkteknologi Introduktion

Språkteknologi • Vi studerar vad som krävs för att få datorer att utföra nyttiga och intressanta uppgifter med mänskliga språk. • Vi är också intresserade av de insikter som studier av datormodeller ger oss om det mänskliga språket. 2

Varför bry sig? 1. En enorm mängd kunskap är numera tillgänglig i form av maskinläsbar text 2. Samtalsagenter håller på att bli en viktig form av människa-dator-kommunikation 3. En stor del av vår kommunikation med andra människor förmedlas nu av datorer 3

Näringslivet • Mycket på gång … 4

Google Translate 5

Google Translate 6

Webbsökning • Mer och mer språkteknologi … 7

Frågebesvarande system • Ett steg till … 8

Webb-bevakning • Informationsextraktion från bloggar, diskussionsforum och andra former av användargenererade media w Marknadsföring w Opinionsundersökning w Nätverksanalys w Trendanalys 9

Röststyrning • Tala med datorn (mobilen, TVn, spisen …) • Hands free, eyes free 10

Språkstöd • Skrivstöd: w Stavningskontroll w Grammatikkontroll • Stöd för funktionshinder: w Talsyntes för synskadade w Stöd och träningsprogram för dyslexi och afasi w Alternativ och kompletterande kommunikation • Språkundervisning 11

Tillämpningar • Vad gör en tillämpning språkteknologisk (till skillnad från annan programvara)? • Den kräver att man utnyttjar kunskap om det mänskliga språket. w w w Exempel: “Räkna ord” i Word Sidor? Ord? Tecken? Stycken? Rader? 12

Vad är problemet? • Datorer förstår formella språk w Programspråk (C, Java, Python …) w Märkspråk (XML, HTML, …) • Mänskliga språk har andra egenskaper w Flertydighet w Vaghet w Ofullständighet w Variation w Produktivitet w Redundans 13

Flertydighet • Lexikal flertydighet w Mellan ordklasser § fiskar – verb eller substantiv? § var – verb, adverb eller substantiv? w Inom ordklass § fil – verktyg, mejeriprodukt, datorterm eller körfält? • Strukturell flertydighet § Hon träffade killen med flaskan • Syftningsflertydighet: § Hon tappade glaset på bordet och det gick sönder 14

Vaghet och ofullständighet • Många uttryck är vaga (oprecisa) § Var går gränsen mellan eftermiddag och kväll? § Vad är en stor respektive liten hund? Häst? • Mycket lämnas outsagt: § Hunden var glad. Svansen viftade oupphörligt. § En dator som förstår dig som din mamma. 15

Variation • Synonymi § tjej § flicka § tös § jänta • Parafras § Pelle bor i Uppsala. § Det är i Uppsala Pelle bor. § Pelle bor i staden med Nordens äldsta universitet. § I Uppsala bor katten utan svans. 16

Produktivitet • Språket får hela tiden nya ord och (inte minst) nya betydelser för gamla ord § tjejsamla, tjejlyssna § mus, skrivbord, ikon, papperskorg • Antalet möjliga meningar är oändligt § Det regnar och det blåser och jag har tandvärk och cykeln är trasig och … • Vi uttrycker oss ofta indirekt (ironi, överdrift, underdrift, metaforer) § Jag kommer att dö av skam. § Hon var verkligen i toppform. 17

Redundans • Samma betydelse signaleras på flera sätt § Igår sken solen – förfluten tid § En ny cykel – obestämdhet • Behovet av redundans ökar med yttre omständigheter (buller, dålig täckning) 18

Vad behöver vi kunna? • Lingvistik w Kunskap om det mänskliga språket • Datavetenskap w Kunskap om datorer och formella språk • Språkteknologi w Specialiserade tekniker som kombinerar lingvistik och datavetenskap 19

Lingvistik • Delområden w Fonetik, fonologi, grafonomi – tal och skrift w Morfologi och syntax – ord och meningar w Semantik och pragmatik – betydelse och bruk • Kurser på programmet w Lingvistik I (1) w Grammatik för språkteknologer (1) w Semantik och pragmatik (2) w Fonetik I (4) 20

Datavetenskap • Delområden w Programmering w Matematisk modellering w Maskininlärning • Kurser på programmet w Introduktion till datateknik för språkvetare (1) w Matematik för språkteknologer (2) w Programmering för språkteknologer I (2) w Maskininlärning i språkteknologi (3) w Programmering för språkteknologer II (3) 21

Språkteknologi • Delområden: w Bastekniker (tal/skrift, morfologi, syntax, semantik) w Praktiska tillämpningar • Kurser på programmet w w w w Introduktion till språkteknologi (1) Grundläggande textanalys (2) Syntaktisk analys i språkteknologi (3) Semantisk analys i språkteknologi (3) Talteknologi* (4) Maskinöversättning (4) Informationssökning (4) 22

Den här kursen • Introduktion med fokus på tillämpningar w Skrivstöd w Språkinlärning w Informationssökning w Textklassificering w Dialogsystem w Maskinöversättning • Språkteknologiska tekniker w Tas upp för relevanta tillämpningar w Övas i praktiska laborationer 23