Fria ordbcker och andra sprkresurser Viggo Kann professor

Fria ordböcker och andra språkresurser Viggo Kann professor i datalogi vid KTH Symposium om språk och Internet, 14 maj 2008

Vad är en fri språkresurs? Anyone can use it in an application n Anyone can study it and modify it n Anyone can take a copy of it n Anyone can improve it, release the improvements to the public, so that the whole community benefits n (baserat på Four freedoms of free software, Richard Stallman)

Stark och världsomspännande rörelse för fri programvara n GNU-projektet n FSF – Free Software Foundation n GPL – GNU General Public License n OSI – Open Software Initiative n Linux, Te. X, Emacs, GCC, My. SQL, PHP, Java, Python, Firefox

Gruppen Fria svenska ord hade sitt första möte på KTH i januari 2008 11 personer från hela Sverige n Lars Aronsson: projekt Runeberg och svenska Wikipedia (Wiktionary) n Lars Törnquist och Sven Lange: Svensk tesaurus byggd på Bring (1930) n Christian Mattson: Lexin - lexikon

n Niklas Johansson: Stavningskontroll och rättstavning i Open. Office n Göran Andersson: DSSO – Den stora svenska ordlistan n Viggo Kann: Stava, Granskataggaren, Synlex, Tvärslå - nordiskt lexikon n Per Starrbäck, Leif-Jöran Olsson, Tomas Padron-Mc. Carthy, Erik Geijer

Planer för fler fria språkresurser n Svenska synonymer i Open. Office (Niklas) n Utvidga DSSO med synonymer, associationer etc (Göran) n Bygg en fri svensk-engelsk ordbok (Viggo) n Testa svensk grammatikkontroll i Languagetool/Open. Office (Viggo&Niklas)

Typiska sätt att konstruera en resurs …om du är en frispråkteknolog: programvaruhacker: n Skaffa finansiering n Använd andra fria resurser n Använd resurser som är tillgängliga för n Samla data från forskare massor av människor, t ex med wiki eller n Anställ lingvister som webbformulär gör det stora jobbet

Exempel: Synlex n Skapa ett svenskt synonymlexikon som en lista av synonyma ordpar n Jag är lat och vill inte jobba så mycket n Jag är snål och vill inte anställa någon n Det konstruerade synonymlexikonet ska bli en fri språkresurs

Idéer n Konstruera automatiskt en massa ordpar som kan vara synonymer n Använd tiotusen människor som var och en är villig att bidra en smula utan betalning, genom att kontrollera ordpar

Fler idéer n Använd Lexins svensk-engelska lexikons webbsida som hade 9 miljoner (nu 25 M) uppslagningar varje månad. n Användare besöker Lexin för att översätta ord och är därför nog motiverade att hjälpa mej. n Vid varje uppslagning får användaren möjlighet att avgöra om två ord är synonymer.

Analys av användarnas bedömningar n 1, 2 miljoner gjordes på mindre än 2 månader n Jag gjorde statistik och följde utvecklingen och ställde in urvalskriterier och skräpdatatrösklar n Många användare lämnade synpunkter

Bättre och bättre bedömningar allteftersom

Lite statistik (2008) n 2, 8 M bedömningar har gjorts n 75 000 ordpar (bedömda ≥ 2) i lexikonet n 108 000 användarföreslagna ordpar n 62 000 olika användarordpar n 20 000 av dom har accepterats

Exempel: Synonymer till klass 5: rang rank slag 4: kategori stånd årskurs 3: fack grad grupp kvalitet nivå 3: sort standard stil 2: skikt storleksordning typ 1: poäng stadga 0: uppdrag utbilda

Hur undviks missbruk? n Många bedömningar krävs innan ett ordpar anses vara bra n Ordparen som ska föreslås väljs slumpmässigt från en enorm lista n Ordpar som föreslås av användarna stavningskontrolleras innan dom läggs till den enorma listan

Folkets definition av synonymitet n Exakta betydelsen av 'synonym' definierades inte. n Användarna bedömer efter sin intuitiva bild av konceptet synonymitet. n Det skapade lexikonet bygger på folkets egen definition av synonymitet, vilket förhoppningsvis är precis vad folket vill!

Länkar n www. dsso. se Den stora svenska ordlistan n www. nada. kth. se/stava Stavningsprogram n lexin. nada. kth. se/synlex. html 75 000 synonymer n sv. wiktionary. org 50 000 -ords lexikon n www. thesauruslex. com Hyperlexikon n spraakbanken. gu. se Saldo – svenskt associationslexikon