Kakve su vrste podataka potrebne i zato Sanja

Kakve su vrste podataka potrebne i zašto? Sanja Seljan Sveučilište u Zagrebu, Filozofski fakultet Radionica ELRC-a u Hrvatskoj, Zagreb, 2016 -04 -21 Kakve su vrste podataka potrebne… 1

Kakve su nam vrste podataka potrebne? • statističko strojno prevođenje = paradigma strojnoga prevođenja upravljanog podatcima • sustavi za strojno prevođenje uče iz postojećih podataka • ELRC-ovo žarište zanimanja: podatci na svim službenim jezicima EU/CEF-a • jezični se resursi proizvode iz – dokumenata i drugih vrsta podataka – ključna nam je vaša pomoć u podatcima koje posjedujete ili za njih znate Radionica ELRC-a u Hrvatskoj, Zagreb, 2016 -04 -21 Kakve su vrste podataka potrebne… 2

Što su podatci za strojno prevođenje? • sve u čemu se mogu pronaći: – riječi – rečenice (bolje) – rečenice na više jezika (najbolje) • primjeri – – izvješća, govori, tekst s mrežnih stranica, brošure, itd. • dva pristupa – „vreće riječi”, „vreće rečenica”, višestruke „vreće” – sravnjeni tekstovi Radionica ELRC-a u Hrvatskoj, Zagreb, 2016 -04 -21 Kakve su vrste podataka potrebne… 3

Što su podatci za strojno prevođenje? Radionica ELRC-a u Hrvatskoj, Zagreb, 2016 -04 -21 Kakve su vrste podataka potrebne… 4

Kakve su nam vrste podataka potrebne? Prijevodi. Radionica ELRC-a u Hrvatskoj, Zagreb, 2016 -04 -21 Kakve su vrste podataka potrebne… 5

Kakve su nam vrste podataka potrebne? Sravnjeni tekstovi. engleski Radionica ELRC-a u Hrvatskoj, Zagreb, 2016 -04 -21 hrvatski Kakve su vrste podataka potrebne… 6

Usporedive zbirke tekstova engleski hrvatski španjolski Τelecommunication occurs when the exchange of information between two or more entities (communication) includes the use of technology. Telekomunikacija se javlja kada nastane razmjena informacija između izvora informacije i odredišta informacije s pomoću tehnologije. Communication technology uses channels to transmit information (as electrical signals), either over a physical medium (such as signal cables), or in the form of electromagnetic waves. Komunikacijska tehnologija koristi kanale za prijenos informacija preko fizičkog medija (poput signalnih kabela) ili u obliku elektromagnetskih valova. [1][2] Una telecomunicación es toda transmisión y recepción de señales de cualquier naturaleza, típicamente electromagnéticas, que contengan signos, sonidos, imágenes o, en definitiva, cualquier tipo de información que se desee comunicar a cierta distancia. The word is often used in its plural form, telecommunications, because it involves many different technologies. Rani načini komunikacije preko velikih udaljenosti su uključivali vizualne signale poput svjetlosne signalizacije, dimnih signala, sustava semafora itd. Por metonimia, también se denomina telecomunicación (o telecomunicaciones, indistintamente) a la disciplina que estudia, diseña, desarrolla y explota aquellos sistemas que permiten dichas comunicaciones; de forma análoga, la ingeniería de telecomunicaciones resuelve los problemas técnicos asociados a esta disciplina. izvor: prve rečenice članka Telecommunications u engleskoj, hrvatskoj i španjolskoj Wikipediji. Radionica ELRC-a u Hrvatskoj, Zagreb, 2016 -04 -21 Kakve su vrste podataka potrebne… 7

Kakve su nam vrste podataka potrebne? Sravnjeni prijevodi. Radionica ELRC-a u Hrvatskoj, Zagreb, 2016 -04 -21 Kakve su vrste podataka potrebne… 8

Rječnici / terminološke zbirke / ontologije ID FR ES EL 6905 abandon scolaire abandono escolar διακοπή της σχολικής φοίτησης 920 abats despojo παραπροϊόντα σφαγίων 1857 abattage d'animaux sacrificio de animales σφαγή ζώων 6621 abrogation derogación κατάργηση 5075 Abruzzes Abruzos 5339 absentéisme absentismo Αβρουζία συστηματική απουσία από την εργασία 5984 abstentionnisme abstencionismo αποχή 2 abus de confiance abuso de confianza απιστία 96 abus de droit abuso de derecho κατάχρηση δικαιώματος 186 abus de pouvoir abuso de poder κατάχρηση εξουσίας 280 accès à l'éducation acceso a la educación πρόσβαση στην εκπαίδευση 372 accès à l'emploi acceso al empleo πρόσβαση στην αγορά εργασίας Radionica ELRC-a u Hrvatskoj, Zagreb, 2016 -04 -21 Kakve su vrste podataka potrebne… 9

Kakve su nam vrste podataka potrebne? Sravnjeni prijevodi. • Anything that contains “words”, preferences for “sentences”, even for sentences expressed in multiple languages • Examples: reports, speeches, web pages, brochures, etc. • Bags of “words”, “sentences”, multiple bags – Especially documents or parts of them with their translations in one or moreengleski languages Radionica ELRC-a u Hrvatskoj, Zagreb, 2016 -04 -21 hrvatski Kakve su vrste podataka potrebne… 10

Gdje pronaći podatke? U digitalnome svijetu. Radionica ELRC-a u Hrvatskoj, Zagreb, 2016 -04 -21 Kakve su vrste podataka potrebne… 11

Koji oblik zapisa podataka? Digitalni tekstni podatci. Radionica ELRC-a u Hrvatskoj, Zagreb, 2016 -04 -21 Kakve su vrste podataka potrebne… 12

Dokumentirani podatci (metapodatci) Osnovi skup metapodataka Dublin Core 1. Title 2. Creator 3. Subject 4. Description 5. Publisher 6. Contributor 7. Date 8. Type 9. Format 10. Identifier 11. Source 12. Language 13. Relation 14. Coverage 15. Rights Radionica ELRC-a u Hrvatskoj, Zagreb, 2016 -04 -21 Kakve su vrste podataka potrebne… 13

Kako se jezični resursi (JR) proizvode iz prikupljenih podataka? • pogledajmo na primjeru kako sirovi podatci (npr. HTML s tablicama, slikama itd. ) postaju jezični resurs – pronalazak i identifikacija izvora – rješavanje autorskih prava i prikupljanje podataka (preuzimanje, pobiranje, puzanje…) – čišćenje podataka (npr. pronalaženje i uklanjanje netekstnih elemenata, obrazaca, slika, html-oznaka, itd. , konverzija zapisa) – primjer alata za čišćenje (npr. Boilerpipe) – dokumentiranje podataka – prepoznavanje dokumenata s prijevodima – razdioba na rečenice i sravnjivanje prijevoda – izračunavanje pouzranosti sravnjivanja – dijeljenje podataka Radionica ELRC-a u Hrvatskoj, Zagreb, 2016 -04 -21 Kakve su vrste podataka potrebne… 14

Upravljanje dvojezičnim podatcima primjer (1/4) Word docs iz http: //www. diplomatie. gouv. fr/fr/photos-videos-publications/enjeux-planetaires-cooperation/rapports/article/rapports-du-groupe-pilote, Financements innovants pour l’agriculture, la sécurité alimentaire et la nutrition, Ministère des Affaires étrangères et du Développement international engleska inačica francuska inačica Radionica ELRC-a u Hrvatskoj, Zagreb, 2016 -04 -21 Kakve su vrste podataka potrebne… 15

Upravljanje dvojezičnim podatcima primjer (2/4) report rapport Comité d’experts expert Com- mittee Leading Group on Innovative Financing for Development at its 9 th plenary session in Mali (Bamako) in June 2011. report Radionica ELRC-a u Hrvatskoj, Zagreb, 2016 -04 -21 Groupe pilote sur les financements innovants pour le développement lors de sa 9 e session plénière, qui s’est tenue au Mali (Bamako) en juin 2011. rapport Kakve su vrste podataka potrebne… 16

Upravljanje dvojezičnim podatcima primjer (3/4) engleska inačica – sirovi tekst francuska inačica – sirovi tekst Executive Summary This report is the result of a collective work carried out by the high level expert Committee and a writing team commissioned by the Task Force on Innovative Financing for agriculture, food security and nutrition created by the Leading Group on Innovative Financing for Development at its 9 th plenary session in Mali (Bamako) in June 2011. The report includes an analysis of the need for innovating financing dedicated to the agricultural, food security and nutrition sector, a critical review of existing and possible mechanisms and a proposed selection of avenues for the development of such mechanisms on the basis of the expertise of a high level Committee of experts, literature review, meetings with relevant profes sional actors and an on line consultation on the Global Forum on food security and nutrition (FSN Forum)1. The setting up of the Task Force on Innovative Financing for agriculture, food security and nutri tion responds to current and future crucial challenges faced by the international community [. . . ] Résumé Le présent rapport résulte d’un travail collectif mené par le Comité d’experts de haut niveau et une équipe de rédacteurs désignés à cette fin par le groupe de travail sur les financements innovants pour l’agriculture, la sécurité alimentaire et la nutrition. Ce groupe de travail a été créé par le Groupe pilote sur les financements innovants pour le développement lors de sa 9 e session plénière, qui s'est tenue au Mali (Bamako) en juin 2011. Le présent rapport comporte une analyse des raisons pour lesquelles des financements innovants dédiés à l'agriculture, à la sécurité alimentaire et à la nutrition sont nécessaires, propose un examen critique des mécanismes existants et possibles, et présente une sélection de méthodes pour mettre au point ces mécanismes. Il s'appuie à ces fins sur l'expertise du Comité d'experts de haut niveau, une analyse bibliographique, des réunions avec les professionnels concernés et la consultation en ligne organisée par le Forum global sur la sécurité alimentaire et la nutrition (Forum FSN)1. Le groupe de travail sur les financements innovants pour l’agriculture, la sécurité alimentaire et la nutrition a été créé pour relever les défis majeurs, actuels et futurs, auxquels la communauté [. . . ] Radionica ELRC-a u Hrvatskoj, Zagreb, 2016 -04 -21 Kakve su vrste podataka potrebne… 17

Upravljanje dvojezičnim podatcima primjer (4/4) sravnjivanje engleske i francuske inačice S 1. Executive Summary S 2. This report is the result of a collective work carried out by the high level expert Committee and a writing team commissioned by the Task Force on Innovative Financing for agriculture, food security and nutrition created by the Leading Group on Innovative Financing for Development at its 9 th plenary session in Mali (Bamako) in June 2011. S 3. The report includes an analysis of the need for innovating financing dedicated to the agricultural, food security and nutrition sector, a critical review of existing and possible mechanisms and a proposed selection of avenues for the development of such mechanisms on the basis of the expertise of a high level Committee of experts, literature review, meetings with relevant profes sional actors and an on line consultation on the Global Forum on food security and nutrition (FSN Forum)1. S 4. The setting up of the Task Force on Innovative Financing for agriculture, food security and nutri tion responds to current and future crucial challenges faced by the international community [. . . ] Radionica ELRC-a u Hrvatskoj, Zagreb, 2016 -04 -21 S 1. Résumé S 2. Le présent rapport résulte d’un travail collectif mené par le Comité d’experts de haut niveau et une équipe de rédacteurs désignés à cette fin par le groupe de travail sur les financements innovants pour l’agriculture, la sécurité alimentaire et la nutrition. S 3. Ce groupe de travail a été créé par le Groupe pilote sur les financements innovants pour le développement lors de sa 9 e session plénière, qui s'est tenue au Mali (Bamako) en juin 2011. S 4. Le présent rapport comporte une analyse des raisons pour lesquelles des financements innovants dédiés à l'agriculture, à la sécurité alimentaire et à la nutrition sont nécessaires, propose un examen critique des mécanismes existants et possibles, et présente une sélection de méthodes pour mettre au point ces mécanismes. S 5. Il s'appuie à ces fins sur l'expertise du Comité d'experts de haut niveau, une analyse bibliographique, des réunions avec les professionnels concernés et la consultation en ligne organisée par le Forum global sur la sécurité alimentaire et la nutrition (Forum FSN)1. S 6. Le groupe de travail sur les financements innovants pour l’agriculture, la sécurité alimentaire et la nutrition a été créé pour relever les défis majeurs, actuels et futurs, auxquels la communauté [. . . ] Kakve su vrste podataka potrebne… 18

Bolja alternativa… • ono što se ovakvim postupkom može prikupiti pripada „vidljivome internetu” • mnogo više tekstovnih podataka nalazi se spremljeno kod vas • pomozite nam pronaći izvore tih podataka • ovaj se postupak može pretvoriti u tvornicu jezičnih resursa (automatizacija postupka) uz vašu pomoć u prikupljanju vaših dokumenata, izvješća, datoteka itd. Radionica ELRC-a u Hrvatskoj, Zagreb, 2016 -04 -21 Kakve su vrste podataka potrebne… 19

Vidljivi podatci i svi postojeći podatci Radionica ELRC-a u Hrvatskoj, Zagreb, 2016 -04 -21 Kakve su vrste podataka potrebne… 20

Vaše podatci… „Duboka mreža” Radionica ELRC-a u Hrvatskoj, Zagreb, 2016 -04 -21 Kakve su vrste podataka potrebne… 21

Bolja alternativa… • takvi dokumenti već postoje – u raznim dokumentacijskim centrima (prevedena izvješća, letci, brošure, govori, mrežne stranice itd. ) – kod prevoditelja ili prijevodnih tvrtki koji su angažirane kao vanjski suradnici • pomozite nam pronaći i povezati se s oba ova izvora podataka – v. sljedeći okrugli stol Radionica ELRC-a u Hrvatskoj, Zagreb, 2016 -04 -21 Kakve su vrste podataka potrebne… 22

Vaša nam je suradnja bitna zato se, molimo vas, uključite! BRING YOUR OWN Language Resources SVATKO DONOSI DONESITE SVOJE RESURSE JEZIČNE RESURSE Radionica ELRC-a u Hrvatskoj, Zagreb, 2016 -04 -21 Kakve su vrste podataka potrebne… 23

Vaša nam je suradnja bitna zato, molimo vas, surađujmo! Radionica ELRC-a u Hrvatskoj, Zagreb, 2016 -04 -21 Kakve su vrste podataka potrebne… 24

Radionica ELRC-a u Hrvatskoj, Zagreb, 2016 -04 -21 Kakve su vrste podataka potrebne… 25

• Kako pomoći u dijeljenju podataka? • Vidjeti obavijesti o Repozitoriju uspostavljenom posebno za ovu namjenu. • Koliko je podataka potrebno? Radionica ELRC-a u Hrvatskoj, Zagreb, 2016 -04 -21 Kakve su vrste podataka potrebne… 26

A Commonly used measure (quality assessment) Nb. of pages of texts/Million words Radionica ELRC-a u Hrvatskoj, Zagreb, 2016 -04 -21 Kakve su vrste podataka potrebne… 27

Zaključne napomene • Kad se podatci već proizvedu i negdje su pohranjeni – moguća je njihova ponovna uporaba i recikliranje • Zašto je to važno? – statističko strojno prevođenje učinkovitije je uz što veću količinu podataka • Nemojmo podcijeniti vrijednost naših vlastitih podataka! • Kako možemo pridonijeti, ali i imati koristi od CEF. AT-a? – (sljedeće sesije) Radionica ELRC-a u Hrvatskoj, Zagreb, 2016 -04 -21 Kakve su vrste podataka potrebne… 28

Zahvaljujem na pozornosti. Radionica ELRC-a u Hrvatskoj, Zagreb, 2016 -04 -21 Kakve su vrste podataka potrebne… 29