Proirenja invertovanoindeksnih operacija Cvetana Krstev as 3 1

Proširenja invertovanoindeksnih operacija Cvetana Krstev Čas 3. 1

Proširenja invertovano-indeksnih operacija n Predložena su i implementirana različita proširenja standardnih invertovano-indeksnih tehnika sa ciljem: q q pojednostavljivanja ovih operacija i poboljšanja pronalaženja. 2

Uslovi udaljenosti n Kada uskladišteni slogovi pokrivaju tekstove i dokumenta na prirodnom jeziku, termini koji se koriste za karakterisanje slogova se često vade iz samog teksta dokumenata. To je slučaj i kod ručnog i kod automatskog indeksirnja gde, u prvom slučaju, obučeni indekser bira termine, a u drugom, ih bira neki za to namenjen računarski program. Termini se obično biraju nezavisno jedan od drugog, ali veze između termina se uvode u formulacijama upita dodavanjem odgovarajućih Bulovih operatora. Tako, se recimo upit information and retrieval može upotrebiti za pronalaženje tekstova koji se bave opštom temom information retrieval. 3

Neadekvatnost bulovskih upita za povezivanje termina n n upit information and retrieval pronalazi dokumenta koja su indeksirana terminima i information i retrieval , što u slučaju ekstrahovanja termina iz teksta znači da su se oba pojavila u tekstu, ali ne nužno i zajedno. Na primer, Effective retrieval systems are essential for people in need of information. 4

Još neki primeri sa Google-a n 1. 2. 3. 4. 5. Pretraga sa beli and luk daje (između ostalog): U narodu beli luk je lek za sve. Predsjednik Hrvatskog sabora Luka Bebić sastao se u srijedu u Budafi s predsjednikom Narodne skupštine Mađarske Belom. . . Beli je morska luka otvorena za javni promet lokalnog značaja, a njezino proširenje je moguće uz prethodno obavljene istražne radove. . Beli je jedno od najstarijih i u prošlosti najvažnijih creskih naselja. . Nastao je kao luka starog naselja Bucevciji su ostaci nadeni kod crkve Sv. Marka. . . Luk čelični beli. Prodaje se na komad. 360. 00 RSD. 5

Još neki primeri sa Google-a n 1. 2. 3. 4. Pretraga sa minska bušotina daje (između ostalog): Pri bušenju minskih bušotina, kao i pri miniranju javlja se često niz problema. (strana 1) Ovaj metod se prvo koristio pri bušenju naftnih bušotina ali se danas koristi i za bušenje minskih rupa, probijanje iskopa kao i za probijanje tunela u punom. . . (strana 3) bušotina (što zavisi od svježine i razgranjenosti korijenja), a može i po dvije bušotine kako nam to. . . c) Određivanje količine eksploziva za minska punjenja: . . . (strana 3) Hiljade napuštenih naftnih bušotina u Meksičkom zaljevu potencijalna su ekološka “minska polja” koja se već desetljećima ignoriraju, … (strana 3) 6

Parametri blizine u specifikaciji upita n Specifikovana veza između dva ili više termina može da se ojača dodavanjem parametara blizine (nearness) specifikaciji upita. Dva moguća parametra ove vrste su: q q n n unutar rečenice i specifikacija susedstva, (A unutar iste rečenice kao B) implicira da termini A i B moraju zajedno da se pojave u istoj rečenici dok (A susedno sa B) implicira da se termini A i B moraju pojaviti kao susedni u tekstu. Kada se parametri blizine uključe u specifikaciju upita, tema se bliže definiše, a verovatnoća relevantnosti svake pronađene stavke je veća. 7

Primeri upita sa specifikacijom parametara blizine n n (information u istoj rečenici sa retrieval) (beli susedno sa luk) q n od pet primera odgovora koje nudi Google (slajd 5) samo prvi bi bio pronađen. (minski susedno sa bušotina) q od četiri primera odgovora koje nudi Google (slajd 6) samo prvi bi bio pronađen. 8

Implementacija specifikacije upita sa parametrima blizine n n Konceptualno, najjednostavniji način da se implementira specifikacija upita sa parametrom blizine je obrada šireg and-upita (A and B) a zatim odbacivanje pronađenih stavki koje ne zadovoljavaju dodatni uslov. Odmah se vidi da to zahteva operaciju skaniranja originalnog, polaznog, teksta svih stavki koje je pronašao upit (A and B), sa ciljem da se odbace one u kojima dva termina nisu onoliko blizu koliko traži upit. Sistemi za sravnjivanje teksta (o kojima će biti reči na nekom sledećem času) se mogu koristiti da bi se efikasno otkrilo prisustvo ili odsustvo određenih karaktera ili reči u tekstu dokumenta. Ali, operacije skaniranja teksta su skupe, sa stanovišta potrebnog vremena, i obično prespore za opštu upotrebu. Osim toga njihova primena narušava opšti princip sistema za pronalaženje da se dokumentima pristupa tek kada je utvrđeno da su dovoljno relevantni za korisnika. 9

Modifikacija invertovanog indeksa radi zadovoljavanja uslova udaljenosti iz upita n Poželjnije rešenje za zadovoljavanje uslova udaljenosti n sastoji se u uključivanju informacija o lokaciji termina u invertovani indeks. To omogućava da se provere uslovi blizine, a da se ne pristupa informacijama u zapisima glavne datoteke i da se ne sravnjuje tekst dokumenta sa terminima iz upita. Na specifikaciju “unutar rečenice” može se odgovoriti proširivanjem liste za svaki termin u invertovanom indeksu tako što se svakom pojavljivanju termina pridruži i podatak o rednom broju rečenice u kojoj se termin pojavljuje. 10

Primer: standardni invertovani indeks n n Posmatrajmo dve klasične liste za termine information i retrieval koje se pojavljuju u nekom invertovanom indeksu: information : {Z 345, Z 348, Z 350. . . } retrieval : {Z 123, Z 128, Z 345, Z 350. . . } Upit (information and retrieval) pronalazi dokumenta u zapisima {Z 345, Z 350} 11

Primer: prošireni invertovani indeks n Ako se dodaju podaci o lokaciji termina unutar rečenice, liste se proširuju na sledeći način: information : {Z 345, 25; Z 345, 37; Z 348, 10; Z 350, 8; . . . } retrieval : {Z 123, 5; Z 128, 25; Z 345, 37; Z 350, 21. . . } n n Ove liste sada ukazuju da se termin information pojavljuje dva puta u zapisu 345 i to u rečenicama 25 i 37, jednom u zapisu 348 u rečenici 10 i jednom u zapisu 350 u rečenici 8, itd. Termin retrieval pojavljuje jednom u zapisu 123 u rečenici 5, jednom u zapisu 128 u rečenici 25, jednom u zapisu 345 u rečenici 37, itd. 12

Postavljanje upita sa uslovima udaljenosti preko proširenog indeksa n n Koristeći ove proširene liste za termine information i retrieval iz indeksno-invertovane datoteke, na upit (information unutar iste rečenice retrieval) dobija se odgovor Z 345 jer liste za oba termina sadrže stavku Z 345, 37 koja govori da rečenica 37 zapisa Z 345 sadrži oba termina. Zapis Z 350 ne bi bio deo odgovora jer se termin information javlja u rečenici 8 a termin retrieval u rečenici 21 istog zapisa. Upit (information unutar iste rečenice retrieval) pronalazi dokument u zapisu {Z 345} 13

Dalje proširivanje invertovanog indeksa n n Dalja proširenja invertovano-indeksnih entiteta, koja mogu da pokriju, na primer, brojeve pasusa, brojeve rečenica unutar pasusa, brojeve reči unutar rečenica, i slično, mogu da pruže odgovore na upite kakvi su (information susedno sa retrieval) ili (information najviše 5 reči udaljeno od retrieval). Tako bi dve liste u novom invertovanom indeksu bile: information : {Z 345, 2, 3, 5; Z 345, 3, 8, 7; . . . } retrieval : {Z 123, 5, 1, 3; Z 128, 2, 5, 12; Z 345, 2, 3, 6; . . . } Upit (information susedno sa retrieval) bi pronašao kao relevantan dokument Z 345 jer on zadovoljava ograničenje susedstva - prvi termin pojavljuje se u 2 pasusu, 3. rečenici, kao 5. reč u zapisu Z 345 dok se drugi termin pojavljuje u 2. pasusu, 3. rečenica, kao 6. reč u istom dokumentu. 14

Nedostaci modifikovanog invertovanog indeksa koji zadovoljava uslove udaljenosti n Uključivanje informacija o lokaciji termina u invertovano-indeksne liste značajno uvećava veličinu indeksa, za faktor dva ili tri, jer svako pojavljivanje termina u dokumentu mora zasebno da bude zabeleženo, a ne samo jednom, kakav je slučaj sa jednostavnim invertovano-indeksnim listama. Međutim, ove informacije omogućavaju da se dobiju mnogo brži odgovori na upite sa uslovima udaljenosti nego što to izgleda moguće sa metodama sravnjivanja teksta. 15

Dodatni lokacijski uslovi n U nekim sistemima, mogu se nametati i dodatni lokacijski uslovi, koji ukazuju da se termin iz upita mora ograničiti na specifični deo dokumenta. Takva specifikacija lokacije može da bude oblika unutar-naslova, unutarbibliografskog-citata ili unutar apstrakta, a one se mogu zadovoljiti koristeći slične metode kao one koje se koriste za termine unutar rečenice. 16

Primer: kolekcija kuvarskih recepata n Pretpostavimo da su termini dodeljeni kuvarskim receptima izvađeni iz samog teksta, a ne dodeljeni kao što je to bio slučaj u primeru s prethodnog časa. Recimo da su termini sve imenice i pridevi iz teksta u svom rečničkom obliku (a ne u obliku u kome se javljaju u tekstu) 17

Primer – prvi dokument; termini (pridevi i imenice) ekstrahovani iz teksta n D 1: 1 Juneće šnicle posolite, utrljajte vegetu i n ostavite da odstoje. 2 Za to vreme ispržite na ulju seckan crni luk. 3 Slaninu isecite na rezance. 4 U vatrostalnu posudu poređajte meso, luk i odozgo slaninu, biber i lovorov list. 5 Prelijte belim vinom. 6 Kuvajte na umerenoj vatri. Termini: beo, biber, crn, juneći, list, lovorov, luk, meso, posuda, rezanac, seckan, slanina, šnicla, ulje, umeren, vatra, vatrostalan, vegeta, vino, vreme 18

Primer – drugi dokument ; termini (pridevi i imenice) ekstrahovani iz teksta n D 2: 1 Teleće šnicle špikovati slaninom i belim n lukom, uvaljati u rastopljeni puter i peći, dok ne porumene na 230 stepeni. 2 Tada dodati pavlaku i vino pa vratiti u rernu, na 180 stepeni, oko sat vremena. 3 Napraviti bešamel i dodati mu seckane orahe. Termini: beo, bešamel, luk, orah, rastopljen, pavlaka, puter, rerna, sat, seckan, slanina, stepen, šnicla, teleći, vino, vreme 19

Indeks je: n n n n n beo, D 1, D 2 bešamel D 2 biber, D 1 crn, D 1 juneći, D 1 list, D 1 lovorov, D 1 luk, D 1, D 2 meso, D 1 orah, D 2 n n n n n pavlaka, D 2 posuda, D 1 puter, D 2 rastopljen, D 2 rerna, D 2 rezanac, D 1 sat D 2 seckan, D 1, D 2 slanina, D 1, D 2 stepen, D 2 n n n n n šnicla, D 1, D 2 teleći, D 2 ulje, D 1 umeren, D 1 vatra, D 1 vatrostalan, D 1 vegeta, D 1 vino, D 1, D 2 vreme, D 1, D 2 Šta vraća upit (beo and luk)? {D 1, D 2} Šta vraća upit (seckan and slanina)? {D 1, D 2} 20

Prošireni indeks koji zadovoljava uslove udaljenosti je n n n n n beo, (D 1, 5) (D 2, 1) bešamel (D 2, 3) biber, (D 1, 4) crn, (D 1, 2) juneći, (D 1, 1) list, (D 1, 4) lovorov, (D 1, 4) luk, (D 1, 2) (D 1, 4) (D 2, 1) meso, (D 1, 4) orah, (D 2, 3) n n n n n pavlaka, (D 2, 2) n posuda, (D 1, 4) n puter, (D 2, 1) n rastopljen, (D 2, 1) n rerna, (D 2, 2) n rezanac, (D 1, 3) n sat, (D 2, 2) n seckan, (D 1, 2) (D 2, 3) n slanina, (D 1, 3) (D 1, 4) n (D 2, 1) stepen, (D 2, 1) (D 2, 2) šnicla, (D 1, 1) (D 2, 1) teleći, (D 2, 1) ulje, (D 1, 2) umeren, (D 1, 6) vatra, (D 1, 6) vatrostalan, (D 1, 4) vegeta, (D 1, 1) vino, (D 1, 5) (D 2, 2) vreme, (D 1, 2) (D 2, 2) Šta vraća upit (beli u istoj rečenici luk)? {D 2} Šta vraća upit (seckan u istoj rečenici slanina)? 21

Težine termina n Uvođenje pojma težine termina kako za termine iz dokumenata tako i za termine iz upita, u smislu njihovog značaja, omogućava da se vrednuju termini koji su značajniji za potrebe pretraživanja od drugih, manje značajnih. Ako se težine dodeljuju terminima iz dokumenata onda surogat nekog zapisa može da izgleda ovako: Zi={Ti 1, 0. 2; Ti 2, 0. 5; Ti 3, 0. 6}, što znači da termin 3 zapisa Zi ima težinu (značaj) 0. 6, dok termin 1 istog zapisa ima mnogo manju težinu (značaj) 0. 2. Kada se težina termina doda u invertovani indeks, pronađeni zapisi se mogu rangirati po opadajućim težinama sravnjenih termina između upita i dokumenata. 22

Kako su termini sa težinama dodeljeni dokumentima? n Strategija za dodeljivanje težine terminima dokumenta mora biti jednostavna za generisanje i laka za primenu. Postoji više metoda za (automatsko) dodeljivanje težina terminima o kojima će kasnije biti govora (u okviru teme automatsko indeksiranja). 23

Vektorski upiti i težine termina n Kada svi termini iz dokumenta nose oznaku težine, pronađene dokumente je lako rangirati u opadajućem redosledu težina termina. Ako imamo vektorski upit, pomoću kojih se specifikacija upita izražava jednostavno kao skup termina, onda se težina pronađenog dokumenta može definisati jednostavno kao zbir težina svih termina tog dokumenta. Tako, ako se upit Q sastoji od termina (Ti, Tj, Tk), težina pronađenog zapisa Zn koji sadrži sva tri termina iz upita bi se izračunala jednostavno kao Wni+Wnj+Wnk, (ili, normalizovano, ( Wni+Wnj+Wnk)/3) gde je Wnp težina termina Tp u zapisu Zn. 24

Bulovski upiti i težine termina n Određivanje težine pronađenog dokumenta je kompleksnije jer postoje mnoge ekvivalentne formulacije bulovskih izraza. Jedna mogućnost sastoji se u transformisanju svakog upita u oblik zbira proizvoda (ili disjunkcija konjunkcija), koji je takođe poznat kao disjunktivna normalna forma, gde se upit pojavljuje kao skup ili-veza jednog ili više terma, a to su termini povezani i-operatorom kao u upitu (Ti and Tj and Tk), a svi termi (konjunkti) se povezuju jedan s drugim operatorom or. Na primer, bulovski upit (T 1 T 2) T 3 je u disjunktivnoj normalnoj formi, dok je disjunktivna normalna forma bulovskog upita T 1 (T 2 T 3) = (T 1 T 2) (T 1 T 3 ) 25

Kako se bulovski izraz prevodi u disjunktivnu normalnu formu? n n Za svaki bulovski izraz postoji disjunktivna normalna forma. Neka je dat bulovski izraz m(p, r, q) u čijoj je istinitosnoj tablici samo jedna vrednost T u poslednjoj koloni Jasno je da je izraz tačan samo kada je p netačno, a q i r tačno Dakle, izraz m se svodi na sledeću disjunktivnu normalnu formu koja ima samo jedan term: ( p q r) p q r m T T T T T 26

Kako se bulovski izraz prevodi u disjunktivnu normalnu formu? n n n Neka je dat bulovski izraz m(p, r, q) u čijoj je istinitosnoj tablici ima više vrednosti T u poslednjoj koloni Jasno je da je izraz tačan za tri kombinacije tačno/netačno iskaza p, q i r Dakle, izraz m se svodi na sledeću disjunktivnu normalnu formu koja ima tri terma ( p q r) (p q r) p q r m T T T T T T 27

Disjunktivna normalna forma bulovskog izraza ( p r) ( r q) n n n Treba sačiniti istinitosnu tablicu koristeći istinitosne tablice osnovnih iskaza. Jasno je da je izraz tačan za 4 kombinacije tačno/netačno iskaza p, q i r Dakle, izraz F se svodi na sledeću disjunktivnu normalnu formu koja ima tri terma ( p q r) ( p q r) (p q r) p q r p p r r r q F T T T T T T T T T T T 28

Disjunktivna normalna forma bulovskog izraza (p r) ( r q) n n n Treba sačiniti istinitosnu tablicu koristeći istinitosne tablice osnovnih iskaza. Jasno je da je izraz tačan za 4 kombinacije tačno/netačno iskaza p, q i r Dakle, izraz F se svodi na sledeću disjunktivnu normalnu formu koja ima tri terma ( p q r) (p q r) p r q r r q F p q r T T T T T T T T T T T T T 29

Računanje relevantnosti dokumenata indeksiranih terminima sa težinama n n Na osnovu prethodnog je jasno da se svaki bulovski izraz može automatski prevesti u disjunktivnu normalnu formu, pa to može da uradi računarski program. Za bulovski upit preveden u disjunktivnu normalnu formu, težina (relevantnost) pronađenog dokumenta može se izračunati u dva koraka: q Težina dokumenta se računa u odnosu na svaki term (konjunkt) u upitu kao najmanja težina svakog termina u dokumentu iz tog konjunkta. q Težina dokumenta konačnog upita (disjunkcija svih konjunkta) se računa kao najveća od težina konjunkata izračunata u prvom koraku. 30

Primer n U tabeli je prikazana tipična situacija, u kojoj postoje dva dokumenta, D 1 i D 2 čiji sadržaji su reprezentovani istim terminima T 1, T 2 i T 3 od kojih svaki ima težinu specifičnu za dokument. 31

Upit u disjunktivnoj normalnoj formi ((T 1 T 2) T 3) Vektori dokumenata Težine konjukata Težina upita (T 1 T 2) T 3 ((T 1 T 2) T 3) D 1=(T 1, 0. 2; T 2, 0. 5; T 3, 0. 6) 0. 2 0. 6 D 2=(T 1, 0. 7; T 2, 0. 2; T 3, 0. 1) 0. 2 0. 1 0. 2 Težina pronađenog odgovora D 1 je 0. 6 dok je težina pronađenog odgovora D 2 0. 2, što znači da će dokument D 1 biti više rangiran. Treba uočiti da težina pronađenog dokumenta zavisi i od težine termina koji su dodeljeni dokumentu i od formulacije upita. 32

Specifikacija sinonima n U nekim sistemima za pronalaženje informacija može se dodati specifikacija sinonima bilo kom upitnom terminu u formulaciji upita. Svaki takav sinonim zatim automatski menja originalni termin, a dokumenta se pretražuju i originalnim i dodatim terminima. Kada se koriste Bulovske upitne formulacije, sinonimne specifikacije se mogu jednostavno spojiti sa originalnim terminima pomoću or operatora pre nego što se pretraživanje obavi. Tako se upit ((T 1 T 2) T 3) transformiše u širi iskaz (((T 1 S 1) T 2) (T 3 S 3) kada korisnik doda S 1 kao sinonim za T 1 i S 3 kao sinonim za T 3. Kada se sinonimi dodaju određenim upitima, broj relevantnih pronađenih stavki u pronalaženju može da se uveća (ali i smanji, zavisi od formulacije upita). 33

Primer - pet dokumenata n n n D 1: juneće meso, crni luk, slanina, biber, lovorov list, vino D 2: teleće meso, beli luk, slanina, puter, pavlaka, vino, orasi D 3: teleće meso, jaja, brašno, mrvice, maslac D 4: teleće meso, crni luk, češnjak, ulje, biber, soda bikarbona D 5: svinjsko meso, crni luk, ulje, so, biber, ljuta paprika 34

Primer - invertovani indeks n n n beli luk, D 2 biber, D 1, D 4, D 5 brašno, D 3 crni luk, D 1, D 4, D 5 češnjak, D 4 jaja, D 3 juneće meso, D 1 lovorov list, D 1 ljuta paprika, D 5 maslac, D 3 mrvice, D 3 n n n n n orasi, D 2 pavlaka, D 2 puter, D 2 slanina, D 1, D 2 so, D 3, D 5 soda bikarbona, D 4 svinjsko meso, D 5 teleće meso, D 2, D 3, D 4 ulje, D 4, D 5 vino, D 1, D 2 35

Primer - rečnik sinonima n n n beli luk → češnjak biber → papar juneće meso → junetina ljuta paprika → aleva paprika maslac → puter mrvice → prezle n n pavlaka → mileram svinjsko meso → svinjetina teleće meso → teletina ulje → zejtin 36

Upit bez korišćenja sinonima (teleće meso (beli luk puter)) teleće meso: D 2, D 3, D 4 beli luk: D 2 puter: D 2 Sp(beli luk, puter): D 2, D 2 (beli luk puter): D 2 Sp(teleće meso, (beli luk puter)): D 2, D 3, D 4 (teleće meso (beli luk puter)): D 2 Sp((teleće meso (beli luk puter)), teleće meso): D 2, D 3, D 4 teleće meso (beli luk puter)): D 3, D 4 n

(teleće meso (beli luk puter)) vraća {D 3, D 4} Kada se koristi rečnik sinonima upit postaje: n ((teleće meso teletina) ((beli luk češnjak) (puter maslac))) teleće meso: D 2, D 3, D 4 teletina: beli luk: D 2 češnjak: D 4 puter: D 2 maslac: D 3 Odgovor: n 38