Pengenalan Menyeluruh Pengenalan 2003 16 5 bil Laman
Pengenalan Menyeluruh
Pengenalan • 2003 16. 5 bil Laman web • 3 bil laman / 59 GB teks dimuat setiap hari • Hayat 44 hari • 10 MB/s teks : connection capable to downloading
Pengenalan • Nov 97 : Alta. Vista handle 20 bil queries per day
Apa itu enjin gelintar ? Enjin gelintar ialah suatu program yang digunakan untuk mencari dan mencapai maklumat berdasarkan kepada sebutan gelintaran (search terms) yang diberi oleh pengguna. Ia membenarkan pengguna menjelajah pangkalan data yang mengandungi teks terdiri daripada berjuta-juta di laman web. Apabila perisian enjin gelintar dapat padankan maklumat yang dicari (hits), ia akan menerangkan dimana pautan maklumat terdapat dan seterusnya pengguna akan terus menjelajah. search engine -- (a computer program that retrieves documents or files or data from a database or from a computer network (especially from the internet))
Pengenalan Web Spider Document corpus Query String IR System 1. Page 1 2. Page 2 3. Page 3. . Ranked Documents
Pengenalan
Pengenalan
Pengenalan URL Pelayan Google FTSM Pelayan UKM
WWW Repositori laman klien kueri keputusan Modul Indeks Lelabah Modul Himpunan Analisis Enjin kueri Modul Kawalan Lelabah Indeks: kemudahan struktur teks Maklumbalas pengguna Senibina Enjin Carian (Arasu et. al 2001) pemangkatan
Enjin Gelintar Empat komponen Asas Pangkalan data rujukan kepada laman web l Robot pengindeksan yang mejelajah WWW l Antaramuka l Membolehkan pengguna untuk hantar kueri l Memaparkan hasil yang diperolehi l Sistem Capaian Maklumat l
SISTEM PENCARIAN DAN CAPAIAN DOKUMEN Apa itu maklumat ? Teori Maklumat Kitar Hayat Maklumat
Information Hierarchy Data l The raw material of information l Information l Data organized and presented by someone l Knowledge l Information read, heard or seen and understood l Wisdom l Distilled and integrated knowledge and understanding l Wisdom Knowledge Information Data
Maklumat Where is the Life we have lost in living? Where is the wisdom we have lost in knowledge? Where is the knowledge we have lost in information? -- T. S. Eliot, “The Rock” Where is the information we have lost in data?
Apa itu maklumat Tidak ada definisi yang tepat l Berbeza mengikut bidang : philosophy, psychology, signal processing, physics l Oxford English Dictionary l information: informing, telling; thing told, knowledge, items of knowledge, news l knowledge: knowing familiarity gained by experience; person’s range of information; a theoretical or practical understanding of; the sum of what is known l Kamus Dewan l Knowledge in the form of facts l
Teori Maklumat Disebut “Communication Theory” l Communication may be over time and space l Message Source Message Encoding Destination Channel Noise Message Source Message Encoding (writing/indexing) Storage Decoding (Retrieval/Reading) Destination
Information Life Cycle Creation Active Authoring Modifying Using Creating Retention/ Mining Organizing Indexing Accessing Filtering Storing Retrieval Semi-Active Discard Utilization Disposition Inactive Distribution Networking Searching
Authoring/Modifying Converting Data+Information+Knowledge to New Information. l Creating information from observation, thought. l Editing and Publication. l Organizing/Indexing Collecting and Integrating information. l Affects Data, Information and Metadata. l Indexing l
Storing/Retrieving Information Storage l How and Where is Information stored? l Retrieving Information. l How is information recovered from storage l How to find needed information l Linked with Accessing/Filtering stage l Distribution/Networking Transmission of information l How is information transmitted? l Networks vs Broadcast. l
Accessing/Filtering Using the organization created in the O/I stage to: l Select desired (or relevant) information l Locate that information l Retrieve the information from its storage location (often via a network) l Using/Creating Using Information. l Transformation of Information to Knowledge. l Knowledge to New Data and New Information. l
Sistem Pencarian Dan Capaian Dokumen Creation Active Authoring Modifying Using Creating Retention/ Mining Organizing Indexing Accessing Filtering Storing Retrieval Semi-Active Discard Utilization Disposition Inactive Distribution Networking Searching
Pengenalan Micheal Lesk membahagikan era teknologi maklumat kepada tujuh era iaitu : Childhood (1945 -1955) The School. Boy (1960 s) Adult. Hood(1970 s) Maturity (1980 s) Mid. Life Crisis (1990 s) Fulfillment (2000 s) Retirement (2010) Maklumat lanjut rujuk kertas kerja yang bertajuk : The Seven Ages Of Information Retrieval
SISTEM PENCARIAN DAN CAPAIAN DOKUMEN (MAKLUMAT) l l Definisi CM Komponen Asas CM Teknik Carian Maklumat Berasas Katakunci Teknik Carian dan Capaian Maklumat
Definisi Menurut Tengku(1989), capaian maklumat adalah satu pengajian cara korpus suatu simpanan maklumat ditentukan dicapai berdasarkan kehendak tertentu. berkenaan perwakilan , penstoran , perorganisasian dan perolehan maklumat mengikut pertanyaan atau kueri dan keperluan pengguna
Definisi Untuk sistem capaian maklumat, 3 elemen asas yang diperlukan (Brown, 1996). Perwakilan Dokumen (representasi): dokumen yang menyediakan penerangan maklumat secara formal yang terdapat dalam sesuatu dokumen. Perwakilan pertanyaan (query): menyediakan penerangan mengenai maklumat yang diperlukan Pengukuran yang berkaitan di antara pertanyaan dokumen: menyediakan suatu tatacara atau prosedur untuk memadankan antara keperluan maklumat dengan dokumen bagi memenuhi keperluan tersebut.
Definisi D : set perwakilan dokumen Q : set perwakilan kehendak pengguna (kueri) R : D x Q real numbers fungsi yang akan menentukan bagi setiap dokumen dan kueri suatu nombor tertentu (real number) bagi diwakili oleh suatu pangkatan (berkaitan) dokumen berdasarkan kueri yang dimasukkan.
Komponen Asas CM Sistem capaian maklumat diillustrasi seperti rajah (van Rijsbergen, 1979) feedback Pertanyaan Input Pemproses Dokumen -operasi sebutan -Stemming -Truncation Asas Sistem Capaian Dokumen Output
Teknik Carian Maklumat Berasaskan Katakunci Teknik pencarian maklumat berasaskan web boleh dijalankan menggunakan beberapa teknik bergantung kepada operator yang digunakan selain penggunaan bahasa tabii. Operator yang boleh digunakan Boolean operator Positional operator Relational operator
Teknik Carian Maklumat : Boolean Operator yang boleh digunakan (AND, OR, NOT, dan XOR) : Q 1 AND Q 2 Documents that are in BOTH sets: Q 1 and Q 2 Q 1 OR Q 2 Documents that are in at least in one set: Q 1 or Q 2 NOT Q 1 All documents except the one in set Q 1 Q 2 Logical “minus” all documents from Q 1 except those that belong to Q 2. Used also as “binary NOT” (Q 1 NOT Q 2) Q 1 XOR Q 2 Exclusive OR - documents that belong to exactly one set: Q 1 or Q 2, but not both. In other words (Q 1 OR Q 2) (Q 1 AND Q 2)
Boolean Queries l AND and OR Usually expressed as INFIX operators in IR l ((a AND b) OR (c AND b)) l NOT is UNARY PREFIX operator l ((a AND b) OR (c AND (NOT b))) l AND and OR can be n-ary operators l (a AND b AND c AND d) l Some rules - (De Morgan revisited) l NOT(a) AND NOT(b) = NOT(a OR b) l NOT(a) OR NOT(b)= NOT(a AND b) l NOT(a)) = a
Teknik Carian Maklumat : Positional Operator Positional operator digunakan untuk mendapatkan rekod dalam rekod bibliografik yang sama. SAME Example: Sains SAME Maklumat Only records containing both Sains and Maklumat within the same bibliographic field will be retrieved. l WITH Example: Sains WITH Maklumat Only records containing both Sains and Maklumat in the same sentence in a bibliographic field will be retrieved from this search. l NEAR Example: Sains NEAR Maklumat Only records with the terms Sains and Maklumat next to each other within the same bibliographic field would be retrieved from this search. Sains or Maklumat could display first in the field. l
Teknik Carian Maklumat : Positional Operator l ADJ Example: Sains ADJ Maklumat Only records with the terms Sains and Maklumat adjacent to each other within the same bibliographic field and with Sains listed first in this field would be retrieved from this search l Tambahan : penggabungan operator boleh dilakukan bagi mengecil atau meluaskan jarak antara perkataan Example: FROM ADJ 1 HERE ADJ 2 ETERNITY This example shows how to search for the title, "From Here to Eternity. “ ADJ 2 means that the words may be within two searchable words of each other, but they must be in the order they were entered.
Teknik Carian Maklumat : Kaedah Lain l Pengguna boleh memberikan pemberat. Sesetengah enjin carian web membenarkan pengguna menggunakan simbol (+) atau (-) untuk memberi pemberat kepada perkataan. Contoh : cost AND +paper l Jika ujud di dalam sesuatu dokumen yang mengandungi cost dan paper maka term paper akan dipangkat lebih tinggi (pemberat lebih besar) berbanding term cost
Teknik Carian dan Capaian Maklumat Belkin dan Croft (1987) membahagikan teknik capaian kepadanan tepat dan padanan separa. Teknik Capaian Padanan Tepat Corak. Teks Pencarian Boolean Padanan Separa Kebarangkalian Ruang Clustering Vektor …. .
Teknik Sistem Carian Dan Capaian l Terdapat beberapa teknik yang boleh dilakukan dalam proses carian dan capaian dalam sistem capaian dokumen bagi enjin gelintar l Teknik Capaian padanan tepat l Boolean Dokumen dinyatakan sebagai satu set dj = {ti, …. . tn} dimana setiap ti adalah perkataan yang terdapat pada dokumen dj. query yang digunakan adalah dalam bentuk operasi boolean yang piawai iaitu AND, OR, NOT dan XOR. carian seperti yang diterangkan sebelum ini
Teknik Sistem Carian Dan Capaian : Boolean Lanjutan Capaian Lanjutan Boolean merupakan peningkatan daripada capaian Boolean. Ianya memberi pemberat bagi perkataan. tf (term frequency) atau frekuensi perkataan menunjukkan berapa kali perkataan tersebut wujud dalam dokumen. Ia direkabentuk untuk mengemaskini capaian boolean dimana beberapa pengoperasian dan teknik ditambah seperti keupayaan capaian dalam bentuk pemangkatan atau susunan (rank) mengikut jujukan menaik atau menurun serta nilai pemberat bagi meningkatkan lagi keupayaan capaian sesuatu query.
Teknik Sistem Carian Dan Capaian : Boolean Lanjutan Contoh pemangkatan melalui frekuensi perkataan (Enjin Carian Sony) F F F x AND y : tfx x tfy x OR y : tfx + tfy NOT x : 0 if tfx > 0, 1 if tfx = 0 Memberikan pemberat kepada perkataan melalui frekuensi, membenarkan dokumen yang mengandungi banyak perkataan kueri dipangkat lebih tinggi. Skor adalah 0 jika dokumen tidak menepati Syarat Boolean.
Teknik Sistem Carian Dan Capaian : Capaian Berkebarangkalian l l l Cara capaian dokumen yang menyusun dokumen mengikut pangkatan dengan menggunakan teori kebarangkalian. Mencapai suatu kualiti capaian yang optimum berdasarkan suatu andaian. Ianya dijana berdasarkan pengiraan menggunakan similarity coefficient diantara kueri dan dokumen. Ia dijana dlm bentuk kebarangkalian bagi menyatakan kerelevanan diantara keduanya. Dua asas pendekatan digunakan l Bergantung kepada penggunaan patern bagi meramal kerelevanan (Maron and Kuhns, 1960) l Penggunaan setiap term pada kueri sebagai klu bagi kerelevanan dengan suatu dokumen (Robertson and Spark Jones 1976) Asas Penggunaan teorem Bayes
Teknik Sistem Carian Dan Capaian : Capaian Berkebarangkalian Kueri q (q 1, q 2) Jana q dan capai n dokumen (katakan n = 5) dan di mewakili dokumen berikut d 1 q 1 d 2 d 3 q 2 q 1 d 4 q 1 q 2 d 5 q 2 Katakan d 2 dan d 4 adalah relevan P(q 1 | di adalah relevan) = ½ P(q 2 | di adalah relevan) = 1 P(q 1 | di adalah tidak relevan) = 2/3 P(q 2 | di adalah tidak relevan) = 1/3
Teknik Sistem Carian Dan Capaian : Capaian Ruang Vektor Model capaian ruang vektor menyatakan kedua-dua pertanyaan dokumen sebagai set perkataan mengira persamaan antara perkataan pertanyaan dokumen. Model ini menganggap bahawa set ini boleh digunakan untuk mengenalpasti kedua-dua rekod dan maklumat yang ditanya. Semua perkataan pada model ini mempunyai kepentingan yang sama. teknik pemberat digunakan untuk menentukan paras atau tahap kepentingan bagi setiap perkataan. Fungsi kesamaan digunakan untuk mengira persamaan vektor antara perkataan pertanyaan dokumen. Dua perkara yang selalu digunakan iaitu ukuran kosine dan songsangan fungsi kekerapan dokumen.
Teknik Sistem Carian Dan Capaian : Capaian Ruang Vektor Kueri dan setiap dokumen dipetakan kepada vektor dengan setiap dimensi mewakili nilai tf-idf bagi setiap perkataan. Dimana dokumen : dokumen dengan set term indeks dengan pemberat. Pemberat dijanakan bagi menentukan kepentingan (keberkaitan) sesuatu term kepada dokumen dj = (W 1, j , W 2, j, …… , Wi, j) dan Kueri : kueri adalah term indeks dengan pemberat. Kueri Pemberat dijanakan bagi menentukan kepentingan (keberkaitan) sesuatu term kepada kehendak pengguna q = (W 1, j , W 2, j, …… , Wi, j)
Teknik Sistem Carian Dan Capaian : Capaian Ruang Vektor Dokumen dj dan kueri q merupakan vector dalam ruang t dimensi. Kepentingan sesuatu term bergantung kepada kekerapan keujudan sesuatu term tersebut pada satu-satu dokumen. Jika term A dinyatakan lebih dari term B maka dokumen tersebut lebih menerangkan tentang A dari B. Jika freqi, j adalah kekerapan term ki dalam dokumen dj. Maka wi, j = freqi, j. l Komponen adalah 0 jika tidak wujud, nilai positif diberi (bergantung kepada frekuensi perkataan dan frekuensi dokumen songsang) jika ianya wujud. Dokumen dipangkat melalui jarak dengan kueri, dengan itu dokumen akan dipangkat paling tinggi sekiranya sudut antaranya dan kueri adalah paling kecil. Jarak ditentukan berdasarkan pengiraan skor kesamaan (similarity score calculation). Jarak boleh merupakan magnitud perbezaan vektor yang dinormalkan atau mungkin kosin (cosine) bagi sudut antara vektor-vektor. l
Perwakilan Grafik Example: D 1 = 2 T 1 + 3 T 2 + 5 T 3 D 2 = 3 T 1 + 7 T 2 + T 3 Q = 0 T 1 + 0 T 2 + 2 T 3 5 D 1 = 2 T 1+ 3 T 2 + 5 T 3 Q = 0 T 1 + 0 T 2 + 2 T 3 2 3 T 1 D 2 = 3 T 1 + 7 T 2 + T 3 T 2 7 • Adakah D 1 atau D 2 lebih sama dgn Q? • Bagaimana untuk mengukur darjah kesamaan? Jarak ? Sudut?
Contoh Q : gold silver truck D 1: Shipment of gold damaged in a fire D 2: Delivery of silver arrived in a silver truck D 3: Shipment of gold arrived in a truck Variable gold silver truck N 3 3 3 n 2 1 2 R 2 2 2 r 1 1 2
Contoh Q : gold silver truck D 1: Shipment of gold damaged in a fire D 2: Delivery of silver arrived in a silver truck D 3: Shipment of gold arrived in a truck bilangan dokumen dalam koleksi Variable gold silver truck N 3 3 3 n 2 1 2 R 2 2 2 r 1 1 2
Contoh Q : gold silver truck D 1: Shipment of gold damaged in a fire D 2: Delivery of silver arrived in a silver truck D 3: Shipment of gold arrived in a truck bilangan dokumen yang mengandungi term t Variable gold silver truck N 3 3 3 n 2 1 2 R 2 2 2 r 1 1 2
Contoh Q : gold silver truck D 1: Shipment of gold damaged in a fire D 2: Delivery of silver arrived in a silver truck D 3: Shipment of gold arrived in a truck bilangan term yang relevan bagi kueri yang diberikan Variable gold silver truck N 3 3 3 n 2 1 2 R 2 2 2 r 1 1 2
Contoh Q : gold silver truck D 1: Shipment of gold damaged in a fire D 2: Delivery of silver arrived in a silver truck D 3: Shipment of gold arrived in a truck bilangan dokumen relevan yang mengandungi term t Variable gold silver truck N 3 3 3 n 2 1 2 R 2 2 2 r 1 1 2
Contoh N : bilangan dokumen dalam koleksi n : bilangan indeks dokumen yang mengandungi term t R : bilangan term yang relevan bagi kueri yang diberikan r : bilangan indeks dokumen relevan yang mengandungi term t Variable gold silver truck N 3 3 3 n 2 1 2 R 2 2 2 r 1 1 2 Penyelesaian seterusnya akan dibincang pada pendetailan ruang vektor menggunakan …. .
Robertson-Sparck Jones Weights Predictive formulation
TESAURUS l Tesaurus adalah set item (frasa atau perkataan ) dan set hubungan di antara item-item tersebut. 3 perkara asas yang berkaitan dengan tesaurus di dalam capaian maklumat ialah: 1. pembinaan: ada 2 jenis tesaurus iaitu secara manual dan secara automatik. 2. capaian: diberi satu pertanyaan yang khusus, maka tesaurus akan mencapai dan menggunakan perkataan tersebut untuk meningkat dan mengembangkan pertanyaan. 3. penilaian: selepas tesaurus dibina, adalah penting menilai kebaikan yang mampu dilakukannya. Tesaurus manual dinilai melalui perkembangan pertanyaan yang dicapai untuk memastikan peningkatan keupayaan capaian.
TESAURUS l Tesaurus menyediakan maklumat sinonim dan semantik berkaitan perkataan dan frasa. Example: physician syn: ||croaker, doctor, MD, medical, mediciner, medico, ||sawbones rel: medic, general practitioner, surgeon, l Bagi setiap term, t, pada kueri, ia akan memperkembangkan kueri dengan sinonim dan perkataan yang berkaitan dengan t dari tesaurus. l Pemberat yang digunakan adalah kurang dari term kueri yang asal l
Word. Net A more detailed database of semantic relationships between English words. l Developed by famous cognitive psychologist George Miller and a team at Princeton University. l About 144, 000 English words. l Nouns, adjectives, verbs, and adverbs grouped into about 109, 000 synonym sets called synsets. l Penggunaan Word. Net dalam perkembangan kueri Add synonyms in the same synset. l Add hyponyms to add specialized terms. l Add hypernyms to generalize a query. l Add other related terms to expand query. l
Word. Net Synset Relationships l l l l l Antonym: front back Attribute: benevolence good (noun to adjective) Pertainym: alphabetical alphabet (adjective to noun) Similar: unquestioning absolute Cause: kill die Entailment: breathe inhale Holonym: chapter text (part-of) Meronym: computer cpu (whole-of) Hyponym: tree plant (specialization) Hypernym: fruit apple (generalization)
- Slides: 53