Information am Web Suchen UND Finden Informatikdienste Korosec

Information am Web. . . Suchen UND Finden Informatikdienste / Korosec, Anwednerunterstützung Wolfgang ETH Informatikdienste

Informationen zum Web der ETH ² Lange Zeit “unbemerkt” gewachsen ² Interesse nun umso grösser • Schulleitung • Institute • Oeffentlichkeit Tagesanzeiger, Das Magazin Nr. 23, S 29 “. . . Die ETH Zürich ist eine grosse Welt. Jedenfalls schaufelt sie unübersehbar viel Material aufs Netz. . . ” Informatikdienste / Anwednerunterstützung 2

Situation ² Grosses Angebot an Informationen ² Keine einheitliche Struktur (Vielfalt = Stärke des WWW !!!) ² Dynamisches Verhalten der URLs Informatikdienste / Anwednerunterstützung 3

Suche am Web. . . ² Informationssuche • • • Altavista Excite Lycos INTERNET ² Informationssuche • ? weltweit ETH-weit INTRANET Informatikdienste / Anwednerunterstützung 4

Lösungsansätze Crawlers Robots Spiders Informatikdienste / Anwednerunterstützung 5

Suchsystem ² Sammeln von Information ² Aufbereiten von Information ² Bereitstellen von Informatikdienste / Anwednerunterstützung 6

Harvest Information Broker ² Internet Taskforce Group ² Verteiltes System ² Optimiert für grosse, langsame Netze ² Flexibel • Suchsystem • Informationsaufbereitung ² Für fast alle UNIX System verfügbar ² Viele Anwender, Freeware Informatikdienste / Anwednerunterstützung 7

Systemarchitektur Clients Broker Gatherer WEB Informatikdienste / Anwednerunterstützung 8

Infos und Tests ² Harvest Homepage http: //harvest. cs. colorado. edu/ ² Testinstallation http: //www. awu. id. ethz. ch/suche. html Informatikdienste / Anwednerunterstützung 9

Harvest Informatikdienste / Anwednerunterstützung 10

Ht/Dig ² Schnelles System (C++) ² Sehr NEU ² Einfach zu installieren und konfigurieren ² Getestet auf Sun, HP, SGI, IBM (? ) ² z. Z. Beta Version ² GNU Public License Informatikdienste / Anwednerunterstützung 11

Infos und Tests ² ht/Dig Homepage http: //htdig. sdsu. edu/ ² Testinstallation http: //www. awu. id/~wolfgang/search. html Informatikdienste / Anwednerunterstützung 12

Ht/Dig Informatikdienste / Anwednerunterstützung 13

Opentext ² Kommerzielles System ² Lange Refernzliste ² Erprobte Technologie ² Geeignet für sehr grosse Datenbestände ² Flexible Abfragemöglichkeiten ² Teuer ² http: //www. opentext. com Informatikdienste / Anwednerunterstützung 14

Informatikdienste / Anwednerunterstützung 15

Statistik (unvollständig !!!)* ² mind. 148 Server ² mind. 47885 HTML Pages ² mind. 2331 broken links * Crash des Crawlers (Ht. Dig) nach rund 50000 pages und ca. 15 Std. Laufzeit vermutlich wegen memory leaks. Informatikdienste / Anwednerunterstützung 16

Top Ten ²Name ²www-ir. inf. ethz. ch ²www. zfw. ethz. ch ²odin. ethz. ch ²www. ee. ethz. ch ²wig. ethz. ch 3498 ²tardis. ethz. ch ²www. inf. ethz. ch ²ezinfo. ethz. ch ²err. ethz. ch ²mimas. ethz. ch No. of pgs 4421 4086 3969 3857 16168 3414 2366 2217 1897 899 Informatikdienste / Anwednerunterstützung Size kb 68936 47696 4328 15126 17200 22273 29616 5791 8870 17

Schlussfolgerungen und Wünsche ² ETH-weites Suchsystem sinnvoll und nutzbringend ² Leistungfähige Suchverfahren • • • Inhaltsbezogene Suche Gewichtung der Suchergebnisse mehrere Dokumenttypen ² Flexibel Informatikdienste / Anwednerunterstützung 18