RDF in P 2 P-Netzen Ting Li 09

RDF in P 2 P-Netzen Ting Li 09. 02. 2004 RDF in P 2 P-Netzen

Gliederung n n n n 1. Einleitung 2. RDF/RDF Schema 3. Edutella/RDF-basierte P 2 P-Netze 4. Implementierung 5. OAI-P 2 P 6. Zusammenfassung 7. Wichtige Ressourcen 09. 02. 2004 RDF in P 2 P-Netzen 2

Gliederung n 1. Einleitung u u n n n OAI-PMH Cyclades Projekt Kepler Projekt 2. RDF/RDF Schema 3. Edutella/RDF-basierte P 2 P-Netze 4. Implementierung 5. OAI-P 2 P 6. Zusammenfassung 7. Wichtige Ressourcen 09. 02. 2004 RDF in P 2 P-Netzen 3

OAI: Open Archive Initiative n n Ziel: weltweiter Austausch von elektronischen E-Prints. Metadaten: u u n Mindestanforderung: Dublin Core u u n enthält 15 Elemente Alle Elemente sind sowohl optional als auch wiederholbar. Andere Metadatenformate: u u n Beschreibungen des elektronischen Dokuments durch entsprechende Schemata definiert. OLAC (Open Language Archive Community) MARC 21 RFC 1870. . . Merke: lediglich die Beschreibungen ausgetauscht. 09. 02. 2004 RDF in P 2 P-Netzen 4

OAI-PMH n n n Austauschprotokoll für Metadaten. basiert auf HTTP (Anfrage) und XML (Antwort). Zwei Arten von Teilnehmern: u u n Data-Provider: stelle eine Schnittstelle zu den lokalen digitalen Ressourcen her. Service-Provider: Harvesting von Metadaten und bietet Mehrwertdienst, z. B: Ranking. . . Nachteile: u low-barrier: l l u einfach wie möglich für Data-Provider aufgebaut. Aber: Für Erstellen und Behalten von Service-Provider werden mehrere Ressourcen gebraucht. Kein „front-end“ Service 09. 02. 2004 RDF in P 2 P-Netzen 5

Cyclades Projekt n n n Aufbauend auf dem OAI-Standard Entwicklung weiterer Dienste Insbesondere: u u u n Information Retrieval in verteilten OAi-kompatiblen Archiven Suchen und Browsen in Multilevel-Hypertext die Erfassung von Relevanz. Feedback Die Erfassung von Kommentaren zu einzelnen Dokumenten die Personalisierung von benutzerspezifischen Agenten Architektur 09. 02. 2004 RDF in P 2 P-Netzen 6

Kepler Projekt n n n verbesserte Lösung Idee: Ein OAI Data/Service Provider für Einzelpersonen. Eigenschaften: u u u n Vorteil: u n ein JAVA-‘archivlet‘ eine LDAP-basierte Netzwerkumgebung ein query/discovery Service technische Einfachheit und Verwendbarkeit Probleme: u noch vom zentralen Service-Provider abhängig u unterstützt „community building“ nicht 09. 02. 2004 RDF in P 2 P-Netzen 7

Gliederung n n 1. Einleitung 2. RDF/RDF Schema u u n n n RDF Schema 3. Edutella/RDF-basierte P 2 P-Netze 4. Implementierung 5. OAI-P 2 P 6. Zusammenfassung 7. Wichtige Ressourcen 09. 02. 2004 RDF in P 2 P-Netzen 8

RDF (Resource Description Framework) n n n vom W 3 C im Rahmen der ‘Semantic Web’-Initiative geförderte Beschreibungssprache Idee: aussagekräftige Beschreibungen von Ressourcen. Drei Typen von Objekt: u Resources: l l l u Properties: l u alle Objekte bei WWW, die durch einen URI identifiziert werden. z. B: Webseite. . . spezieller Typ von Ressourcen (literal) möglich spezielle Aspekte / Charakteristik / Attribute / Beziehungen Statements: l l 09. 02. 2004 Ressourcen + definierte Eigenschaften + Werte der Eigenschaften Triple: RDF in P 2 P-Netzen 9

RDF (Resource Description Framework) n Beispiel: http: //www. w 3. org/staff. Id/85740 creator http: //www. w 3 c. org/Home/Lassila Name Ora Lassila n Email lassila@w 3. org RDF-Syntax: in XML-Format 09. 02. 2004 RDF in P 2 P-Netzen 10

RDF Schema n n n Vocabulary Description Language Beschreibungen der Beziehungen zw. verschiedenen Arten von Ressourcen und Eigenschaften. Kern Klassen: u u u n rdfs: Resource rdfs: Class rdf: Property Kern Eigenschaften: u u u rdf: type rdfs: sub. Class. Of rdfs: Property. Of rdfs: sub. Property. Of rdfs: see. Also rdfs: is. Defined. By 09. 02. 2004 RDF in P 2 P-Netzen 11

RDF Schemas n Beispiel: Resource Hierarchy rdfs: Resource rdfs: Class xyz: Motor. Vehicle xyz: Van xyz: Truck xyz: Passenger. Vehicle rdfs: sub. Class. Of xyz: Mini. Van 09. 02. 2004 RDF in P 2 P-Netzen rdf: type 12

Gliederung n 1. Einleitung n 2. RDF 3. Edutella/RDF-basierte P 2 P-Netze n u u u n n Architektur Dienstleistungen Super-Peer/Hyper. Cup Topologie Zwei Arten von Routing Indizes Dynamische Routing Indizes Mediation zwischen verschiedenen Schemata 4. Implementierung 5. OAI-P 2 P 6. Zusammenfassung 7. Wichtige Ressourcen 09. 02. 2004 RDF in P 2 P-Netzen 13

Architektur n n Eine P 2 P Infrastruktur, um die Daten zu speichern, abzufragen und auszutauschen. Zwei Kern-Komponente: Sun JXTA; W 3 C RDF JXTA: u Open Source Framework für die Entwicklung von P 2 P Services und Anwendungen u Interoperable und plattformunabhängig 3 -Schichtenmodell u l JXTA Applications l l JXTA Services l l Discovery, Routing, Indexing, , Searching, File Sharing. . . JXTA Core l 09. 02. 2004 JXTA Shell: Interaktiver Zugriff auf JXTA Plattform Gruppierung, Pipes. . . RDF in P 2 P-Netzen 14

Architektur RDF/RDF Schema in Edutella: u u u Beschreibungen der verteilten Ressourcen. Alle Ressourcen sind durch eindeutigen URI gekennzeichnet. Die Beschreibungen von Ressourcen mit verschiedenen Schemata sind möglich. Speicherung der Beschreibungen in RDF-Repositores. Jeder Peer stellt seine Metainformationen als Set der RDFAussagen zur Verfügung. Charakteristik von RDF-Schema: l l 09. 02. 2004 verteilte Darstellungen für eine oder selbe Ressource => einfach zur Konstruktion der verteilten Repositores flexibel und erweiterbar => Schema-basierter P 2 P-Netzwerk RDF in P 2 P-Netzen 15

Dienstleistungen Query Service (Basic Service): n Fragen werden durch das Netz zur Teilmenge des Peers geschickt, die Frage beantworten könnten. n Zurücksenden der resultierenden RDF-Aussagen zu dem erbittenen Peer. n Anfragesprache ist frei auswählbar. n RDF-QEL (RDF based-Query Exchange Language): u u u eine standardisierte Sprache basiert auf Datalog beginnend mit einfachen konjunktiven Anfragen Jede QEL-Anfrage basiert auf explizite bezogenen Metadaten. Schemata (z. B: DC, LOM), nicht von einem spezifischen Schema unabhängig. ein graphischer Query-Editor: Conzilla 09. 02. 2004 RDF in P 2 P-Netzen 16

Dienstleistungen RDF-QEL: Aufteilung in 5 Sprachlevel, die in der Ausdrucksfähigkeit aufeinander aufbauen: n n n RDF-QEL-1: Konjunktive Queries RDF-QEL-2: RDF-QEL-1 + Disjunktion RDF-QEL-3: RDF-QEL-2 + Negation + nicht rekursive Regeln (SQL 92 -Umfang, Datalog-Ansatz) RDF-QEL-4: RDF-QEL-3 + lineare Rekursion (SQL 3 -Umfang) RDF-QEL-5: RDF-QEL-4 + allgemeine Rekursion 09. 02. 2004 RDF in P 2 P-Netzen 17

Dienstleistungen Conzilla as query editor 09. 02. 2004 RDF in P 2 P-Netzen 18

Dienstleistungen Replication Service (Basic Service): u u u Ergänzung der lokalen Ablage Datenintegrität-und Konsistenz Zuverlässigkeit und ausgleichende Arbeitsbelastung Mapping Service: u Übersetzung zwischen unterschiedlichen Schemata z. B: MARC DC 09. 02. 2004 RDF in P 2 P-Netzen 19

Super-Peer/Hyper. Cup Topologie n Super-Peer: prinzipieller Knoten mit u u einer sehr guten und stabilen Netzanbindung größerer Rechenleistung als normale Peers. SP SP P P n P SP u P P Verwaltung von Routing-Indizes Bestimmung der weiteren Wegwahl der Anfragen l u P P Funktionalität der Super-Peers: u P d. h: Der Super-Peer entscheidet sich, welche Anfrage vorwärts zu welchem Peer oder Super-Peer gesendet werden sollte. … 09. 02. 2004 RDF in P 2 P-Netzen 20

Super-Peer/Hyper. Cup Topologie n n Super-Peers sind in Hyper. Cup Topologie organisiert. Hyper. Cu. P Protokolls: u Hinzufügen eines neuen Super-Peer: u Peer-Integration-Protocol l Aufwand: O(log(N)) Verlassen eines Super-Peers: l l n 1 H 0 1 G E 02 F 2 2 D 20 C 1 1 A 0 B Anderer Super-Peer nimmt zusätzlich seine Position ein. Hyper. Cup Topologie + Routing Indizes: u u u ermögliche effiziente und garantiere nicht-redundante Broadcasting. Beim Broadcasting: Jeder Peer wird als die Wurzel eines aufspannenden Baums betrachtet. Pfadlänge: log 2 N; Anzahl der Nachbarn: log 2 N. 09. 02. 2004 RDF in P 2 P-Netzen 21

zwei Arten von Routing Indizes Super-Peer/Peer Routing Indices(SP/P-RIs): n Idee: u u n Registrierung eines Peers: u u n bietet seine Metainformationen zum Super-Peer durch eine veröffentliche Nachricht Matching Algorithmus: u u n Speicherung der Metainformation über die an ihm angeschlossenen Peers. z. B: Schema, Schemawert. . . um festzustellen, welcher Peer die Anfrage verstehen und beantworten kann. garantiert nicht einem nicht leeren Antwortsatz. Indexeinträge mit verschiedenen Granularität 09. 02. 2004 RDF in P 2 P-Netzen 22

zwei Arten von Routing Indizes Super-Peer/Peer Routing Indices(SP/P-RIs): n Schema Index: u u n Schema Property: u u n Schema Index + Eigenschaft Menge von Eigenschaften Property Value Range Index: u n eindeutiger Identifier des Schema Der Peer oder Super-Peer, dieses Schema benutzen. Klassifiziere die Eigenschaft mit Hilfe von vordefinierten hierarchischen Vokabularen. Property Values Index: u u vorteilhaft für einige Eigenschaften, die häufig verwendet werden. Verringerung des Netzverkehrs 09. 02. 2004 RDF in P 2 P-Netzen 23

zwei Arten von Routing Indizes Super-Peer/Peer Routing Indices(SP/P-RIs): n Bsp: Find any resource where the property dc: subject is equal to ccs: softwareengineering, dc: language is equal to “de” and lom: context is equal to “undergrad”. Granularity Query Schema dc, lom Property dc: subject, dc: language, lom: context Property Value Range dc: subject Property Value lom: context dc: language css: sw’engineering “undergrad” “de” contents of the sample query at different granularities 09. 02. 2004 RDF in P 2 P-Netzen 24

zwei Arten von Routing Indizes Super-Peer/Peer Routing Indices(SP/P-RIs): P 0 SP 4 Sample Query SP 1 P 4 SP 2 P 1 (s, dc: language, “de“) (r, dc: language, “de“) (s, lom: context, “undergrad“) (r, lom: context, “undergrad“) (s, dc: subject, ccs: softwareengineering) (r, dc: subject, ccs: softwareengineering) SP 3 P 2 P 3 (p, dc: subject, ccs: ethernet) (q, dc: subject, ccs: clientserver) routing example network 09. 02. 2004 RDF in P 2 P-Netzen 25

zwei Arten von Routing Indizes Super-Peer/Peer Routing Indices(SP/P-RIs): n Update der SP/P Indizes: u u Garantiere des aktuellen Zustands der Indizes Hinzufügen eines Peers: l u Veränderung der Inhalte eines Peers: l u Sendung seiner Metainformationen an den Super-Peer durch Broadcasting. z. B: Veränderung des Schemas: DC LOM Verlassen eines Peers: l 09. 02. 2004 Lösen der zugehörigen Referenz von den Indizes RDF in P 2 P-Netzen 26

zwei Arten von Routing Indizes Super-Peer/Super-Peer Routing Indices(SP/SP-RIs): n Idee: Routing zwischen Super-Peers. n SP/SP Indizes: u u u n Extrakte und Zusammenfassungen von allen lokalen SP/P Indizes. enthalten die selben Arten der Informationen wie SP/P Indizes. referenziert nur die benachbarten Super-Peers. Zwei Schritte bei der Bearbeitung einer Anfrage: u u Anfrage wird nur an entsprechende Peers weitergeleitet (mit Hilfe von SP/P Indizes). Weitersendung der Anfrage an referenzierte, benachbarte Super-Peers (mit Hilfe von SP/SP Indizes). 09. 02. 2004 RDF in P 2 P-Netzen 27

zwei Arten von Routing Indizes Super-Peer/Super-Peer Routing Indices(SP/SP-RIs): Granularity Index of SP 2 Schema dc lom SP 1, SP 3, SP 4 SP 1, SP 4 Property dc: subject dc: language lom: context SP 1, SP 3, SP 4 SP 1, SP 4 Property Value Range dc: subject Property Value lom: context dc: language ccs: networks css: sw’engineering “undergrad” “de” SP 3 SP 1, SP 4 SP/SP index of SP 2 at different granularities 09. 02. 2004 RDF in P 2 P-Netzen 28

zwei Arten von Routing Indizes Super-Peer/Super-Peer Routing Indices(SP/SP-RIs): 09. 02. 2004 RDF in P 2 P-Netzen 29

zwei Arten von Routing Indizes Super-Peer/Super-Peer Routing Indices(SP/SP-RIs): n Update der SP/SP Indizes: u Hinzufügen eines neuen Peers: Peer sendet seine Metainformationen zum Super-Peer. l Super-Peer passt sich die SP/P indizes an. l Super-Peer sendet die Nachricht zur allen Peers. l Andere Super-Peers aktualisieren ihre SP/SP Indizes entsprechend. => aufwendig l u Verlassen eines Peers: l u Hinzufügen neues Super-Peers: l u ähnlich wie beim Hinzufügen eines neuen Peers. Ähnliche Konstruktion wie bei SP/P Indizes Ausfall eines Super-Peers: l 09. 02. 2004 Die mit diesem Super-Peer verbundenen Peers können bei anderem Super-Peer beliebigen registrieren. RDF in P 2 P-Netzen 30

Dynamische Routing Indizes n Problem: u n Lösung: u u n Broadcasting der Anfrage, weil die Peers beliebig verteilt sind. => Wie macht man die Routing Indizes effizient? Hinzufügen der Frequenzinformationen über Anfragen Gedanken über „Similarity-Based Clustering Of Peers” Similarity-Based Clustering Of Peers: u u Idee: Das Clustering basiert auf der Integration der Peers nach der Ähnlichkeitsmaß. Vorteil: Reduzierung der Menge der Nachrichten. Hyper. Cup Struktur macht die Partition (Subpartition) möglich. Verbindung eines Super-Peer mit anderen Nachbarn l als Verbindung zur anderen Partitionen oder Subpartitionen betrachtet. 09. 02. 2004 RDF in P 2 P-Netzen 31

Dynamische Routing Indizes u u n Hyper. Cu. P-Partitionen sind überflüssig angeschlossen. Broadcasting einer Nachricht ist nur nach der „i>k“ Regel. Andere dynamische Weise: u „frequency counting algorithms on streams”: l l 09. 02. 2004 Jede Peer, Super-Peer und Anfragen werden durch eine Menge von Items charakterisiert. Ähnlichkeitsberechnung => Hinzufügen der Frequenz in den SP/SP Indizes ist nötig. RDF in P 2 P-Netzen 32

Mediation zw. verschiedenen Schemata n n n Basis Idee: “Mediator-based Information Systems (MBIS)” „Korrespondenz“: Transformationsregel zw. Schemata. MBIS-basierte Korrespondenz: Transformationsregel zw. den unterschiedlichen lokalen Schemata. Ein Super-Peer speichert die Relationen zwischen den Korrespondenz und Peers in seiner Indizes. Mechanismen: u u Query Correspondence Assertions (QCA) Model Correspondence Assertions (MOCA) 09. 02. 2004 RDF in P 2 P-Netzen 33

Mediation zw. verschiedenen Schemata Beispiel: Query Correspondence Assertions (QCA) n Ein definierte Anfrage-Schema: lectures (lecture: identifier, lecture: language, lecture: subject, lecture: educationalcontext) n Beispiele für Korrespondenzen zwischen RDF-Schemata: 1. lectures: identifier = dc: title lectures: language = dc: lang lectures: subject = dc: subject 2. lectures: identifier = lom: general. identifier lectures: language = lom: general. language lectures: context = lom: educational. context n Beispiele für View zwischen RDF-Schemata: 1. lectures. View. DC (lectures: identifier, lecture: language, lecture: subject) ← DC (dc: title, dc: lang, dc: subject) 2. lectures. View. LOM (lecture: identifier, lecture: language, lecture: context) ← LOM (lom: general. identifier, lom: general. language, lom: educational. context) 09. 02. 2004 RDF in P 2 P-Netzen 34

Mediation zw. verschiedenen Schemata Beispiel: Query Correspondence Assertions (QCA) n Abbildung der Attribute aus dem lecture-Schema auf die RDF-Schemata DC und LOM. 1. lectures (lectures: identifier, lectures: language, lectures: subject, -) ← lectures. View. DC (lectures: identifier, lectures: language, lectures: subject) 2. lectures (lectures: identifier, lectures: language, -, lectures: context) ← lectures. View. LOM (lectures: identifier, lectures: language, lectures: context) n Resultierende Korrespondenzen für die Umsetzung auf RDF-Schemata in P 1 und P 2. Peer 1: Correspondence 1 lectures (lectures: identifier, lectures: language, lectures: subject, -, ) ← lectures. View. DC (lectures: identifier, lectures: language, lecture: subject) ← DC (dc: title, dc: subject, dc: lang) Peer 2: Correspondence 2 lectures (lectures: identifier, lectures: language, -, lecture: educationalcontext) ← lecturesview. LOM (lectures: identifier, lectures: language, lecture: educationalcontext) ← LOM (lom: general. identifier, lom: general. language, lom: educational. context) 09. 02. 2004 RDF in P 2 P-Netzen 35

Gliederung n n 1. Kurze Einführung von OAI 2. Edutella 3. RDF-basiertes Peer To Peer-Netzwerk 4. Implementierung u u n n n Edutella Framework Dienstleistungen 5. OAI-P 2 P 6. Zusammenfassung 7. Wichtige Ressourcen 09. 02. 2004 RDF in P 2 P-Netzen 36

Edutella Framework n n Erweiterung von JXTA. Edutella Framework wird in zwei Bereichen erweitert: u u Erster Teil: l Unterstützung des Aufbau des Super-Peer-Netzwerks l Der Super-Peer basiert auf solchen Topologien wie z. B: Hyper. Cu. P. Zweiter Teil: l zusätzliche Komponenten für Konstruktion des Super-Peers. l l l n Peer Registrierung Verwalte Routing-Tabelle. . . Dienstleistungen: u u Standard-Modulen spezifische Service-Modulen 09. 02. 2004 RDF in P 2 P-Netzen 37

Dienstleistungen Der Super-Peer stellt vier Dienstleistungen zur Verfügung: n Bind Service: u u u n Routing Service: u u n Routing der Anfragen. Empfang der Resultate von passenden Peers und Super-Peers. Topology Service: u u n Behandlung der Registrierung des Peers. kümmert sich um dem „hand-shaking“ Prozeß. Aktualisierung der SP/P Indizes. Beibehalten der Netz-Topologie des Super-Peers Aktualisierung der SP/SP Indizes Query Service: u u stellt eine definierte Schnittstelle zu den neuen Anfragen zur Verfügung. Diese Anträge werden durch den Routing Service verteilt. 09. 02. 2004 RDF in P 2 P-Netzen 38

Gliederung n n n 1. Einleitung 2. RDF 3. Edutella/RDF-basierte P 2 P-Netze 4. Implementation 5. OAI-P 2 P u u n n Motivation System Architektur 6. Zusammenfassung 7. Wichtige Ressourcen 09. 02. 2004 RDF in P 2 P-Netzen 39

Motivation n Nachteile von OAI: u u u Abfragen aller Data-Providers Hinzufügen neues Data-Providers Abbau und Reorganisation des Service-Providers Data Provider TIB . . . TIBNCSTRL Arc ar. Xiv . . . My. OAI Service Provider Clients 09. 02. 2004 RDF in P 2 P-Netzen 40

Motivation n n OAI-P 2 P: Ein P 2 P Netzwerk für OAI Ziel: u u n Eigenschaften: u u n Erweiterung des Query-Services Vermeiden der Abhängigkeiten von zentralisiert, server-basierten Systeme. OAI Data-Provider werden Edutella-Provider „front-end“ Service System-Architektur: u u OAI-P 2 P Data Wrapper OAI-P 2 P Query Wrapper 09. 02. 2004 RDF in P 2 P-Netzen 41

System Architektur n OAI-P 2 P Data Wrapper Keine Veränderung des Data-Providers u Kopiere die Daten zum RDF-Repository u sofort implementierbar u Update nötig u n OAI-P 2 P Query Wrapper u u Antworte die Anfrage direkt vom Datenspeicher Übersetzung der QELAnfrage ist nötig Kopiere die Daten nicht Kein Update 09. 02. 2004 RDF in P 2 P-Netzen 42

Gliederung n n n n 1. Einleitung 2. RDF 3. Edutella/RDF-basierte P 2 P-Netze 4. Implementation 5. OAI-P 2 P 6. Zusammenfassung 7. Wichtige Ressourcen 09. 02. 2004 RDF in P 2 P-Netzen 43

Zusammenfassung n n OAI: low barrier Edutella/Schema-basierte P 2 P-Netze: u u P 2 P Infrastruktur explizite Schemata zur Beschreibung ihrer Inhalte. l l u u n ideal für heterogene Information-Providers Transformationsregel Super-Peer Topologie: effizientes Routing und Clustering Routing-Strategien: effektive Sendung der Anfragen Algorithmen: Konstruktion der Indizes dynamisch Implementierung OAI-P 2 P 09. 02. 2004 RDF in P 2 P-Netzen 44

Literatur: [1] Dublin Core Metadata Initiative(DCMI): http: //dublincore. org [2] OAI web site und OAI-PMH specification: http: //www. openarchives. org/ [3] Kepler Project: http: //kepler. cs. odu. edu: 8080/kepler/index. html [3] RDF: http: //www. w 3 c. org/RDF/ [4] Edutella: http: //edutella. jxta. org/ [5] JXTA: http: //www. jxta. org [6] RDF-QEL: http: //edutella. jxta. org/spec/qel. html [6] Ahlborn, Benjamin; Nejdl, Wolfgang Nejdl; Siberski, Wolf (2002): OAI-P 2 P: A Peer-to-Peer Network for Open Archives [7] Nejdl, Wolfgang; Wolpers, Martin; Siberski, Wolf; Schmitz, Christoph; Schlosser, Mario; Brunkhorst, Ingo; Löser, Alexander (2003): Super-Peer-Based Routing and Clustering Strategies for RDF-Based Peer-to-Peer Networks 09. 02. 2004 RDF in P 2 P-Netzen 45