Le Projet MediaGrid: Un canevas de système de médiation pour

Le Projet MediaGrid:

Un canevas de système de médiation pour l’accès transparent aux sources largement distribuées

Sen Liu

26-01-2005

Towards a Mediation System Framework for Transparent Access to Largely Distributed Sources -- The MediaGrid Project

I. Contexte i. Les auteurs ii. Pourquoi la médiation ?II. Article i. Objectif ii. Architecture iii. Gestion de métadonnées iv. Génération de requête de médiation v. Evaluation adaptative et interactiveIII. CritiquesIV. PerspectivesV. Bibligraphie

26/ 01/ 2004 – Sen Liu – Lyon 1

Le plan

1/19

Les auteurs

Article Critique Perspective BibligraphieContexte

26/ 01/ 2004 – Sen Liu – Lyon 1 2/19

Auteurs

LaMI (Lab. des Méthodes Informatiques) Univ.Evry-Val d'Essonne Gilles Bernot, David Laurent, Fariza Tahi

LSR (Lab. Logiciels Systèmes Réseaux), IMAG Grenoble Khalid Belhajjame, Christoph Bobineau, Gennaro Bruno, Christine Collet, Fabrice Jouanot, Trinh Tuyet-Vu, Genoveva Vargas-Solar

PRiSM (Lab. Parallélisme, Réseaux, Systèmes, Modélisation), Univ.Versailles St Quentin

Mokrane Bouzeghoub, Beatrice Finance, Zoubida Kedad, Xiaohui Xue

Pourquoi la médiation ?

Les sources d’information sont nombreuses et très diversifiées dans des réseaux (Page Web, Tableurs, système de fichiers, applications, etc.)

Un sytème de médiation Provider l’accès transparent aux sources hétérogènees et distribuées Une illusion pour l’utilisateur ou l’application Architecture de trois niveau


26/ 01/ 2004 – Sen Liu – Lyon 1 3/19

Médiation

utilisateur application

médiateur

adaptateur adaptateur

S1 S2

Objectif

Objectif: définir un canevas de système de médiation ouvert pour l’accès transparent aux source largement distribuées. « canevas » : un ensemble de classes abstraites réutilisables et la maniè

re dont leurs instances interagissent. « ouvert » : construire des systèmes de médiation en « dehors » des

éléments hétérogènes

Un systéme de médiation de Mediagrid construit du canevas : Supporter plus de sources diponibles en considérant des sources

contenant des donnés faiblement structurées un générateur de requête de médiation un évaluateur de requête adaptatif et interactif


26/ 01/ 2004 – Sen Liu – Lyon 1 4/19

Objectif

Quelques définitions


26/ 01/ 2004 – Sen Liu – Lyon 1 5/19

Architecture

Schéma de médiation (schéma global) décrit des données intégrées manipulées dans le niveau de médiation

Schéma exporté décrit des sources abonnées au système

Requête de médiation sont des mappings entre le schéma exporté et le schéma de médiation

Mappings Des requêtes en schéma de médiation des sub-requêtes en schéma exporté Des résultats de sub-requêtes un résultat global

Schémas en XML

26/ 01/ 2004 – Sen Liu – Lyon 1 6/19

Metadonnées

Application

Mediation

SourcesWrapper

S1

Wrapper

Sn

Mediation schema

XML schema

Semantic correspondences

Schéma exporté (XML schéma)

Exported schemas(XML schema)

Statistics

Capabilities

XQueryFor Eukaryotes organismsWhereEntirely sequencedReturn Expression matrix

XQueryXQueryForFor Eukaryotes organismsWhereWhereEntirely sequencedReturnReturn Expression matrix

Response

Evaluator

Rewriting

Query in terms of

exported schemas

Query in terms of

exported schemas

Sub- querySub- query 1 Sub- querySub-query nIntermediary result nIntermediary result 1

GAVMediation queries SM ? Q(S1,S2,S3)


LAVMediation queries

S1? Q(S), S2? Q(S)


S1 Q(S), S2? Q(S)

Mediation Queries

generator


GAVMediation queries MS = Q(S1,S2,S3)


S1? Q(S), S2? Q(S)


S1= Q(MS), S2? = (MS)

Architecture génerale du system médiation de MediaGrid

Gestion de métadonnées

La méta-représantation d'un schema XML est basée sur une graphique modelée comme une série de noeuds

Les métadonnées décrivent: le schéma de médiation, le schéma exporté et la requéte de médiation la correspondence sémantique la capabilité de source la statistique


26/ 01/ 2004 – Sen Liu – Lyon 1 7/19

Gestion de métadonnées

Textnode exporté Textnode de médiationNonTextnode exporté NonTextnode de médiation

Correspondences sémantiques 1

Correspondences sémantiques 2

Génération de requêtes de médiation

Étant donnés : Un schéma de médiation La description des sources de données (schéma exporté)

Problème : comment générer des requête de médiation Approche:

Identification des portions pertinentes de sources de données Recherche des opérations candidates Génération des requêtes de médiation


26/ 01/ 2004 – Sen Liu – Lyon 1 8/19

Génération de requête de médiation

Identification des portions pertinentes de sources

Un schéma pertinent est composé par des éléments du schéma expoté impliquésdans des correspondences sémantiques et la clé et la clé étrangère sont définitesdans le schéma exporté.


26/ 01/ 2004 – Sen Liu – Lyon 1 9/19


Schema de médiationLibrary

Author +IdNameAddressBook +

ISBNTitleChapter +NumberTitleResume ?

Schéma de sourceLibrary

Author +IdName

Book +ISBNTitleChapters

Chapter +NumberResume

Address +AuthorAddress

Schéma pertinentLibrary

Author +IdName

Book +ISBNTitleChapter +

NumberResume


Recherche des opérations candidates

Opérations candidates: opérateur de jointures Jointure candidate entre deux schémas pertinentsJointure candidate au sein d’un même schéma pertinent


26/ 01/ 2004 – Sen Liu – Lyon 1 10/19


SP1Library

Author +IdName


NumberResume


SP2Library

Book +ISBNAuthor +

IdName

Chapter +NumberTitle

J(ISBN1=ISBN2)

J(Name1=Author1)

Génération des requêtes

Le schéma de médiation est décomposé en parties Pour chaque partie, on recherche ses mappings partiels


26/ 01/ 2004 – Sen Liu – Lyon 1 11/19


p3p2

p1

Schéma de médiationLibrary



Génération des requêtes--exemple

M1Author: - jointure mono-source sur (Author1=Name1)- en conservant {Id1,Author1, Address1}

M2Author: - jointure entre SP2 et SP3 sur (Id2=Id3)} - en conservant {Id2, Name2, Address3} Une requête de médiation est une combinaison de mappings partiels: Q1= {M1Author,M2Author}


26/ 01/ 2004 – Sen Liu – Lyon 1 12/19


p3p2

p1

Schéma de médiationLibrary



SP1Library

Author +IdName


NumberResume


j(Name1=Author1)

SP2Library

Book +ISBNAuthor +

IdName

Chapter +NumberTitle

j(Id2=Id3)

SP3Authors

Author +IdAddress

Evaluation

Canevas de courtier de requête(QBF) : un canevas d’évaluation de requêtes.

Courtier de requête: un évaluateur adaptatif de requêtes Une conception représentée par une série de composants: gestionnaire de requête, gestionnaire de plan, gestionnaire de

contexte, gestinnaire de buffer, moniteur, etc.

Evaluation adaptative

Evaluation interactive


26/ 01/ 2004 – Sen Liu – Lyon 1 13/19

Evaluation adaptive et interactive

Evaluation adaptative

Objectif : ajuster le plan d’exécution selon les statistiques acquises(eg. le délai de réseau)

Approche: le « brouillage de requête » est proposé, il réagit à un délai par deux façons Réordonner le plan d’exécution quand un délai est détecté. Si un

autre opérateur o peut être exécuté, un opérateur Buffer va être inséré dans le plan d’exécution pour exécuter o pendant le délai

Restructurer le plan de requête en modifiant l’ordre des opérateurs de jointure pour que un sub-plan puisse être évalué pendant le délai

des données indisponibles des résultats partiels


26/ 01/ 2004 – Sen Liu – Lyon 1 14/19


Evaluation interactive

Evaluation interactive Autoriser l’affinement et le contrôle de l’exécution des requêtes

Deux étapes: Détecter la modification par un moniteur Rédiriger des flux de données entre des opérateurs pour minimiser

la mise à jour


26/ 01/ 2004 – Sen Liu – Lyon 1 15/19


Critiques

Points forts Génération de requête de médiation: automatique--manulle Evaluation de requête: adaptative et interactive-- statique

Point faible Sur l’article,pas d’expérimentation, pas d’évaluation de performance


26/ 01/ 2004 – Sen Liu – Lyon 1 16/19

Critique

Perspectives

Un système de médiation dans le futur pourra

Etre extrêmement dynamique: Gérer efficacement l’évolution de sources de données et

l’insertion et la suppression de sources. Avoir le générateur de requête de médiation et l’évaluateur

adaptatif et interactif.


26/ 01/ 2004 – Sen Liu – Lyon 1 17/19

Perspective

Bibliographie

[1]Christine Collet, Khalid Belhajjame, Gilles Bernot, Christophe Bobineau, Gennaro Bruno, Beatrice Finance,Fabrice Jouanot, Zoubida Kedad, David Laurent,Fariza Tahi, Genoveva Vargas-Solar, Tuyet-Trinh Vu, andXiaohui Xue,Towards a Mediation System Framework for Transparent Access to Largely Distributed Sources--The MediaGrid Project ICSNW 2004, LNCS 3226, pp. 65–78, 2004.

[2]Laurent Amsaleg , Michael J. Franklin , Anthony Tomasic, Dynamic Query Operator Scheduling for WideArea Remote Access, Distributed and Parallel Databases, v.6 n.3, p.217-246, July 1998

[3] Collet, C, Vu,T-T.: QBF: a Query Broker Framework for Adaptable Query Evaluation.In Proc. of the SixthInternational Conference on Flexible Query Answering Systems (FQAS), June 24-26, Lyon, France.(2004)


26/ 01/ 2004 – Sen Liu – Lyon 1 18/19

Bibliographie

Merci !

Et des questions

26/ 01/ 2004 – Sen Liu – Lyon 1 19/19

Documents

Le Projet MediaGrid: Un canevas de système de médiation pour