29
Localisation des métadonnées État d’avancement de la première année Contributions LIP6-INT

Localisation des métadonnées État davancement de la première année Contributions LIP6-INT

Embed Size (px)

Citation preview

Page 1: Localisation des métadonnées État davancement de la première année Contributions LIP6-INT

Localisation des métadonnées

État d’avancement de la première année

Contributions LIP6-INT

Page 2: Localisation des métadonnées État davancement de la première année Contributions LIP6-INT

Plan

• Choix architecturaux– Le Peer-to-Peer et «LeSelect»– Proposition

• Optimisation du processus de localisation– Connaissance réseau

• Système VENISE

– Connaissance Communautaire• Liens intercommunautaires

Page 3: Localisation des métadonnées État davancement de la première année Contributions LIP6-INT

Gestion des requêtes

P2P(propagation)

LeSelect (interrogation précise)

N1 N2 N3

N4 N5 N6 N7

N8 N9 N10

N11 N12 N13 N14

N0

N1 N2 N3

N4 N5 N6 N7

N8 N9 N10

N11 N12 N13 N14

N0

médiateur

Communication synchrone

Connaissance de tous les nœuds

Centralisation de l’interrogation

Connaissance des nœuds voisins

Décentralisation de l’interrogation

Communication asynchrone

Propagation requête

Réponse

Page 4: Localisation des métadonnées État davancement de la première année Contributions LIP6-INT

Les vues de LeSelect

• Objectif:– Ramener le problème de

localisation de MD, à un problème de localisation de vues.

• Problèmes– Administration:

qui va créer les vues ?– Robustesse:

que se passe-t-il en cas de retrait ou de panne d’un nœud ?

N1 N2 N3

N4 N5 N6 N7

N8 N9 N10

N11 N12 N13 N14

N0

médiateur

avec vue

Communication synchrone

Page 5: Localisation des métadonnées État davancement de la première année Contributions LIP6-INT

Utilisation du médiateur

Locale( accès aux métadonnées)

LeSelect

Sys-Loc

LeSelect

Sys-Loc

LeSelect

Sys-Loc

Q

Q

Q

Q

MD

Classique( accès aux ressources )

LeSelect

LeSelect

Ni

Nk

Résultats de la localisation des MDs

IP de Nk

IP de Nl

Page 6: Localisation des métadonnées État davancement de la première année Contributions LIP6-INT

Les différents modules• Communication

– Échange de messages XML (Message d’Interrogation (MI) & Message de Résultat (MR))

• Traitement– Interrogation du médiateur (Écriture de requête de médiation)

• Diffusion– Gestion des rebonds (Propagation aux voisins)

• Visualisation– Affichage des MDs récupérées (pour collecte du feedback de l’utilisateur)

Page 7: Localisation des métadonnées État davancement de la première année Contributions LIP6-INT

Proposition d’architecture

MR : (ID, {MD1, MD2, … })

MR : (ID, {MD1, MD2, … })

MI : ( IPinitial , ID, MD-requête ) envoyé à chaque voisin

Récepteur de messages d’Interrogation

Module de diffusion des requêtes Module de traitement des requêtes

Générateur de requête de médiation

MEDIATEUR

Métadonnées

Générateur de messages de résultats

Tra

nsm

ette

ur d

e m

essa

ges

résu

ltats

Diffuseur de messages d’interrogation

MI : ( IPinitial , ID, MD-requête )

Table de voisinage

IPvoisin_1 …IPvoisin_k

Transmetteur de messages d’Interrogation

Réc

epte

ur d

e m

essa

ges

résu

ltats

Visualiseur

COMMUNICATION

DIFFUSION

VISUALISATION

TRAITEMENT

Page 8: Localisation des métadonnées État davancement de la première année Contributions LIP6-INT

Plan

• Choix architecturaux– Le Peer-to-Peer et «LeSelect»– Proposition

• Optimisation du processus de localisation– Connaissance réseau

• Système VENISE

– Connaissance Communautaire• Liens intercommunautaires

Page 9: Localisation des métadonnées État davancement de la première année Contributions LIP6-INT

Optimisation du processus de propagation des requêtes

• Connaissance sur le contenu– Vecteur Thématique

• Connaissance sur les utilisateurs– Communauté

Thème “climatologie” “hydrologie” “océanologie” “océanographie” …

Proportion 0,35 0,25 0,40 0 …

Illustration : http://gaya.lip6.fr:8080/venise

Thème “climatologie” “hydrologie” “océanologie” “océanographie” …

Présence 1 0 1 0 …

Page 10: Localisation des métadonnées État davancement de la première année Contributions LIP6-INT

Optimisation du processus de propagation des requêtes (2)

• Connaissance sur les requêtes– Catégories de requêtes

• Requête Générale (RG)– interrogation du noyau des MDs

• Requête Spécifique (RS)– interrogation du noyau + attributs métiers des MDs

Noyau Spécialisation métier

Titre Date Climat Unité …

Relevé Pluviométrique 2003 Océanique Cm …

MD

Page 11: Localisation des métadonnées État davancement de la première année Contributions LIP6-INT

Bilan des connaissances

réseauMD-requête

CommunautéCatégorie

Vecteur Thématique

Page 12: Localisation des métadonnées État davancement de la première année Contributions LIP6-INT

VENISE

• Organisation thématique du réseau :Influer sur le choix du nœud d’entrée dans le réseau selon le contenu thématique du nouveau nœud

• Entrée Thématique Virtuelle (ETV)Interface avec le réseau pour palier à l’absence de connaissance globale sur le réseau

serVice de sElection d’une eNtrée vIrtuelle pour l’inSertion dans le rEseau

http://gaya.lip6.fr:8080/venise

COMMENT CHOISIR LA MEILLEURE ENTREE VIRTUELLE ?

Réseau

ETV1

ETV2

ETV3

Nœud à insérer

?

Page 13: Localisation des métadonnées État davancement de la première année Contributions LIP6-INT

Intérêt des Entrées Virtuelles Thématiques

• Objectif :Faire passer par la même Entrée Thématique Virtuelle, tous les nœuds au contenu thématique proche.

Hydrologie, Océanologie

Nœud à insérer

Météorologie

ETV1

ETV2

ETV3

Écologie

Réseau

Page 14: Localisation des métadonnées État davancement de la première année Contributions LIP6-INT

Gestion des Entrées Thématiques Virtuelles

• Contrainte:– Avoir un vecteur qui agrège l’ensemble des vecteurs

thématiques des nœuds ayant été insérés par l’Entrée Thématique Virtuelle considérée

– Avoir une notion de voisinage, selon des critères sémantiques

• Représentation– A chaque ETV, nous associons un neurone– L ’ensemble des Entrées Thématiques Virtuelles est

donc assimilable à un réseau de neurones

CARTES AUTO-ORGANISATRICES de KOHONEN

Page 15: Localisation des métadonnées État davancement de la première année Contributions LIP6-INT

Cartes auto-organisatrices de Kohonen

Nœud à insérer

40 20 30 10 0 …

Neurone

Vecteur de référence

Vecteur Thématique

• Objectif :– Trouver le neurone dont le vecteur de référence est le plus proche (au

sens des moindres carrés) du vecteur thématiques du nœud à insérer.

• Principe:– Comparer Vecteur Thématique du nœud à insérer et du Vecteur

de référence de chaque neurone associé à chaque Entrée Thématique Virtuelle

Réseau de neurones

Σ = 100

Page 16: Localisation des métadonnées État davancement de la première année Contributions LIP6-INT

Cartes auto-organisatrices: Principe

Réseau de neurones

Nœud à insérer

40 20 30 10 0 …

Page 17: Localisation des métadonnées État davancement de la première année Contributions LIP6-INT

Sélection et Apprentissage

Étape 1 : Sélection

Calcul du neurone qui minimise la valeur des « moindres carrés » entre le vecteur thématique et les vecteurs de référence des neurones

Étape 2 : Mise à jour

Modification du vecteur de référence du neurone gagnant et de son voisinage selon la formule :

Avec :

))()().(()()1( twtxttwtw iiii

)(t))()(( twtx ii

Coefficient d’apprentissage

Distance euclidienne entre le vecteur thématique (x) et les vecteur de références (w)

Page 18: Localisation des métadonnées État davancement de la première année Contributions LIP6-INT

2 Démos

• Visualisation du réseau de neurones, avec phase d’apprentissage et sélection de l’Entrée Thématique Virtuelle selon le nœud courant.

• Simulation de l’insertion de nœuds, avec sélection de l’entrée thématique virtuelle selon le contenu thématique des noeuds:

http://gaya.lip6.fr:8080/venise

Page 19: Localisation des métadonnées État davancement de la première année Contributions LIP6-INT

Connaissance communautaire

• A flexible definition of community• Link model to filter neighbors where the

query should be executed (relevant nodes known by the community)

• Link model to filter neighbors having at least a similar community able to collaborate (to recommend relevant nodes)

• A metric to compare communities defined on different nodes

Page 20: Localisation des métadonnées État davancement de la première année Contributions LIP6-INT

Community

• Definition: local for each node

• Attribution:

oceanography oceanology hydrogeologymeteorologyhydrology

oceanographers

climatologists

paleoclimatologists

Themes known by all the nodes

U

oceanographers

climatologists

hydrologists

paleoclimatologists

Choosing

a community of interest

Communities defined on Nj

oceanographers={oceanography, oceanology, hydrology}

Page 21: Localisation des métadonnées État davancement de la première année Contributions LIP6-INT

Relevance-based links• Interest:

linking nodes containing relevant resources for a community

• Representation :( IP of relevant node , Community name, aggregated feedback )

Climatologists

HydrologistsPotential relevant

resources for “climatologists” of the node Ni…

(132.227.205.161, “Climatologists” , 0.75 )

Nj Nq

Page 22: Localisation des métadonnées État davancement de la première année Contributions LIP6-INT

Inter-community links

• Interest:linking nodes containing a community with similar fields of interest

• Representation :( Local community name, IP of distant node , Distant community name, freshness of the link )

Climatologists

Hydrologists

(“Climatologists” , 132.227.205.249, “Climatology team” , 5 )

Nj Nk

Climatology team

Hydrology Team

Page 23: Localisation des métadonnées État davancement de la première année Contributions LIP6-INT

Inter-community link handling

How to handle the mapping between communities ?

• Metric of comparison– Def-similarity (creation)

• Based on static definition of communities

– Exp-similar (evolution)• Based on dynamic experiences of members

belonging to the same community

Page 24: Localisation des métadonnées État davancement de la première année Contributions LIP6-INT

Def-similarity: Creating inter-community links

oceanography oceanology hydrogeologymeteorologyhydrology

oceanographers

Climatology TeamOceanology Team

Themes

(global resource shared by all)

“Oceanographers” is def-similar to “Oceanology Team”

Communities

on node Nj

Communities

on node Nk

Page 25: Localisation des métadonnées État davancement de la première année Contributions LIP6-INT

Exp-similarity : Updating inter-community links

N1 0,95

N2 0,92

N3 0,89

N4 0,75

N5 0,60

N6 0,25

… …

oceanographers

On node Nj On node Nk

Correlation of Pearson : ωOceanology Team

N1 N3 N4 N7 …

0,90 0,92 0,25 0,80 …

N1 N2 N3 N6 …

0,94 0,96 0,85 0,20 …

N3 N5 N6 N9 …

0,15 0,92 0,95 0,80 …

Climatology Team

Paleoclimatology Team

“Oceanographers” is exp-similar to “Climatology Team”

0,75

ω(“Oceanographers”, “Oceanology Team” )

0,90

ω(“Oceanographers”, “climatology Team” )

0,30

ω(“Oceanographers”, “Paleoclimatology Team” )

Page 26: Localisation des métadonnées État davancement de la première année Contributions LIP6-INT

Query propagation

Relevance-based link

Inter-community link

Node

N1

Ni

1st Step

N2 N3 N4 N5 N6

2nd Step

N7 N8 N9 N10

3rd Step

… … … …

Query Q

N11

Q Q

Q Q Q

UClimatologists

Page 27: Localisation des métadonnées État davancement de la première année Contributions LIP6-INT

Vers une architecture adaptative…

• Objectif:Exploiter la structure des MDs et la catégorie des requêtes

• Principe:Un nœud peut déléguer le traitement de ses Requêtes Générales à un Super-Peer hybride qui contient la projection sur le noyau des métadonnées.

Optimisation de la répartition de charge

Page 28: Localisation des métadonnées État davancement de la première année Contributions LIP6-INT

Délégation du traitement des requêtes générales

D

F

H

G

E

Super-Peer

Peer

C

A

B

Nœuds ayant D comme voisinNœuds voisin de D

Propagation des RG

Propagation des RS

Noyau DMD

Page 29: Localisation des métadonnées État davancement de la première année Contributions LIP6-INT

Bilan et perspectives• Bilan

– Architecture adaptée à la propagation de requête propre aux architectures Peer-to-Peer

– Intégration du médiateur dans cette architecture– Exploitation de la connaissance réseau, par rapprochement logique des nœuds

thématiquement proches– Exploitation de la connaissance communautaire, par le partage de l’expérience

des communautés distantes

• Perspectives– Décentralisation du processus de sélection des Entrées Thématiques Virtuelles– Deuxième catégorie de critère de sélection des voisins (d’ordre géographique)– Cache personnalisé de requête– Répartition de charge: architecture dynamique basée sur des Super-Peers

hybrides