Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Introduction agrave lrsquoeacutetude des grands graphes

Nathalie Villa-Vialaneixhttp wwwnathalievillaorg

Travail reacutealiseacute en collaboration avec Fabrice Rossi

Institut de Matheacutematiques de Toulouse France -nathalievillamathups-tlsefr

12 novembre 2007

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe Sommets

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe SommetsArecirctes

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe

Exemple 1 Les reacuteseaux sociaux

Graphe construit agrave partir drsquoun corpus drsquoarchives meacutedieacutevales

Agrave partir de 1000 contrats agraires duMoyen-Acircge (1250-1350) on construit un graphe

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe

Exemple 2 Reacuteseau drsquointeacuteraction de proteacuteines

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe

Exemple 3 Graphes bipartis (marketing)

Adrien

Beacuteatrice

Corinne

Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

35

7 615

435

2

4

34

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 1 Les reacuteseaux sociaux

Graphe construit agrave partir drsquoun corpus drsquoarchives meacutedieacutevales

Agrave partir de 1000 contrats agraires(1250-1350) on construit un graphe pondeacutereacute

sommets les paysans trouveacutes dans les contrats

poids nombre de contrats ougrave deux paysans sont citeacutessimultaneacutement

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 2 Agrave partir drsquoun graphe biparti

Adrien

Beacuteatrice

Corinne

Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 2 Agrave partir drsquoun graphe biparti Adrien Beacuteatrice

Corinne

1

211

2

1Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommetsEacutetiquettes qualitatives

A

B

A B

B

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets ou quantitatives

(05 02)

(13 5)

(15 3) (12 02)

(33 14)

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Deacutetection des inteacuteractions par une approche biologique

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe Sommets

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe SommetsArecirctes

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe

Exemple 1 Les reacuteseaux sociaux

Graphe construit agrave partir drsquoun corpus drsquoarchives meacutedieacutevales

Agrave partir de 1000 contrats agraires duMoyen-Acircge (1250-1350) on construit un graphe

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe

Exemple 2 Reacuteseau drsquointeacuteraction de proteacuteines

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe

Exemple 3 Graphes bipartis (marketing)

Adrien

Beacuteatrice

Corinne

Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

35

7 615

435

2

4

34

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 1 Les reacuteseaux sociaux

Graphe construit agrave partir drsquoun corpus drsquoarchives meacutedieacutevales

Agrave partir de 1000 contrats agraires(1250-1350) on construit un graphe pondeacutereacute

sommets les paysans trouveacutes dans les contrats

poids nombre de contrats ougrave deux paysans sont citeacutessimultaneacutement

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 2 Agrave partir drsquoun graphe biparti

Adrien

Beacuteatrice

Corinne

Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 2 Agrave partir drsquoun graphe biparti Adrien Beacuteatrice

Corinne

1

211

2

1Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommetsEacutetiquettes qualitatives

A

B

A B

B

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets ou quantitatives

(05 02)

(13 5)

(15 3) (12 02)

(33 14)

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Deacutetection des inteacuteractions par une approche biologique

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe Sommets

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe SommetsArecirctes

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe

Exemple 1 Les reacuteseaux sociaux

Graphe construit agrave partir drsquoun corpus drsquoarchives meacutedieacutevales

Agrave partir de 1000 contrats agraires duMoyen-Acircge (1250-1350) on construit un graphe

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe

Exemple 2 Reacuteseau drsquointeacuteraction de proteacuteines

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe

Exemple 3 Graphes bipartis (marketing)

Adrien

Beacuteatrice

Corinne

Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

35

7 615

435

2

4

34

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 1 Les reacuteseaux sociaux

Graphe construit agrave partir drsquoun corpus drsquoarchives meacutedieacutevales

Agrave partir de 1000 contrats agraires(1250-1350) on construit un graphe pondeacutereacute

sommets les paysans trouveacutes dans les contrats

poids nombre de contrats ougrave deux paysans sont citeacutessimultaneacutement

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 2 Agrave partir drsquoun graphe biparti

Adrien

Beacuteatrice

Corinne

Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 2 Agrave partir drsquoun graphe biparti Adrien Beacuteatrice

Corinne

1

211

2

1Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommetsEacutetiquettes qualitatives

A

B

A B

B

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets ou quantitatives

(05 02)

(13 5)

(15 3) (12 02)

(33 14)

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Deacutetection des inteacuteractions par une approche biologique

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe Sommets

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe SommetsArecirctes

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe

Exemple 1 Les reacuteseaux sociaux

Graphe construit agrave partir drsquoun corpus drsquoarchives meacutedieacutevales

Agrave partir de 1000 contrats agraires duMoyen-Acircge (1250-1350) on construit un graphe

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe

Exemple 2 Reacuteseau drsquointeacuteraction de proteacuteines

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe

Exemple 3 Graphes bipartis (marketing)

Adrien

Beacuteatrice

Corinne

Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

35

7 615

435

2

4

34

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 1 Les reacuteseaux sociaux

Graphe construit agrave partir drsquoun corpus drsquoarchives meacutedieacutevales

Agrave partir de 1000 contrats agraires(1250-1350) on construit un graphe pondeacutereacute

sommets les paysans trouveacutes dans les contrats

poids nombre de contrats ougrave deux paysans sont citeacutessimultaneacutement

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 2 Agrave partir drsquoun graphe biparti

Adrien

Beacuteatrice

Corinne

Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 2 Agrave partir drsquoun graphe biparti Adrien Beacuteatrice

Corinne

1

211

2

1Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommetsEacutetiquettes qualitatives

A

B

A B

B

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets ou quantitatives

(05 02)

(13 5)

(15 3) (12 02)

(33 14)

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Deacutetection des inteacuteractions par une approche biologique

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe SommetsArecirctes

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe

Exemple 1 Les reacuteseaux sociaux

Graphe construit agrave partir drsquoun corpus drsquoarchives meacutedieacutevales

Agrave partir de 1000 contrats agraires duMoyen-Acircge (1250-1350) on construit un graphe

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe

Exemple 2 Reacuteseau drsquointeacuteraction de proteacuteines

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe

Exemple 3 Graphes bipartis (marketing)

Adrien

Beacuteatrice

Corinne

Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

35

7 615

435

2

4

34

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 1 Les reacuteseaux sociaux

Graphe construit agrave partir drsquoun corpus drsquoarchives meacutedieacutevales

Agrave partir de 1000 contrats agraires(1250-1350) on construit un graphe pondeacutereacute

sommets les paysans trouveacutes dans les contrats

poids nombre de contrats ougrave deux paysans sont citeacutessimultaneacutement

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 2 Agrave partir drsquoun graphe biparti

Adrien

Beacuteatrice

Corinne

Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 2 Agrave partir drsquoun graphe biparti Adrien Beacuteatrice

Corinne

1

211

2

1Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommetsEacutetiquettes qualitatives

A

B

A B

B

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets ou quantitatives

(05 02)

(13 5)

(15 3) (12 02)

(33 14)

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Deacutetection des inteacuteractions par une approche biologique

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe

Exemple 1 Les reacuteseaux sociaux

Graphe construit agrave partir drsquoun corpus drsquoarchives meacutedieacutevales

Agrave partir de 1000 contrats agraires duMoyen-Acircge (1250-1350) on construit un graphe

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe

Exemple 2 Reacuteseau drsquointeacuteraction de proteacuteines

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe

Exemple 3 Graphes bipartis (marketing)

Adrien

Beacuteatrice

Corinne

Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

35

7 615

435

2

4

34

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 1 Les reacuteseaux sociaux

Graphe construit agrave partir drsquoun corpus drsquoarchives meacutedieacutevales

Agrave partir de 1000 contrats agraires(1250-1350) on construit un graphe pondeacutereacute

sommets les paysans trouveacutes dans les contrats

poids nombre de contrats ougrave deux paysans sont citeacutessimultaneacutement

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 2 Agrave partir drsquoun graphe biparti

Adrien

Beacuteatrice

Corinne

Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 2 Agrave partir drsquoun graphe biparti Adrien Beacuteatrice

Corinne

1

211

2

1Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommetsEacutetiquettes qualitatives

A

B

A B

B

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets ou quantitatives

(05 02)

(13 5)

(15 3) (12 02)

(33 14)

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Deacutetection des inteacuteractions par une approche biologique

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe

Exemple 2 Reacuteseau drsquointeacuteraction de proteacuteines

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe

Exemple 3 Graphes bipartis (marketing)

Adrien

Beacuteatrice

Corinne

Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

35

7 615

435

2

4

34

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 1 Les reacuteseaux sociaux

Graphe construit agrave partir drsquoun corpus drsquoarchives meacutedieacutevales

Agrave partir de 1000 contrats agraires(1250-1350) on construit un graphe pondeacutereacute

sommets les paysans trouveacutes dans les contrats

poids nombre de contrats ougrave deux paysans sont citeacutessimultaneacutement

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 2 Agrave partir drsquoun graphe biparti

Adrien

Beacuteatrice

Corinne

Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 2 Agrave partir drsquoun graphe biparti Adrien Beacuteatrice

Corinne

1

211

2

1Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommetsEacutetiquettes qualitatives

A

B

A B

B

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets ou quantitatives

(05 02)

(13 5)

(15 3) (12 02)

(33 14)

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Deacutetection des inteacuteractions par une approche biologique

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe

Exemple 3 Graphes bipartis (marketing)

Adrien

Beacuteatrice

Corinne

Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

35

7 615

435

2

4

34

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 1 Les reacuteseaux sociaux

Graphe construit agrave partir drsquoun corpus drsquoarchives meacutedieacutevales

Agrave partir de 1000 contrats agraires(1250-1350) on construit un graphe pondeacutereacute

sommets les paysans trouveacutes dans les contrats

poids nombre de contrats ougrave deux paysans sont citeacutessimultaneacutement

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 2 Agrave partir drsquoun graphe biparti

Adrien

Beacuteatrice

Corinne

Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 2 Agrave partir drsquoun graphe biparti Adrien Beacuteatrice

Corinne

1

211

2

1Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommetsEacutetiquettes qualitatives

A

B

A B

B

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets ou quantitatives

(05 02)

(13 5)

(15 3) (12 02)

(33 14)

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Deacutetection des inteacuteractions par une approche biologique

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Qursquoest-ce qursquoun graphe

Exemple 3 Graphes bipartis (recherche drsquoinformations)

triste

vie

amour

La vie nrsquoest pas triste

Elle a des heures tristes

Nous sommes tristes parce que

nous pleurons

Quand il nrsquoy a pas drsquoamour

il nrsquoy a pas de vie

Plaisir drsquoamour ne dure qursquoun moment

chagrin drsquoamour dure toute la vie

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

35

7 615

435

2

4

34

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 1 Les reacuteseaux sociaux

Graphe construit agrave partir drsquoun corpus drsquoarchives meacutedieacutevales

Agrave partir de 1000 contrats agraires(1250-1350) on construit un graphe pondeacutereacute

sommets les paysans trouveacutes dans les contrats

poids nombre de contrats ougrave deux paysans sont citeacutessimultaneacutement

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 2 Agrave partir drsquoun graphe biparti

Adrien

Beacuteatrice

Corinne

Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 2 Agrave partir drsquoun graphe biparti Adrien Beacuteatrice

Corinne

1

211

2

1Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommetsEacutetiquettes qualitatives

A

B

A B

B

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets ou quantitatives

(05 02)

(13 5)

(15 3) (12 02)

(33 14)

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Deacutetection des inteacuteractions par une approche biologique

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

35

7 615

435

2

4

34

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 1 Les reacuteseaux sociaux

Graphe construit agrave partir drsquoun corpus drsquoarchives meacutedieacutevales

Agrave partir de 1000 contrats agraires(1250-1350) on construit un graphe pondeacutereacute

sommets les paysans trouveacutes dans les contrats

poids nombre de contrats ougrave deux paysans sont citeacutessimultaneacutement

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 2 Agrave partir drsquoun graphe biparti

Adrien

Beacuteatrice

Corinne

Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 2 Agrave partir drsquoun graphe biparti Adrien Beacuteatrice

Corinne

1

211

2

1Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommetsEacutetiquettes qualitatives

A

B

A B

B

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets ou quantitatives

(05 02)

(13 5)

(15 3) (12 02)

(33 14)

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Deacutetection des inteacuteractions par une approche biologique

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

35

7 615

435

2

4

34

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 1 Les reacuteseaux sociaux

Graphe construit agrave partir drsquoun corpus drsquoarchives meacutedieacutevales

Agrave partir de 1000 contrats agraires(1250-1350) on construit un graphe pondeacutereacute

sommets les paysans trouveacutes dans les contrats

poids nombre de contrats ougrave deux paysans sont citeacutessimultaneacutement

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 2 Agrave partir drsquoun graphe biparti

Adrien

Beacuteatrice

Corinne

Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 2 Agrave partir drsquoun graphe biparti Adrien Beacuteatrice

Corinne

1

211

2

1Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommetsEacutetiquettes qualitatives

A

B

A B

B

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets ou quantitatives

(05 02)

(13 5)

(15 3) (12 02)

(33 14)

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Deacutetection des inteacuteractions par une approche biologique

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 1 Les reacuteseaux sociaux

Graphe construit agrave partir drsquoun corpus drsquoarchives meacutedieacutevales

Agrave partir de 1000 contrats agraires(1250-1350) on construit un graphe pondeacutereacute

sommets les paysans trouveacutes dans les contrats

poids nombre de contrats ougrave deux paysans sont citeacutessimultaneacutement

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 2 Agrave partir drsquoun graphe biparti

Adrien

Beacuteatrice

Corinne

Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 2 Agrave partir drsquoun graphe biparti Adrien Beacuteatrice

Corinne

1

211

2

1Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommetsEacutetiquettes qualitatives

A

B

A B

B

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets ou quantitatives

(05 02)

(13 5)

(15 3) (12 02)

(33 14)

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Deacutetection des inteacuteractions par une approche biologique

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 2 Agrave partir drsquoun graphe biparti

Adrien

Beacuteatrice

Corinne

Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 2 Agrave partir drsquoun graphe biparti Adrien Beacuteatrice

Corinne

1

211

2

1Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommetsEacutetiquettes qualitatives

A

B

A B

B

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets ou quantitatives

(05 02)

(13 5)

(15 3) (12 02)

(33 14)

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Deacutetection des inteacuteractions par une approche biologique

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Pondeacuteration des arecirctes

Exemple 2 Agrave partir drsquoun graphe biparti Adrien Beacuteatrice

Corinne

1

211

2

1Les miseacuterables

Lrsquoassommoir

Bel ami

Le deuxiegraveme sexe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommetsEacutetiquettes qualitatives

A

B

A B

B

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets ou quantitatives

(05 02)

(13 5)

(15 3) (12 02)

(33 14)

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Deacutetection des inteacuteractions par une approche biologique

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommetsEacutetiquettes qualitatives

A

B

A B

B

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets ou quantitatives

(05 02)

(13 5)

(15 3) (12 02)

(33 14)

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Deacutetection des inteacuteractions par une approche biologique

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommetsEacutetiquettes qualitatives

A

B

A B

B

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets ou quantitatives

(05 02)

(13 5)

(15 3) (12 02)

(33 14)

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Deacutetection des inteacuteractions par une approche biologique

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Orientation des arecirctes

Exemple 1 Internet (ici laquo blogosphegravere raquo)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommetsEacutetiquettes qualitatives

A

B

A B

B

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets ou quantitatives

(05 02)

(13 5)

(15 3) (12 02)

(33 14)

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Deacutetection des inteacuteractions par une approche biologique

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommetsEacutetiquettes qualitatives

A

B

A B

B

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets ou quantitatives

(05 02)

(13 5)

(15 3) (12 02)

(33 14)

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Deacutetection des inteacuteractions par une approche biologique

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommetsEacutetiquettes qualitatives

A

B

A B

B

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets ou quantitatives

(05 02)

(13 5)

(15 3) (12 02)

(33 14)

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Deacutetection des inteacuteractions par une approche biologique

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Visualiser une eacutevolution

Exemple 1 Eacutevolution temporelle drsquoun caractegravere drsquounepopulation

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommetsEacutetiquettes qualitatives

A

B

A B

B

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets ou quantitatives

(05 02)

(13 5)

(15 3) (12 02)

(33 14)

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Deacutetection des inteacuteractions par une approche biologique

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommetsEacutetiquettes qualitatives

A

B

A B

B

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets ou quantitatives

(05 02)

(13 5)

(15 3) (12 02)

(33 14)

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Deacutetection des inteacuteractions par une approche biologique

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets ou quantitatives

(05 02)

(13 5)

(15 3) (12 02)

(33 14)

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Deacutetection des inteacuteractions par une approche biologique

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Deacutetection des inteacuteractions par une approche biologique

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Deacutetection des inteacuteractions par une approche biologique

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 1 Interaction de proteacuteines

Deacutetection des inteacuteractions par une approche biologique

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Eacutetiqueter les sommets

Exemple 2 Dans [Bleakley et al 2007] les auteursreconstruisent les arecirctes drsquoun reacuteseau meacutetabolique

sommets = enzymes arecirctes = relations fonctionnelles

agrave partir de 1 la connaissance partielle du reacuteseau 2 diffeacuterentes eacutetiquettes quantitatives donneacutees drsquoexpression

des gegravenes donneacutees de localisation des enzymes dans lacellule donneacutees de profils phylogeacuteneacutetiques des enzymes

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Preacutesentation du problegraveme

DonneacuteesOn suppose connu un graphe pondeacutereacute non orienteacute G

de sommets x1 xn

drsquoarecirctes pondeacutereacutees par (wij)ij=1n wii = 0 wij = wji etsumnj=1 wij = di (degreacute du sommet xi)

Objectifs

Deux objectifs simultaneacutes 1 classification de sommets drsquoun graphe en groupes de

similariteacute 2 repreacutesentation simplifieacutee du graphe par ses groupes et leurs

relations respectives

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Applications concregravetes

Reacuteseaux sociaux Identifier des sous-groupes homogegravenesdrsquoindividus (communauteacutes) et la maniegravere dont ils sontstructureacutes entre eux

World Wide Web Recherche drsquoinformations Grouper les sitesWeb par similariteacute pour faciliter lrsquoidentification desites pertinents

Marketing Identifier des groupes drsquoindividus ou des groupes deproduits pour effectuer des conseils drsquoachats auxacheteurs en ligne

Graphes de proteacuteines reacuteseau meacutetabolique Proposer desregroupements theacutematiques de proteacuteinesdrsquoenzymes etc

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Sommaire

1 Les graphes

2 Objectifs

3 Noyau de la chaleur et cartes de Kohonen

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Cartes de Kohonen le principe

Donneacutees initiales (xi) dansun espace de grande dimension

Projection sur une carte de petitedimension en minimisant lrsquoeacutenergieEn =

sumMi=1 h(d(f(xj) i))xj minus pi

2

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Adaptation aux graphes

ProblegravemeLrsquoalgorithme de cartes de Kohonen classifie les donneacutees selonleurs distances dans lrsquoespace initial pas de distance entre lessommets drsquoun graphe

Solutions proposeacutees1 Adaptation de lrsquoalgorithme agrave des donneacutees deacutecrites par une

mesure de dissimilariteacute [Kohohen and Somervuo 1998] 2 Utilisation drsquoun noyau

[Lau et al 2006 Villa and Rossi 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Dissimilariteacutes

Dissimilariteacutes courantes

1 Distance de Jaccard δ(xi xj) =|xk w(xk xj)0 et w(xk xi)0||xk w(xk xj)0|+|xk w(xk xi)0|

2 Plus court chemin δ(xi xj) = Longueur du plus courtchemin entre xi et xj en suivant les arecirctes du graphe

Limites Utilise des informations tregraves locales (partielles) sur lastructure du graphe

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Laplacien drsquoun graphe

Pour un graphe

de sommets V = x1 xn

pondeacutereacutes par (wij)ij=1n (positifs) tels que pour touti j = 1 n wij = wji et di =

sumnj=1 wij

on reacutesume le graphe par son Laplacian L = (Lij)ij=1n

Lij =

minuswij if i jdi if i = j

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Proprieacuteteacutes du Laplacien [von Luxburg 2007]

Problegraveme de la coupe optimaleLe problegraveme (optimisation discregravete) de trouver une partition dugraphe en k groupes de sommets A1 Ak qui minimise

12

ksumi=1

sumjisinAi jprimeltAi

wjjprime

est approcheacute par le problegraveme drsquooptimisation continue suivant

minHisinRntimesk

Tr(HT LH

)subject to HT H = I

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Spectral clustering

Meacutethode

1 Deacuteterminer les k derniers vecteurs propresu1 uk de L et poser U = [u1 uk ]

2 Utiliser un algorithme de cartes de Kohonen(carte de taille k) sur les lignes de U

Limites du spectral clusteringUtilisation partielle de la structure du graphe tous les vecteurspropres ont le mecircme poids

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Une version reacutegulariseacutee de L

Reacutegularisation la matrice de diffusion pour β gt 0Kβ = eminusβL =

sum+infink=1

(minusβL)k

k rArr

k β V times V rarr R

(xi xj) rarr Kβij

noyau de diffusion (ou noyau de la chaleur)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Inteacuterecircts

1 Interpreacutetation intuitive k β(i j) peut ecirctre interpreacuteteacutee commelrsquoeacutenergie accumuleacutee en i lorsque lrsquoeacutenergie a eacuteteacute injecteacutee en jau temps 0 et que lrsquoeacutenergie circule de maniegravere continue dansles arecirctes du graphe selon une fraction qui deacutepend de β

2 Noyau de la chaleur et RKHS

Graphe rarr Espace de Hilbert de grande dimension(H 〈 〉)

Dans (H 〈 〉) pratiquer un algorithme de classification oucarte de Kohonen (SOM)

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Resultats pour une grille 7 times 7 [Boulet et al 2007]

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes

Les graphesObjectifs

Noyau de la chaleur et cartes de KohonenReferences

Bibliographie

Bleakley K Biau G and Vert J (2007)Supervised reconstruction of biological networks with local modelsBioinformatics 23(13) i57ndashi65

Boulet R Jouve B Rossi F and Villa N (2007)Batch kernel SOM and related laplacian methods for social network analysisNeurocomputingSubmitted

Kohohen T and Somervuo P (1998)Self-Organizing maps of symbol stringsNeurocomputing 21 19ndash30

Lau K Yin H and Hubbard S (2006)Kernel self-organising maps for classificationNeurocomputing 69 2033ndash2040

Villa N and Rossi F (2007)A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graphIn Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07) Bielefield Germany

von Luxburg U (2007)A tutorial on spectral clusteringTechnical Report TR-149 Max Planck Institut fuumlr biologische KybernetikAvaliable at httpwwwkybmpgdepublicationsattachmentsluxburg06_TR_v2_41395B15Dpdf

Nathalie Villa Grands graphes