C. R. Acad. Sci. Paris, t. 332, Série I, p. 597–600, 2001Théorie des groupes/Group Theory(Équations aux dérivées partielles/Partial Differential Equations)

Un critère de commutativité pour l’algèbre desopérateurs différentiels invariants sur un espacehomogène nilpotent *

Hidénori FUJIWARA a, Gérard LION b,d, Bernard MAGNERON c,d,Salah MEHDI b,d

a Faculté de technologie à Kyushu, Université de Kinki, Iizuka 820, Japonb Modal’X, UFR SEGMI, Université Paris-X, 200, avenue de la République, 92001 Nanterre cedex, Francec Institut Galilée, département de mathématiques, Université Paris-XIII, avenue Jean-Baptiste-Clément,

93430 Villetaneuse, Franced Institut de mathématiques de Jussieu, case 7012, Université Paris-VII, 2, place Jussieu, 75251 Paris cedex 05,

FranceCourriel : fujiwara@fuk.kindai.ac.jp; glion@modalx.u-paris10.fr; magneron@math.univ-paris13.fr;mehdi@math.jussieu.fr

(Reçu le 19 octobre 2000, accepté le 15 janvier 2001)

Résumé. SoientG un groupe de Lie réel nilpotent connexe, simplement connexe,H un sous-groupefermé deG d’algèbre de Lieh et f une forme linéaire surh satisfaisantf([h,h]) = 0.Soit χf le caractère unitaire deH dont la différentielle en l’élément neutre est

√−1f .

Soitτ ≡ IndGHχf la représentation unitaire deG induite à partir du caractèreχf deH . Soit

DG,H,f l’algèbre des opérateurs différentielsG-invariants sur le fibré de baseG/H associéà ces données. Corwin et Greenleaf ont démontré en 1992, que siτ est à multiplicités finiesalors cette algèbre est commutative. Nous établissons ici l’implication réciproque. 2001Académie des sciences/Éditions scientifiques et médicales Elsevier SAS

A commutativity criterion for the algebra of invariant differentialoperators on a nilpotent homogeneous space

Abstract. Let G be a connected simply connected real nilpotent Lie group, H a connected closedsubgroup of G with Lie algebra h and f a linear form on h satisfying f([h,h]) = 0. Letχf be the unitary character of H with differential

√−1f at the origin. Let τ ≡ IndG

Hχf

be the unitary representation of G induced from the character χf of H . Let DG,H,f be thealgebra of G-invariant differential operators on the bundle with basis G/H associated tothese data. Corwin and Greenleaf have shown in 1992 that if τ is of finite multiplicities,this algebra is commutative. We prove here the converse part. 2001 Académie dessciences/Éditions scientifiques et médicales Elsevier SAS

Note présentée par Michel DUFLO.

S0764-4442(01)01873-0/FLA 2001 Académie des sciences/Éditions scientifiques et médicales Elsevier SAS. Tous droits réservés 597

H. Fujiwara et al.

1. Énoncé du problème

SoientG un groupe de Lie réel nilpotent connexe, simplement connexe, d’algèbre de Lieg, H un sous-groupe fermé connexe deG d’algèbre de Lieh etf ∈ h∗ satisfaisantf([h,h]) = 0. La restriction def àh

définit un homomorphisme deh dansC qui induit un caractèreχf deH donné parχf (expY ) = e√−1f(Y )

pourY dansh.Soit C∞(G,H,f) (resp.H(G,H,f)) l’espace vectoriel des fonctions complexesC∞ surG (resp. des

classes de fonctions complexes de carré intégrable moduloH surG) et qui vérifient la relation de covarianceφ(gh) = χ−1

f (h)φ(g) pour toush dansH etg dansG. Nous considérons la représentationL (resp.τ ) deGdansC∞(G,H,f) (resp.H(G,H,f)) réalisée par les translations à gauche.

La représentationτ se décompose en une somme hilbertienne continue de représentations unitairesirréductibles :τ

∫ ⊕G

m(π)π dµ(π), oùm(π) désigne la multiplicité deπ dansτ et dµ une mesure de

Plancherel sur le dual unitaireG deG. L. Corwin, F.P. Greenleaf et G. Grélaud ont démontré dans [5] quepour presque toutes les représentationsπ deG, les multiplicitésm(π) apparaissant dansτ sont soit finieset admettent une borne uniforme, soit infinies. Dans le premier cas, nous dirons queτ est à multiplicitésfinies.

Par ailleurs, il est utile de noter que les multiplicitésm(π) deτ ont aussi une interprétation géométrique.En effet, considérons dansg∗ le sous-espace affineΓG,H,f = ψ ∈ g∗ | ψ(Y ) = f(Y ), for all Y ∈ h. Sinous notonsOπ l’orbite co-adjointe deG associée à une représentation unitaire irréductibleπ deG parl’application de Kirillov (voir [9]), alorsm(π) =

O ∈H g∗ |O⊂ Oπ ∩ ΓG,H,f

.

Enfin, nous arrivons à la question qui est l’objet de notre étude. SoitDG,H,f l’algèbre des opérateursdifférentiels linéaires surG qui laissent stableC∞(G,H,f) et qui commutent à l’actionL de G surC∞(G,H,f).

Lorsqueτ est à multiplicités finies, L. Corwin et F.P. Greenleaf ont établi dans [3] la commutativité del’algèbreDG,H,f . De plus, concernant la propriété réciproque, ils ont énoncé la :

CONJECTURE. – L’algèbre DG,H,f est commutative si et seulement si τ est à multiplicités finies.

SoitU(g) l’algèbre enveloppante de la complexifiée deg eta le sous-espace vectoriel complexe deU(g)engendré par les éléments de la formeY +

√−1f(Y ) avecY ∈ h. On forme alors l’idéal à gaucheU(g)a de

U(g) et la sous-algèbreU(g,h, f) = X ∈ U(g) | for all Y ∈ h, [Y,X ] ∈ U(g)a. Il est connu que l’actionà droite deU(g) surC∞(G,H,f) induit l’isomorphisme d’algèbresDG,H,f U(g,h, f)/U(g)a (voir [3],Section 4).

Par ailleurs, on sait [4,10] queτ est à multiplicités finies si et seulement si, sur un ouvert de Zariski deΓG,H,f , le sous-espace vectoriel isotropeh + g() est de dimension maximale pour la forme bilinéaireB

donnée parB(X,Y ) = ([X,Y ]) ou, de façon équivalente, siG · ∩ ΓG,H,f est une variété lagrangienne.Ainsi, on peut aussi formuler la conjecture comme suit :

L’algèbre U(g,h, f)/U(g)a est commutative si et seulement si G · ∩ΓG,H,f est une variété lagrangiennepour tout dans un ouvert de Zariski de ΓG,H,f .

Sous cette forme, on retrouve une question de M. Duflo [6], énoncée dans un contexte plus général que lecadre nilpotent.

La conjecture de Corwin et Greenleaf a été démontrée par H. Fujiwara, G. Lion et S. Mehdi lorsqueHest réductif dansG, ou pour presque toutf lorsqueH est abélien [7], et aussi par A. Baklouti et J. Ludwig[2], lorsqueh est un idéal deg. Nous l’établissons en toute généralité ici.

2. Notations

Pour ∈ g∗, on noteg() l’algèbre de Lie du stabilisateur de pour l’action co-adjointe deG. Onse donne un drapeau d’idéaux deg : 0 = g0 ⊂ g1 ⊂ · · · ⊂ gn−1 ⊂ gn = g. Soit dansg∗. On définit

598

Un critère de commutativité pour l’algèbre des opérateurs différentiels. . .

T () = j ∈ N | 1 j n, gj ⊂ gj−1 + g(). Il existe un ouvert de Zariski non videΩ de ΓG,H,f surlequel la dimension degi ∩ g() est minimale pour touti= 1, . . . , n. L’ensembleT () = m1 < · · ·<mtne dépendant pas du choix de parmi les éléments deΩ, on le noteraT .

On dit qu’un élémentσ de U(g) est central surΓG,H,f s’il vérifie π(σ) = θ(σ, )Id, où θ est unefonction à valeurs complexes pour variant dans un ouvert de Zariski non vide deΓG,H,f . Rappelonsqu’à tout indicemk deT , Corwin et Greenleaf [3] associent un élémentσk central surΓG,H,f vérifiant lesconditions :

σk = ξkXmk+Ak avecξk etAk dansU(gmk−1) ;

ξk ∈ U(gmk−1) est central surΓG,H,f ;

les fonctions → θ(σk, ) et → θ(ξk, ) ne s’annulent pas sur un ouvert de Zariski deΓG,H,f .

D’autre part, on considère deux ensembles d’indicesI = i1 < i2 < · · ·< id etJ = j1 < j2 < · · ·< jpdéfinis par :h ∩ gir = h ∩ gir−1 pour tout r dans 1, . . . , d et J = 1, . . . , n I de sorte quep = dim(G/H) et d = dim(H). À partir de l’ensembleJ , on construit une suite de sous-algèbreskr |0 r p de la manière suivante :k0 = h et kr = h + gjr de sorte quek0 = h ⊂ k1 ⊂ · · · ⊂ kp−1 ⊂ kp = g

etdim(kr/kr−1) = 1. Puis, à partir de l’ensembleI, on construit un drapeauhs | 0 s d d’idéaux deh

en formanth0 = 0 et hs = h ∩ gis . On forme alors la base de MalcevX1,X2, . . . ,Xn en choisissantXk = Ys ∈ hs, Xk ∈ hs−1 lorsquek ∈ I ou en prenant un élément quelconque degk qui n’est pas dansgk−1 lorsquek ∈ J . Pours= 1, . . . , d, on noteas le sous-espace vectoriel complexe deU(g) engendré parles éléments de la formeY +

√−1f(Y ) avecY ∈ hs.

Si g′ est une sous-algèbre de codimension1 de g, nous dirons pour ∈ g∗ que laH-orbiteH · estsaturée (resp. non saturée) par rapport àg′ si la dimension de l’orbiteH · dansg∗ est supérieure (resp.égale) à celle de l’orbiteH · (|g′) dansg′∗.

Notons que l’isomorphisme d’algèbresDG,H,f U(g,h, f)/U(g)a, induit une injection naturelle deDG′,H,f dansDG,H,f .

Enfin, on désigne parσ → tσ l’anti-automorphisme principal deU(g).

3. Résultats

La propriété suivante est importante pour établir les théorèmes suivants :

LEMME. – Soient mk ∈ T et is ∈ I tels que mk = is. On suppose que, pour dans un ouvert de Zariskide ΓG,H,f , on a hs ∩ g() = hs−1 ∩ g(). Alors

(i) il existe un polynôme P tel que P (tσ1, . . . ,tσk) ≡ 0 modulo U(gmk

)as et dans lequel les facteursde σk ne sont pas tous nuls modulo U(g)a ;

(ii) il existe un polynôme Q tel que Q(tσ1, . . . ,tσk, Ys) ≡ 0 modulo U(gmk−1)as−1 et dans lequel les

facteurs de Ys ne sont pas tous nuls modulo U(g)a.

Ce lemme se démontre en raisonnant par récurrence sur les dimensions deG et deH .

THÉORÈME 3.1. –Soient G un groupe de Lie réel nilpotent connexe, simplement connexe, d’algèbre deLie g, H un sous-groupe fermé connexe de G d’algèbre de Lie h, f une forme linéaire sur h satisfaisantf([h,h]) = 0 et τ ≡ IndG

Hχf la représentation unitaire de G induite à partir du caractère χf de H . Onsuppose h ⊂ g′, où g′ est un idéal de codimension 1 de g. Soit G′ le sous-groupe de G d’algèbre de Lie g′.Alors, l’injection de DG′,H,f dans DG,H,f est bijective si et seulement si sur un ouvert de Zariski non videde ΓG,H,f , les H-orbites dans ΓG,H,f sont saturées par rapport à g′.

On choisit la suite d’idéaux deg de telle sorte quegn−1 = g′. Avec les notations des paragraphesprécédents, sous les deux hypothèses suivantes :

U(g,hd−1, f |hd−1) ⊆ U(g′) + U(g)ad−1 et U(g′,hd−1, f |hd−1

) ⊆ U(g′,h, f),

599

H. Fujiwara et al.

A. Baklouti et H. Fujiwara, ([1], théorème 4.4), ont montré que l’injection deDG′,H,f dansDG,H,f n’estpas surjective lorsque sur un ouvert de Zariski non vide deΓG,H,f lesH-orbites ne sont pas saturées parrapport àg′.

Dans les autres cas, on procède par récurrence sur les dimensions deG et deH , en utilisant le lemme.

THÉORÈME 3.2. –Soient G un groupe de Lie réel nilpotent connexe, simplement connexe, H un sous-groupe fermé connexe de G et f une forme linéaire sur h satisfaisant f([h,h]) = 0. Soit τ = IndG

Hχf lareprésentation unitaire de G induite à partir du caractère χf de H . Alors DG,H,f est commutative si etseulement si τ est à multiplicités finies.

La méthode permettant de déduire le théorème 2 du théorème 1 a été élaborée par H. Fujiwara, G. Lionet S. Mehdi ([7], théorème 1), et indépendamment par F.P. Greenleaf [8].

Remerciements. Nous remercions l’Université Paris-XIII qui a rendu possible cette collaboration en invitantH. Fujiwara à la fin du printemps de l’année 1999.

* Ce travail a été partiellement financé par le ministère de l’Éducation du Japon qui lui a attribué la subventionno 11640189

Références bibliographiques

[1] Baklouti A., Fujiwara H., Opérateurs différentiels associés à certaines représentations unitaires d’un groupe de Lierésoluble exponentiel, Prépublication, 2000.

[2] Baklouti A., Ludwig J., Invariant differential operators on certain nilpotent homogeneous spaces, Monatshefte fürMathematik (to appear).

[3] Corwin L., Greenleaf F.P., Commutativity of invariant differential operators on nilpotent homogeneous spaceswith finite multiplicity, Commun. Pure Appl. Math. 45 (1992) 681–747.

[4] Corwin L., Greenleaf F.P., A canonical approach to multiplicity formulas for induced and restricted representationsof nilpotent Lie groups, Commun. Pure Appl. Math. 41 (1988) 1051–1088.

[5] Corwin L., Greenleaf F.P., Grélaud G., Direct integral decomposition and multiplicities for induced representationsof nilpotent Lie groups, Trans. Amer. Math. Soc. 304 (1987) 549–583.

[6] Duflo M., Open problems in representation theory of Lie groups, in: Conference on “Analysis on HomogeneousSpaces”, Katata, Japan, 1986, pp. 1–5.

[7] Fujiwara H., Lion G., Mehdi S., On the commutativity of the algebra of invariant differential operators on certainnilpotent homogeneous spaces, Trans. Amer. Math. Soc. (to appear).

[8] Greenleaf F.P., Geometry of co-adjoint orbits and non-commutativity of invariant differential operators onnilpotent homogeneous spaces, Commun. Pure and Appl. Math. 53 (2000).

[9] Kirillov A.A., Éléments de la théorie des représentations, Éditions Mir, Moscou, 1974.[10] Lipsman R., Orbital parameters for induced and restricted representations, Trans. Amer. Math. Soc. 313 (1989)

433–471.[11] Pukanszky L., Leçons sur les représentations des groupes, Monographies de la Société Mathématique de France,

Vol. 2, Dunod, Paris, 1967.

600