Test Maturity Model integration (TMMi) du CMMI. Test Maturity Model ... Capability Maturity Model Integration ... Ce document dcrit le Test Maturity Model Integration (TMMi 2). Le TMMi est un modle

  • Published on
    25-May-2018

  • View
    213

  • Download
    1

Transcript

  • www.tmmifoundation.org

    TMMi Framework R1 0 FR.docx Page 1 231

    Test Maturity Model integration

    (TMMi)

    Parution 1.0

    Ralis par la Fondation TMMi

    Editeur : Erik van Veenendaal Traduction franaise :

    - Ralise par Jean-Baptiste Crougneau & Eric Riou du Cosquer - Base sur le Glossaire ISTQB des Termes utiliss en test logiciel traduit par le Comit Franais des

    Tests Logiciels (www.cftl.fr) et sur la traduction franaise du modle CMMI DEV 1.3 produite par le CMMI Institute (www.cmmiinstitute.com)

    - Les questions ou remarques spcifiques cette traduction franaise doivent tre directement adresses traduction@tmmi.fr (pour les questions relatives au modle TMMi merci de consulter le site www.tmmi.org)

    Mention du droit dauteur Diffusion illimite sous rserve du droit d'auteur Copyright TMMi Foundation, Irlande.

  • Test Maturity Model Integration

    2012 TMMi Foundation. Parution 1.0 Page 2 sur 231

    Ce document de la Fondation TMMi est fourni sur une base tel quel. La Fondation TMMi ne donne aucune garantie d'aucune sorte, expresse ou implicite, quant toute question, y compris, mais sans s'y limiter, la garantie d'adquation un usage ou la qualit marchande, l'exclusivit, ou des rsultats obtenus par l'utilisation du document. La Fondation TMMi noffre aucune garantie d'aucune sorte en ce qui concerne la libert de violation de brevets, marques de commerce ou droits d'auteur. L'utilisation d'une marque dans le prsent document n'est destine en aucune manire porter atteinte aux droits du titulaire de la marque. La permission de reproduire ce document et de prparer des travaux drivs partir de ce document usage interne est accorde, condition que le droit d'auteur et la mention "Aucune garantie" soient inclus dans toutes les reproductions et uvres drives. Les demandes d'autorisation de reproduire ce document ou prparer des travaux drivs de ce document pour un usage externe et pour une utilisation commerciale doivent tre adresses la Fondation TMMi. Les marques dposes suivantes et marques de service sont utilises dans la documentation TMMi Foundation: CMM, CMMI, TMMSM, TMMi, IDEALSM, SCAMPISM, TMap, TPI et TPI-Next. CMM et CMMI sont enregistrs auprs du US Patent and Trademark Office par Carnegie Mellon University. IDEAL et SCAMPI sont des marques de service de l'Universit Carnegie Mellon. TMM est une marque de service dpose de l'Illinois Institute of Technology. TMMi est une marque dpose de la Fondation TMMi. TMap, TPI et TPI-Next sont des marques dposes de Sogeti, Pays-Bas.

  • Test Maturity Model Integration

    2012 TMMi Foundation. Parution 1.0 Page 3 sur 231

    Contributeurs Doug Ashworth (Royaume-Uni) Stuart Baker (Royaume-Uni) Jan Jaap Cannegieter (Pays-Bas) Laura Casci (Royaume-Uni) Vicky Chen (Canada) Jerry E Durant (USA) Akhila E. K (Inde) Attila Fekete (Sude) Thomas George (Inde) Andrew Goslin (Royaume-Uni) Murali Krishnan (Inde) Adrian Howes (Royaume-Uni) Klaus Olsen (Danemark) Fran O'Hara (Irlande) Simon Lamers (Allemagne) Hareton Leung (Hong Kong) Robert Magnussion (Sude) Nico van Mourik (Pays-Bas) Bill McGir (USA) Judy McKay (USA) Mac Miller (Royaume-Uni) Sandhya Nagaraj (Inde) Viswanathan Narayana Iyer (Inde) Adewunmi Okupe (USA) Piotr Piotrowski (Pologne) Meile Posthuma (Pays-Bas) Meeta Prakash (Inde) Alec Puype (Belgique) Matthias Rasking (Allemagne) Howard Roberts (Royaume-Uni) Geoff Thompson (Royaume-Uni) Greg Spindler (USA) Tiruvallur Thattai Srivatsan (Inde) Narayanamoorthy Subramanian (Inde) David Tracey (Royaume-Uni) Erik van Veeenendaal (Pays-Bas) Nathan Weller (Royaume-Uni) Brian Wells (Royaume-Uni)

  • Test Maturity Model Integration

    2012 TMMi Foundation. Parution 1.0 Page 4 sur 231

    Rvisions Cette section rsume les principales modifications entre la version 4.0 et la parution 1.0 de ce document.

    Cette section est fournie titre informatif uniquement.

    Section Notes de rvision

    3.5 Ajout des domaines de processus associs au CMMI pour les domaines de processus TMMi niveau 5

    Niveau 5 Ajout de la description dtaille du niveau 5 TMMi (pratiques spcifiques, sous-pratiques, etc.) pour les domaines de processus TMMi : Prvention des Dfauts, Contrle de la Qualit et Optimisation du Processus de Test.

    Glossaire Termes ajouts concernant les domaines de processus du niveau 5

    Tous TMMi mis jour pour tre align sur le plan de la terminologie avec la version 1.3 du CMMI.

  • Test Maturity Model Integration

    2012 TMMi Foundation. Parution 1.0 Page 5 sur 231

    Sommaire 1 Test Maturity Model Integration (TMMi) ................................................................................................................ 6

    1.1 Introduction ...................................................................................................................................................... 6 1.2 Contexte et Historique ..................................................................................................................................... 6 1.3 Sources ............................................................................................................................................................ 6 1.4 Porte du TMMi ............................................................................................................................................... 7

    2 Niveaux de maturit TMMi .................................................................................................................................... 9 2.1 Vue d'ensemble ............................................................................................................................................... 9 2.2 Niveau 1 : Initial ............................................................................................................................................. 10 2.3 Niveau 2 : Disciplin ...................................................................................................................................... 10 2.4 Niveau 3 : Ajust ............................................................................................................................................ 11 2.5 Niveau 4 : Gr quantitativement .................................................................................................................. 11 2.6 Niveau 5 : En optimisation ............................................................................................................................. 12

    3 Structure du TMMi .............................................................................................................................................. 14 3.1 Composants Requis, Attendus et Informatifs ................................................................................................ 14 3.2 Composants du TMMi .................................................................................................................................... 14 3.3 Objectifs Gnriques et Pratiques Gnriques ............................................................................................. 16 3.4 Domaines de Processus soutenant les Pratiques Gnriques ..................................................................... 19 3.5 Domaines de processus CMMI soutenant TMMi........................................................................................... 21

    TMMi Niveau 2 : Disciplin ......................................................................................................................................... 25 PA 2.1 Politique et Stratgie de Test .................................................................................................................. 26 PA 2.2 Planification du Test ................................................................................................................................ 34 PA 2.3 Surveillance et Contrle du Test ............................................................................................................. 49 PA 2.4 Conception et Excution des Tests ........................................................................................................ 61 PA 2.5 Environnement de Test ........................................................................................................................... 73

    TMMi Niveau 3 : Ajust ............................................................................................................................................... 82 PA 3.1 Organisation de Test............................................................................................................................... 83 PA 3.2 Programme de Formation en Test .......................................................................................................... 97 PA 3.3 Cycle de Vie et Intgration du Test ....................................................................................................... 106 PA 3.4 Test Non-Fonctionnel............................................................................................................................ 122 PA 3.5 Revue par les Pairs ............................................................................................................................... 134

    TMMi Niveau 4 : Gr quantitativement ................................................................................................................... 142 PA 4.1 Mesure du Test ..................................................................................................................................... 143 PA 4.2 Evaluation de la Qualit des Produits ................................................................................................... 152 PA 4.3 Revues Avances ................................................................................................................................. 161

    TMMi Niveau 5 : En Optimisation ............................................................................................................................. 171 PA 5.1 Prvention des Dfauts......................................................................................................................... 173 PA 5.2 Contrle de la Qualit ........................................................................................................................... 183 PA 5.3 Optimisation du Processus de Test ...................................................................................................... 195

    Glossaire ................................................................................................................................................................... 213 Rfrences ................................................................................................................................................................ 230

  • Chapitre 1 Test Maturity Model Integration

    2012 TMMi Foundation. Parution 1.0 Page 6 sur 231

    1 Test Maturity Model Integration (TMMi)

    1.1 Introduction Durant la dernire dcennie, l'industrie du logiciel a fait des efforts considrables pour amliorer la qualit de ses produits. Cela a t une tche difficile, tant donn que la taille et la complexit des logiciels augmentent rapidement tandis que les clients et les utilisateurs deviennent de plus en plus exigeants. Malgr des rsultats encourageants avec diverses approches d'amlioration de la qualit, l'industrie du logiciel est encore loin du zro dfaut. Pour amliorer la qualit des produits, l'industrie du logiciel a souvent mis l'accent sur l'amlioration de ses processus de dveloppement. Un modle qui a t largement utilis pour amliorer le processus de dveloppement est le Capability Maturity Model. Le Capability Maturity Model (CMM) et son successeur, le Capability Maturity Model Integration (CMMI1), sont souvent considrs comme le standard de l'industrie pour lamlioration des processus logiciels. Malgr le fait que le test reprsente souvent au moins 30-40% des cots totaux dun projet, seule une attention limite est accorde au test dans les diffrents modles d'amlioration des processus logiciels tels que le CMM et le CMMI. En rponse, la communaut des testeurs a cr ses propres modles d'amlioration. Ce document dcrit le Test Maturity Model Integration (TMMi2). Le TMMi est un modle dtaill pour l'amlioration du processus de test et est positionn comme complmentaire au CMMI.

    1.2 Contexte et Historique Le framework TMMi a t dvelopp par la Fondation TMMi comme un guide et un cadre de rfrence pour l'amlioration du processus de test et se positionne comme un modle complmentaire la version 1.2 du CMMI [CMMI] traitant de questions importantes pour les test managers, les ingnieurs de test et les professionnels de la qualit logicielle. Le test, tel quil est dcrit dans le TMMi, est compris dans son sens le plus large et englobe toutes les activits lies la qualit des produits logiciels.

    Test : processus consistant en l'ensemble des activits du cycle de vie, la fois statiques et dynamiques, soucieux de la planification, la prparation et l'valuation des produits logiciels et des produits dactivit sy rapportant afin de dterminer sils satisfont aux exigences spcifies, de dmontrer qu'ils sont aptes l'usage et de dtecter des dfauts. [ISTQB]

    Tout comme la reprsentation tage du CMMI, le TMMi utilise galement la notion de niveaux de maturit pour lvaluation et lamlioration des processus. En outre, des domaines de processus, des objectifs et des pratiques sont identifis. L'application des critres de maturit TMMi permettra d'amliorer le processus de test et davoir un impact positif sur la qualit des produits, la productivit de l'ingnierie de test, et l'effort consacr chaque cycle. Le TMMi a t dvelopp pour aider les organisations valuer et amliorer leur processus de test. Dans le TMMi, le test voluent dun processus chaotique, mal dfini, avec un manque de ressources, d'outils et de testeurs bien forms un processus mature et contrl qui a comme principal objectif la prvention des dfauts.

    Les expriences pratiques sont positives et montrent que le TMMi aide le processus de test tre plus efficace et plus efficient. Le test se professionnalise et devient une partie totalement intgre au processus de dveloppement. Comme indiqu, lobjectif du test passe de la dtection des dfauts la prvention des dfauts.

    1.3 Sources Le dveloppement du TMMi est bas sur le framework TMM3, tel que dvelopp par l'Illinois Institute of Technology [Burnstein]. En plus du TMM, il a t largement guid par le travail effectu sur le Capability Maturity Model Integration (CMMI), un modle d'amlioration des processus qui a un large soutien dans l'industrie IT. Le CMMI possde la fois une reprsentation tage et continue. Dans la reprsentation tage, larchitecture CMMI prescrit les tapes par lesquelles une organisation doit passer dans un ordre prcis afin d'amliorer son processus de dveloppement. Dans la reprsentation continue, il n'existe pas un ensemble dfini de niveaux ou dtapes suivre. Une organisation qui applique la reprsentation continue peut slectionner les domaines amliorer parmi de nombreuses catgories diffrentes.

    Le TMMi a t dvelopp comme un modle tag. Le modle tag utilise des ensembles prdfinis de domaines de processus pour dfinir un plan d'amlioration pour une organisation. Ce plan d'amlioration est dcrit par un composant du modle appel niveau de maturit. Un niveau de maturit est un palier dvolution bien dfini

    1 CMM et CMMI sont des marques dposes de Carnegie Mellon University 2 TMMi est une marque dpose de la Fondation TMMi 3 TMM est une marque de service dpose de l'Illinois Institute of Technology

  • Chapitre 1 Test Maturity Model Integration

    2012 TMMi Foundation. Parution 1.0 Page 7 sur 231

    visant amliorer les processus organisationnels. Ultrieurement, une reprsentation continue du TMMi pourrait tre publie. Cela sera trs probablement sans influence sur le contenu du TMMi. Cela fournira seulement une structure et une reprsentation diffrentes.

    Les autres sources pour le dveloppement du TMMi incluent le Gelperin and Hetzel Evolution of Testing Model [Gelperin et Hetzel], qui dcrit l'volution du processus de test sur une priode de 40 ans, le modle de test de Beizer, qui dcrit l'volution de la manire de pense du testeur [Beizer], les recherches sur le TMM ralises au sein du projet MB-TMM financ par l'UE, et les standards internationaux du test, par exemple le standard IEEE 829 pour la documentation du test logiciel [IEEE 829]. La terminologie du test utilise dans le TMMi est drive du Glossaire ISTQB des termes utiliss en Tests des Logiciels [ISTQB].

    Comme indiqu, le modle de test volutif de Gelperin et Hetzel a servi de base pour la diffrenciation historique des niveaux dans le TMMi. Le modle Gelperin et Hetzel dcrit les phases et les objectifs de test travers les dcennies 1950 1990. La premire priode est dcrite comme oriente vers le dbogage", au cours de laquelle la plupart des organisations de dveloppement de logiciels n'avait pas clairement fait la diffrence entre tester et dboguer. Le test tait une activit ad hoc, associe avec le dbogage pour supprimer les dfauts des programmes. Depuis, le test, selon Gelperin et Hetzel, a volu vers une priode "oriente prvention", qui est associ aux meilleures pratiques actuelles et reflte le niveau de maturit le plus lev du TMMi.

    Finalement, diverses bonnes pratiques de lindustrie, lexprience pratique avec le TMM et des enqutes sur le test ont contribu l'laboration du TMMi, lui fournissant la base empirique ncessaire et le niveau requis de pragmatisme. Elles illustrent les meilleures et les pires pratiques actuelles du test dans l'industrie informatique, et ont permis aux dveloppeurs du framework TMMi dextraire des repres ralistes permettant d'valuer et d'amliorer les pratiques du test.

    1.4 Porte du TMMi

    1.4.1 Ingnierie du logiciel et des systmes

    Le TMMi est destin aider les activits de test et l'amlioration des processus de test la fois dans l'ingnierie des systmes et dans le gnie logiciel. L'ingnierie des systmes couvre le dveloppement de systmes complets, qui peuvent inclure ou ne pas inclure du logiciel. Le gnie logiciel couvre le dveloppement de systmes logiciels.

    1.4.2 Niveaux de test

    Alors que certains modles d'amlioration des processus de test se concentrent principalement sur les niveaux de test les plus levs, par exemple le Test Process Improvement (TPI) [Koomen et Pol] et son successeur le TPI-Next [Sogeti], ou nadressent qu'un aspect des tests structurs, par exemple l'organisation de test, le TMMi sapplique tous les niveaux de test (y compris les tests statiques) et tous les aspects des tests structurs. En ce qui concerne les tests dynamiques, les tests de bas niveau (par exemple, test de composants, test d'intgration) et les tests de niveaux plus levs (par exemple, tests systme, tests d'acceptation) sont couverts par le TMMi. En tudiant le modle plus en dtail on apprendra que le modle couvre les quatre pierres angulaires des tests structurs (cycle de vie, techniques, infrastructure et organisation) [TMap].

    1.4.3 TMMi et CMMI

    Il est galement important de noter que TMMi se positionne comme un modle complmentaire du CMMI. Dans de nombreux cas, un niveau TMMi donn a besoin de certains domaines de processus du niveau correspondant du CMMI ou de niveaux CMMI infrieurs. Dans des cas exceptionnels, il y a mme une relation avec des niveaux suprieurs du CMMI. Les domaines de processus et pratiques labors dans le CMMI ne sont gnralement pas repris dans le TMMi ; on y fait simplement rfrence. Par exemple, le domaine de processus de gestion de la configuration, qui est galement applicable aux produits (dactivit) du test / testware, n'est pas dcrit en dtail dans le TMMi ; les pratiques du CMMI sont rfrences et implicitement rutilises.

    1.4.4 Evaluations

    De nombreuses organisations trouvent opportun de mesurer leurs progrs dans l'amlioration des processus de test la fois pour des raisons interne et pour les clients externes et les fournisseurs. Lvaluation des processus de test se concentre sur l'identification des opportunits d'amlioration et la comprhension de la situation de lorganisation par rapport au modle ou standard slectionn. Le TMMi fournit un modle de rfrence idal pour tre utilis au cours de ces valuations. Les quipes d'valuation utilisent TMMi pour les guider dans lidentification et la hirarchisation des rsultats. Ces rsultats ainsi que laide des pratiques TMMi servent planifier les amliorations pour l'organisation. Le systme d'valuation lui-mme ne fait pas partie du TMMi. Les exigences

  • Chapitre 1 Test Maturity Model Integration

    2012 TMMi Foundation. Parution 1.0 Page 8 sur 231

    pour les valuations TMMi sont dcrites par la Fondation TMMi dans un document spar quon peut trouver www.TMMiFoundation.org. Ces exigences sont bases sur la norme ISO 15504. Latteinte d'un niveau de maturit spcifique doit reprsenter la mme chose pour les diffrentes organisations values. Les rgles destines assurer cette cohrence sont nonces dans les exigences de la mthode d'valuation TMMi. Ces exigences contiennent les lignes directrices pour diffrentes types d'valuations, par exemple, des valuations formelles, des analyses rapides et des auto-valuations.

    1.4.5 Approche de l'amlioration

    Le TMMi fournit un systme complet pouvant tre utilis comme un modle de rfrence au cours de l'amlioration des processus de test. Il ne fournit pas une approche pour l'amlioration des processus de test tels que le IDEAL4 (Initiating, Diagnosing, Establishing, Acting, And Learning) modle. Les expriences pratiques ont montr que l'tape initiale la plus efficace pour un processus d'amlioration des tests est de garantir un fort engagement de lorganisation avant d'investir dans les valuations des processus de test. Sassurer un engagement suffisant de la haute direction, tablir un groupe spcifique, techniquement comptent qui reprsente les parties prenantes pertinentes pour guider les efforts d'amlioration des processus de test s'est avr tre une approche efficace. Plus d'informations sur le modle IDEAL peut tre trouv www.sei.cmu.edu/ideal/ideal.html. Dautres ides et des lignes directrices concernant une approche pour l'amlioration des processus de test peuvent tre trouves dans The little TMMi [Veenendaal et Cannegieter].

    4 IDEAL est une marque de service dpose de Carnegie Mellon University

  • Chapitre 2 Niveaux de maturit TMMi

    2012 TMMi Foundation. Parution 1.0 Page 9 sur 231

    2 Niveaux de maturit TMMi

    2.1 Vue d'ensemble TMMi possde une architecture tage pour l'amlioration des processus. Il contient des tapes ou niveaux travers lesquels une organisation passe lorsque son processus de test volue de ad hoc et non gr, gr, dfini, mesur et optimis. La ralisation de chaque tape garantit quune amlioration adquate a t apporte pour servir de fondation la prochaine tape. La structure interne du TMMi est riche en pratiques de test qui peuvent tre apprises et appliques de manire systmatique pour soutenir un processus de contrle de la qualit qui samliore par tapes successives. Il y a cinq niveaux dans le TMMi qui dcrivent une hirarchie de la maturit et une voie dvolution pour lamlioration du processus de test. Chaque niveau dispose d'un ensemble de domaines de processus qu'une organisation doit mettre en uvre pour atteindre la maturit de ce niveau. L'exprience a montr que les organisations font de leur mieux quand elles concentrent leurs efforts d'amlioration des processus de test sur un nombre raisonnable de domaines de processus la fois, et que ces domaines ncessiteront une plus grande sophistication lorsque l'organisation samliorera. Parce que chaque niveau de maturit constitue une base ncessaire pour le prochain niveau, essayer de sauter un niveau de maturit est gnralement contre-productif. Dans le mme temps, il faut reconnatre que les efforts d'amlioration du processus de test devraient se concentrer sur les besoins de l'organisation dans le cadre de son activit et que les domaines de processus des niveaux plus levs de maturit peuvent rpondre aux besoins actuels d'une organisation ou dun projet. Par exemple, les organisations qui cherchent passer du niveau 1 au niveau 2 de maturit sont frquemment encourages mettre en place un groupe de test, qui est couvert par le domaine de processus Organisation des Tests, qui fait partie du niveau de maturit 3. Bien que le groupe de test ne soit pas une caractristique ncessaire pour une organisation de niveau TMMi 2, il peut tre utile dans l'approche de l'organisation pour atteindre le niveau de maturit TMMi 2.

    Figure 1 : niveaux de maturit TMMi et domaines de processus

    (1) Initial

    (4) Gr quantitativement Mesure du Test Evaluation de la Qualit des Produits Revues Avances

    (3) Ajust Organisation de Test Programme de Formation en Test Cycle de Vie et Intgration du Test Test Non-Fonctionnel Revues par les Pairs

    (5) En optimisation Prvention des Dfauts Contrle de la Qualit Optimisation du Processus de Test

    (2) Disciplin Politique et Stratgie de Test Planification du Test Surveillance et Contrle du Test Conception et Excution des Tests Environnement de Test

  • Chapitre 2 Niveaux de maturit TMMi

    2012 TMMi Foundation. Parution 1.0 Page 10 sur 231

    Les domaines de processus de chaque niveau de maturit du TMMi sont prsents dans la figure 1. Ils sont dcrits en dtail plus tard dans d'autres chapitres et sont galement numrs ci-dessous avec une brve description des caractristiques d'une organisation chaque niveau TMMi. La description va prsenter au lecteur le chemin volutif prescrit par le TMMi pour l'amlioration du processus de test.

    Notez que le TMMi n'a pas de domaine de processus spcifique ddi aux outils de test et/ou d'automatisation de tests. Dans le TMMi, les outils de test sont traits comme des ressources de support (pratiques) et font donc partie du domaine de processus o ils fournissent ce support, par exemple, l'application d'un outil de conception de test est une pratique de test de support pour le domaine de processus Conception et Excution des tests au niveau TMMi 2 et lutilisation d'un outil test de performance est une pratique l'appui du domaine de processus Test Non-fonctionnel au niveau TMMi 3.

    2.2 Niveau 1 : Initial Au niveau TMMi 1, le test est un processus chaotique, indfini et souvent considr comme une partie du dbogage. Lorganisation n'a gnralement pas un environnement stable pour assister le processus. Le succs de ces organisations dpend de la comptence et de l'hrosme des gens de l'organisation et non de l'utilisation de processus prouvs. Les tests sont dvelopps de manire ad hoc une fois que le codage est termin. Tests et dbogage sont entrelacs pour supprimer les bugs du systme. L'objectif du test ce niveau est de montrer que le logiciel fonctionne sans dfaillances majeures. Les produits sont dploys sans visibilit suffisante quant la qualit et aux risques. Sur le terrain, le produit ne rpond gnralement pas aux besoins, n'est pas stable, et/ou est trop lent. Dans les tests, il y a un manque de ressources, d'outils et de personnel correctement form. Au niveau TMMi 1, il ny a pas de domaines de processus dfinis. Les organisations au niveau de maturit 1 sont caractrises par une tendance se sur-engager, par l'abandon des processus en priode de crise, et une incapacit rpter leurs succs. En outre les produits ne sont gnralement pas livrs temps, les budgets sont dpasss et la qualit dlivre n'est pas conforme aux attentes.

    2.3 Niveau 2 : Disciplin Au niveau TMMi 2, le test devient un processus gr et est clairement spar du dbogage. La maitrise des processus du niveau de maturit 2 permet de s'assurer que les pratiques existantes sont maintenues pendant les priodes de stress. Cependant, le test est encore peru par de nombreux intervenants comme tant une phase de projet qui suit le codage.

    Dans le cadre de l'amlioration du processus de test, une stratgie est tablie lchelle de l'entreprise ou dun programme. Des plans de test sont galement dvelopps. Dans le plan de test, une approche de test est dfinie, o l'approche est base sur le rsultat d'une valuation des risques produit. Des techniques de gestion des risques sont utilises pour identifier les risques produit sur la base dexigences documentes. Le plan de test dfinit quel test est ncessaire, quand, comment et par qui. Des engagements sont pris par les parties prenantes et mis jour quand cela est ncessaire. Le test est surveill et contrl pour s'assurer qu'il suit le plan et des actions peuvent tre prises si des carts se produisent. L'tat des produits dactivit et la ralisation des services de test sont visibles par la direction. Des techniques de conception de tests sont appliques pour driver et slectionner les cas de test des spcifications. Cependant, le test peut toujours dmarrer assez tard dans le cycle de dveloppement, par exemple, au cours de la conception ou mme pendant la phase de codage.

    Au niveau TMMI 2 les tests sont plusieurs niveaux : les niveaux de test sont composant, intgration, systme et acceptation. Pour chaque niveau de test identifi il y a des objectifs de test spcifiques dfinis dans la stratgie de test de lensemble de l'organisation ou de l'ensemble du programme. Les processus de test et de dbogage sont diffrencis.

    L'objectif principal du test dans une organisation un niveau TMMi 2 est de vrifier que le produit satisfait aux exigences spcifies. De nombreux problmes de qualit ce niveau TMMi se produisent parce que le test dmarre tard dans le cycle de vie du dveloppement. Les dfauts sont propags depuis les exigences et la conception dans le code. Il n'y a pas encore de programmes de revue formelle pour remdier ce problme important. Faire, aprs le code, des tests bass sur l'excution est encore considr par beaucoup des parties prenantes comme lactivit principale du test.

    Les domaines de processus au niveau TMMi 2 sont :

    2.1 Politique et Stratgie de Test

    2.2 Planification du Test

  • Chapitre 2 Niveaux de maturit TMMi

    2012 TMMi Foundation. Parution 1.0 Page 11 sur 231

    2.3 Surveillance et Contrle du Test

    2.4 Conception et Excution des Tests

    2.5 Environnement de Test

    2.4 Niveau 3 : Ajust Au niveau TMMi 3, les tests ne se limitent plus une phase qui suit le codage. Il est entirement intgr dans le cycle de dveloppement et les jalons associs. La planification des tests est effectue un stade prcoce du projet, par exemple au cours de la phase de dveloppement des exigences, et est documente dans un plan de test matre. L'laboration d'un plan de test matre s'appuie sur les comptences en planification des tests et les engagements pris au niveau TMMi 2. Lensemble des processus de test standard de lorganisation, qui forme la base du niveau de maturit 3, est tabli et amlior au fil du temps. Un organisme de test et un programme de formation spcifique existent, et le test est peru comme tant une profession. L'amlioration des processus de test est compltement institutionnalise dans le cadre des pratiques de test acceptes par l'organisation.

    Les organisations au niveau 3 comprennent l'importance des revues dans le contrle de la qualit ; un programme de revue formel est mis en uvre, bien que pas encore totalement li au processus dynamique de test. Des revues ont lieu travers tout le cycle de vie. Des professionnels du test sont impliqus dans la revue des spcifications dexigences. Alors que la conception des tests au niveau TMMi 2 se concentre principalement sur le test fonctionnel, la conception des tests et les techniques de test sont approfondies au niveau 3 pour inclure le test non-fonctionnel, par exemple, l'utilisabilit et/ou la fiabilit, selon les objectifs de l'entreprise.

    Une distinction cruciale entre les niveaux de maturit TMMi 2 et 3 est le champ dapplication des standards, descriptions de processus et procdures. Au niveau de maturit 2 ceux-ci peuvent tre trs diffrents dans chaque cas particulier, par exemple, sur un projet particulier. Au niveau de maturit 3 ceux-ci sont adapts partir de lensemble des processus standards de lorganisation pour rpondre un projet particulier ou une unit organisationnelle et sont donc plus conformes, l'exception des diffrences permises par les directives dajustement. Une autre distinction importante est que, au niveau de maturit 3, les processus sont gnralement dcrits de faon plus rigoureuse quau niveau de maturit 2. En consquence au niveau de maturit 3, l'organisation doit revoir les domaines de processus du niveau de maturit 2.

    Les domaines de processus au niveau TMMi 3 sont:

    3.1 Organisation de Test

    3.2 Programme de Formation en Test

    3.3 Cycle de Vie et Intgration du Test

    3.4 Test Non-Fonctionnel

    3.5 Revues par les Pairs

    2.5 Niveau 4 : Gr quantitativement La ralisation des objectifs TMMi de niveaux 2 et 3 permet la mise en place d'une infrastructure technique, managriale et humaine capable de raliser des tests approfondis daccompagner l'amlioration des processus de test. Avec cette infrastructure en place, le test peut devenir un processus gr quantitativement propre encourager une croissance et des accomplissements supplmentaires. Dans les organisations TMMi de niveau 4, le test est un processus soigneusement dfini, adapt et mesurable. Le test est peru comme une valuation ; il se compose de toutes les activits du cycle de vie lies la vrification des produits et des produits dactivit connexes.

    Un programme de mesure du test au niveau de toute l'organisation sera mis en place qui peut tre utilis pour valuer la qualit du processus de test, pour valuer la productivit, et pour surveiller les amliorations. Les mesures sont intgres dans le rfrentiel de mesure de lorganisation pour aider une prise de dcision factuelle. Un programme de mesure du test permet aussi des prvisions relatives la performance et au cot des tests.

    En ce qui concerne la qualit du produit, la prsence d'un programme de mesure permet une organisation de mettre en uvre un processus d'valuation de la qualit des produits en dfinissant les besoins, les proprits et les indicateurs de la qualit. Les produits (dactivit) sont valus selon des critres quantitatifs pour les attributs de qualit tels que la fiabilit, lutilisabilit et la maintenabilit. La qualit du produit est dfinie en termes quantitatifs et est gre tout au long du cycle de vie en fonction des objectifs dfinis.

  • Chapitre 2 Niveaux de maturit TMMi

    2012 TMMi Foundation. Parution 1.0 Page 12 sur 231

    Les revues et des inspections sont considres comme faisant partie du processus de test et sont utiliss pour mesurer la qualit du produit tt dans le cycle de vie et contrler formellement les jalons qualit. Les revues par les pairs comme technique de dtection des dfauts sont transformes en une technique de mesure de la qualit des produits en accord avec le domaine de processus Evaluation de la Qualit du Produit.

    Le niveau 4 du TMMi permet galement dtablir une approche de test coordonne entre les revues par les pairs (tests statiques), le test dynamique et l'utilisation des rsultats et des donnes des revues par les pairs afin doptimiser lapproche de test avec la volont de de rendre les tests la fois plus efficaces et plus efficients. Les revues par les pairs sont dsormais pleinement intgres avec le processus de test dynamique, par exemple intgres la stratgie de test, au plan de test, et l'approche de test.

    Les domaines de processus au niveau TMMi 4 sont :

    4.1 Mesure du Test

    4.2 valuation de la Qualit des Produits

    4.3 Revues Avances

    2.6 Niveau 5 : En optimisation La ralisation de tous les objectifs prcdents d'amlioration des tests des niveaux 1 4 du TMMi a cr une infrastructure organisationnelle pour le test qui prend en charge un processus compltement dfini et mesur. Au niveau de maturit TMMi 5, une organisation est capable d'amliorer continuellement ses processus sur la base dune comprhension quantitative de processus contrls statistiquement. Lamlioration de la performance du processus de test est ralise grce un processus incrmental et innovateur et des amliorations technologiques. Les mthodes et les techniques de test sont optimises et il y a une attention continue porte la mise au point prcise et l'amlioration des processus. Un processus de test optimis, tel que dfini par le TMMi est un processus qui est :

    - gr, dfini, mesur et efficace - statistiquement contrl et prdictible - ax sur la prvention des dfauts - bas sur l'automatisation tant que cela est considr comme une utilisation efficace des ressources - en mesure daider au transfert de technologie de l'industrie l'organisation. - en mesure de permettre la rutilisation des actifs de test. - ax sur le changement des processus pour permettre une amlioration continue.

    Pour soutenir l'amlioration continue de l'infrastructure du processus de test, et pour identifier, planifier et mettre en uvre des amliorations du test, un groupe charg de lamlioration permanente des processus de test est officiellement cr et est compos de membres qui ont reu une formation spcialise pour augmenter le niveau de leurs comptences et connaissances ncessaires la russite du groupe. Dans de nombreuses organisations ce groupe est appel un Groupe Processus de Test. La mise en place dun Groupe Processus de Test commence officiellement au niveau TMMi 3 lorsque l'organisation des tests est introduite. Au niveau TMMi 4 et 5, les responsabilits augmentent avec lintroduction de pratiques de niveau plus lev, par exemple, l'identification dactifs de tests (processus) et le dveloppement et la maintenance dune bibliothque dactifs de tests (processus).

    Le domaine de processus Prvention des Dfauts est tabli pour identifier et analyser les causes les plus frquentes de dfauts dans l'ensemble du cycle de dveloppement et pour dfinir des actions permettant de prvenir la reproduction de dfauts similaires dans le futur. Les valeurs aberrantes dans la performance du processus de test, telles qu'identifies dans le cadre du processus de contrle de la qualit, sont analyses pour traiter leurs causes dans le cadre de la Prvention des Dfauts.

    Le processus de test est maintenant statistiquement gr au moyen du domaine de processus Contrle de la Qualit. Un chantillonnage statistique, la mesure des niveaux de confiance, la cohrence, et la fiabilit mnent le processus de test. Le processus de test est caractris par des mesures de qualit bases sur l'chantillonnage.

    Au niveau TMMi 5, le domaine de processus Optimisation du Processus de Test introduit des mcanismes pour affiner et amliorer le test de faon continue. Il existe une procdure tablie pour identifier les amliorations de processus ainsi que pour slectionner et valuer de nouvelles technologies de test. Les outils sont une aide au processus de test autant que possible lors de la conception des test, l'excution des tests, les tests de rgression, la gestion des cas de test, la collecte et l'analyse des dfauts, etc. La rutilisation des processus et testware au sein de lorganisation est galement une pratique tablie, avec laide dune bibliothque dactifs de (processus de) test.

  • Chapitre 2 Niveaux de maturit TMMi

    2012 TMMi Foundation. Parution 1.0 Page 13 sur 231

    Les trois domaines de processus au niveau TMMi 5, Prvention des Dfauts, Contrle de la Qualit et Optimisation du Processus de Test concourent tous l'amlioration continue des processus. En fait, les trois domaines de processus sont troitement lis. Par exemple, la Prvention des Dfauts participe au Contrle de la Qualit en analysant les valeurs aberrantes dans la performance des processus et en tablissant des pratiques pour l'analyse de la causalit des dfauts et la prvention de la rptition des dfauts. Le Contrle de la Qualit contribue l'Optimisation du Processus de Test, et l'Optimisation du Processus de Test assiste la fois la Prvention des Dfauts et le Contrle de la Qualit, par exemple en mettant en uvre les propositions d'amlioration de test. Tous ces domaines de processus sappuient, au final, sur les pratiques qui ont t acquises lorsque les domaines de processus de niveau infrieur ont t mis en uvre. Au niveau 5 TMMi, le test est un processus dont le but est de prvenir les dfauts.

    Les domaines de processus au niveau TMMi 5 sont :

    5.1 Prvention des Dfauts

    5.2 Contrle de la Qualit

    5.3 Optimisation du Processus de Test

  • Chapitre 3 Structure du TMMi

    2012 TMMi Foundation. Parution 1.0 Page 14 sur 231

    3 Structure du TMMi La structure du TMMi est largement base sur la structure du CMMI. Ceci est un avantage important parce que beaucoup de personnes / organisations sont dj familiarises avec la structure CMMI. La structure CMMI tablit une distinction claire entre les pratiques mettre en uvre qui sont requises (objectifs) et celles qui sont recommandes (pratiques spcifiques, exemple des produits dactivit, etc.). Cet aspect est galement inclus dans le TMMi. Dans ce chapitre, on dcrit les lments et la structure du TMMi. En complment, on dcrit lapport du CMMI pour une mise en uvre du TMMi.

    3.1 Composants Requis, Attendus et Informatifs Les diffrents composants sont regroups en trois catgories: requis, attendus et informatifs.

    3.1.1 Composants Requis

    Les composants requis dcrivent ce qu'est une organisation doit obligatoirement mettre en place pour satisfaire un domaine de processus. Cette mise en uvre doit tre clairement visible dans les processus d'une organisation. Les composants requis dans le TMMi sont les objectifs spcifiques et les objectifs gnriques. Latteinte des objectifs est utilise dans les valuations comme critre pour dcider si un domaine de processus a t ralis et satisfait.

    3.1.2 Composants Attendus

    Les composants attendus dcrivent ce qu'une organisation doit gnralement mettre en uvre pour satisfaire un composant requis. Les composants attendus guident ceux qui mettent en uvre des amliorations ou effectuent des valuations. Les composants attendus comprennent la fois des pratiques spcifiques et gnriques. Les pratiques dcrites ou des alternatives acceptables ces pratiques doivent tre prsentes dans les processus planifis et mis en uvre de l'organisation, avant que les objectifs puissent tre considrs comme atteints.

    3.1.3 Composants Informatifs

    Les composants informatifs fournissent des dtails qui aident les organisations initier une rflexion sur la faon d'aborder les composants requis et attendus. Les sous-pratiques, les exemples de produits dactivit, les notes, les exemples et les rfrences sont tous des composants informatifs du modle.

    3.2 Composants du TMMi Les composants requis et attendus du modle TMMi peuvent tre rsums pour illustrer leur relation comme dans la figure 2. Les sections suivantes fournissent une description des composants. Notez que le TMMi fournit galement un glossaire spcifique des termes. Les termes utiliss dans le glossaire sont largement tirs du standard international de la terminologie des tests dvelopp par l'International Software Testing Qualifications Board (ISTQB) : Glossaire standard des termes utiliss dans le Test Logiciel [ISTQB].

    3.2.1 Niveaux de Maturit

    Un niveau de maturit dans le TMMi peut tre considr comme un degr de la qualit du processus de test de lorganisation. Il est dfini comme un plateau volutif de l'amlioration du processus de test. Chaque niveau dveloppe progressivement une partie importante des processus de test de lorganisation. Il y a cinq niveaux de maturit au sein du TMMi. Chaque niveau de maturit indique ce quil faut mettre en uvre pour atteindre le niveau donn. Plus l'organisation atteint un niveau lev de maturit, plus le processus de test de l'organisation est mature. Pour atteindre un niveau de maturit particulier, une organisation doit satisfaire tous les objectifs correspondant ( la fois spcifiques et gnriques) des domaines de processus au niveau spcifique et aussi ceux des niveaux de maturit infrieurs. Notez que toutes les organisations possdent au minimum le niveau TMMi 1, puisque ce niveau ne contient aucun objectif satisfaire.

    3.2.2 Domaines de Processus

    Comme indiqu, l'exception du niveau 1, chaque niveau de maturit se compose de plusieurs domaines de processus qui indiquent sur quoi une organisation devrait se concentrer pour amliorer son processus de test. Les domaines de processus dfinissent les problmes qui doivent tre traits pour atteindre un niveau de maturit. Chaque domaine de processus identifie un ensemble d'activits lies aux tests. Lorsque les pratiques sont toutes

  • Chapitre 3 Structure du TMMi

    2012 TMMi Foundation. Parution 1.0 Page 15 sur 231

    mises en uvre il y a une amlioration significative dans les activits lies ce secteur. Dans le TMMi, seuls les domaines de processus qui sont considrs comme des lments cls des processus de test sont identifis. Tous les domaines de processus dun niveau de maturit et des niveaux de maturit infrieurs doivent tre satisfaits pour considrer quun niveau de maturit est atteint. Par exemple, si une organisation est au niveau TMMi 3, elle a satisfait tous les domaines de processus des niveaux 2 et 3 du TMMi.

    Figure 2 : Structure et composants TMMi

    3.2.3 Intention

    La section Intention dcrit lintention du domaine de processus et constitue un lment informatif. Par exemple, la section Intention du domaine de processus planification des tests est dfinir une approche de test bas sur les risques identifis et la stratgie de test dfinie, et tablir et maintenir des plans bien tablis pour la ralisation et la gestion des activits de test .

    3.2.4 Notes Introductives

    La section notes introductives du domaine de processus dcrit les principaux concepts abords dans le domaine de processus et constitue un lment informatif.

    3.2.5 Champ d'Application

    La section champ dapplication du domaine de processus identifie spcifiquement les pratiques de test qui sont adresses par le domaine de processus, et si ncessaire, les pratiques de tests qui sont explicitement en dehors du champ dapplication de ce domaine de processus.

    3.2.6 Objectifs Spcifiques

    Un objectif spcifique dcrit la caractristique unique qui doit tre prsente pour couvrir le domaine de processus. Un objectif spcifique constitue un composant de modle requis et est utilis dans les valuations afin de dterminer si un domaine de processus est satisfait.

    3.2.7 Objectifs Gnriques

    Les objectifs gnriques apparaissent la fin dun domaine de processus et sont appels gnriques parce que le mme objectif apparat dans plusieurs domaines de processus. Un objectif gnrique dcrit les caractristiques qui doivent tre prsents pour institutionnaliser les processus qui mettent en uvre un domaine

    Niveaux de maturit

    Domaine de processus 1 Domaine de processus 2 Domaine de processus n

    Pratiques Spcifiques

    Objectifs Spcifiques

    Objectifs Gnriques

    Pratiques Gnriques

  • Chapitre 3 Structure du TMMi

    2012 TMMi Foundation. Parution 1.0 Page 16 sur 231

    de processus. Un objectif gnrique constitue un composant de modle requis et est utilis dans les valuations pour aider dterminer si un domaine de processus est satisfait.

    3.2.8 Pratiques Spcifiques

    Une pratique spcifique est la description d'une activit qui est considre comme importante dans la ralisation de lobjectif spcifique associ. La pratique spcifique dcrit les activits qui devraient aboutir la ralisation des objectifs spcifiques d'un domaine de processus. Une pratique spcifique constitue un composant de modle attendu.

    3.2.9 Exemples de Produits dActivit

    La section des exemples de produits dactivit liste des exemples de sorties d'une pratique spcifique. Ces exemples sont appels Exemples de produits dactivit , parce qu'il existe souvent des produits dactivit qui sont aussi efficaces, mais ne sont pas lists. Un exemple de produits dactivit constitue un composant de modle informatif.

    3.2.10 Sous-Pratiques

    Une sous-pratique est une description dtaille qui fournit des indications pour l'interprtation et la mise en uvre d'une pratique spcifique. Les sous-pratiques peuvent tre rdiges comme prescriptives, mais sont en fait des composants informatifs qui ne visent qu' fournir des ides pouvant tre utiles pour l'amlioration du processus de test.

    3.2.11 Pratiques Gnriques

    Les pratiques gnriques apparaissent vers la fin d'un domaine de processus et sont appeles gnriques parce que la mme pratique apparat dans plusieurs domaines de processus. Une pratique gnrique est la description d'une activit qui est considre comme importante dans la ralisation de l'objectif gnrique associ. Une pratique gnrique constitue un composant de modle attendu.

    3.2.12 Elaborations des Pratiques Gnriques

    Une laboration de pratique gnrique apparat aprs une pratique gnrique dans un domaine de processus afin de fournir des orientations sur la manire dont la pratique gnrique devrait tre applique dans le cadre de ce domaine de processus. Une laboration de pratique gnrique constitue un composant de modle informatif.

    3.2.13 Composants Informatifs de Support

    Il y a beaucoup d'endroits o des informations complmentaires sont ncessaires pour dcrire un concept. Ces lments informatifs sont disponibles sous la forme des composants suivants :

    3.2.13.1 Notes

    Une note est un texte qui peut accompagner tout autre composant du modle. Elle peut fournir un dtail, un contexte, ou une justification. Une note est un composant de modle informatif.

    3.2.13.2 Exemples

    Un exemple est un composant comprenant du texte, et souvent une liste d'lments, gnralement dans un encadr, qui peut accompagner presque tout autre composant et fournit un ou plusieurs exemples pour clarifier un concept ou une activit dcrite. Un exemple constitue un composant de modle informatif.

    3.2.13.3 Rfrences

    Une rfrence est un renvoi vers des informations supplmentaires ou plus dtailles dans des domaines de processus connexes et peut accompagner presque tout autre composant du modle. Une rfrence constitue un composant de modle informatif.

    3.3 Objectifs Gnriques et Pratiques Gnriques Cette section dcrit l'ensemble des objectifs gnriques et pratiques gnriques. Les objectifs gnriques et pratiques gnriques sont largement drivs du CMMI. Les objectifs gnriques sont organiss par ordre numrique. Les pratiques gnriques sont galement organises par ordre numrique sous lobjectif gnrique qu'elles soutiennent. Notez que lobjectif gnrique du CMMI GG1 Atteindre des objectifs spcifiques n'est pas

  • Chapitre 3 Structure du TMMi

    2012 TMMi Foundation. Parution 1.0 Page 17 sur 231

    pris en compte car cela ne concerne que la reprsentation continue du CMMI et n'est donc pas pertinent dans le cadre de la reprsentation tage du TMMi. Sinon, le systme de numrotation du CMMI est strictement respect pour viter toute confusion aux organisations utilisant la fois CMMI et TMMi.

    Le niveau de maturit que vous ciblez dterminera quels objectifs et pratiques gnriques sont applicables. Lorsque vous essayez datteindre le niveau 2 de maturit, les domaines de processus de maturit niveau 2, ainsi que lobjectif gnrique 2 et les pratiques gnriques associes sont applicables. Lobjectif gnrique 3 est applicable uniquement lorsque vous essayez d'atteindre le niveau de maturit 3 ou plus. Cela signifie que lorsque vous avez dj atteint un niveau de maturit 2, pour atteindre un niveau de maturit 3, vous devez retourner aux domaines de processus de niveau de maturit 2 et appliquer lobjectif gnrique 3 et les pratiques associes ces domaines de processus.

    L'institutionnalisation est un concept important dans l'amlioration des processus. Lorsqu'elle est mentionne dans les descriptions dun objectif gnrique et dune pratique gnrique, l'institutionnalisation implique que le processus est intimement li la faon dont le travail est effectu et quil doit y avoir un engagement et de la cohrence dans l'excution du processus. Un processus institutionnalis est plus susceptible d'tre maintenu pendant les priodes de stress. Cependant, lorsque les exigences et les objectifs du processus changent, la mise en uvre du processus peut aussi avoir besoin de changer afin de s'assurer qu'il reste actif. Les pratiques gnriques dcrivent les activits qui rpondent ces aspects de l'institutionnalisation.

    Ce qui suit est une liste de tous les objectifs et pratiques gnriques du TMMi.

    GG 2 Institutionnaliser un Processus Disciplin Un processus disciplin est un processus qui accomplit le travail ncessaire pour produire des produits dactivit. Il est planifi et excut conformment une politique, emploie des personnes qualifies et dispose de ressources suffisantes pour produire des sorties contrles. Un processus disciplin implique les parties prenantes concernes, est surveill et contrl, est soumis des revues et est valu quant au respect des descriptions du processus. Le processus peut tre instanci par un projet, un groupe ou une unit d'organisation. Le contrle fourni par un processus disciplin aide assurer que le processus mis en place est maintenu pendant des priodes de stress.

    GP 2.1 Etablir une politique organisationnelle

    Le but de cette pratique gnrique est de dfinir les attentes de l'organisation concernant le processus et de rendre ces attentes visibles aux personnes de l'organisation qui sont concernes. En gnral, la hirarchie est charge d'tablir et de communiquer les principes directeurs, la direction et les attentes de l'organisation.

    GP 2.2 Planifier le processus

    Le but de cette pratique gnrique est de dterminer ce qui est ncessaire pour mettre en uvre le processus et atteindre les objectifs fixs, pour prparer un plan pour la mise en uvre du processus, pour prparer une description du processus et pour obtenir de la part des parties prenantes concernes un accord sur le plan en effectuant des revues.

    GP 2.3 Fournir les ressources

    Le but de cette pratique gnrique est de veiller ce que les ressources ncessaires pour mettre en uvre le processus dfini par le plan soient disponibles quand elles sont ncessaires. Les ressources comprennent un financement adquat, une infrastructure approprie, des personnes qualifies, et des outils appropris.

    GP 2.4 Assigner les responsabilits

    Le but de cette pratique gnrique est de s'assurer quil y a des responsables pour mettre en uvre le processus et atteindre les rsultats souhaits tout au long de la vie du processus. Les personnes affectes doivent avoir l'autorit suffisante pour assumer les responsabilits attribues. Les responsabilits peuvent tre attribues en utilisant des descriptions de poste dtailles ou dans des documents actifs, comme le plan dexcution du processus.

  • Chapitre 3 Structure du TMMi

    2012 TMMi Foundation. Parution 1.0 Page 18 sur 231

    GP 2.5 Former les personnes

    Le but de cette pratique gnrique est de s'assurer que les personnes ont les comptences et lexpertise ncessaires pour mettre en uvre ou soutenir le processus. Une formation approprie est dispense aux personnes qui raliseront le travail. Une formation gnrale est fournie pour orienter les personnes qui interagissent avec ceux qui effectuent le travail. La formation concoure la bonne mise en place du processus en tablissant une comprhension commune du processus, et en transmettant les comptences et les connaissances ncessaires pour mettre en uvre le processus.

    GP 2.6 Grer en configuration

    Le but de cette pratique gnrique est d'tablir et de maintenir l'intgrit des produits dactivit slectionns tout au long de leur dure de vie. Les produits dactivit slectionns sont spcifiquement identifis dans le plan dexcution du processus, ainsi que la mention du niveau de gestion de configuration, par exemple, contrle de version ou gestion de configuration formelle utilisant des baselines. Des exemples de pratiques de gestion de configuration incluent le contrle de versions, l'historique et le contrle des changements, l'identification du statut et l'utilisation d'outils de gestion de configuration pour le stockage. Reportez-vous au domaine de processus de Gestion de la Configuration du CMMI pour plus d'informations sur la mise sous gestion de configuration des produits dactivit.

    GP 2.7 Identifier et impliquer les parties prenantes concernes

    Le but de cette pratique gnrique est dtablir et de maintenir l'implication attendue des parties prenantes au cours de l'excution du processus. Les parties prenantes concernes sont impliques dans des activits telles que la planification, la prise de dcisions, la prise dengagements, les communications, les revues et la rsolution de problmes. Les parties prenantes critiques dans le processus de test comprennent les managers et les utilisateurs / clients. Le rle du manager implique la prise dengagements et la capacit d'accomplir les activits et les tches lies l'amlioration des capacits de test. Le rle de l'utilisateur ou du client implique la coopration, le support et parfois l'excution dactivits de test. Les utilisateurs/clients devraient tre impliqus dans les activits et les tches lies la qualit qui concernent les besoins orients utilisateurs. L'accent est mis sur la sollicitation de la participation des utilisateurs/clients, le consensus, et la participation des activits telles que l'analyse des risques produit, les tests d'acceptation et, ventuellement, les tests dutilisabilit. Selon le niveau de test, le dveloppeur peut galement tre une partie prenante, par exemple, au niveau des tests unitaires le dveloppeur effectue souvent les activits de test lui-mme ; cependant, au niveau des tests d'acceptation, le dveloppeur devient un acteur qui discute des incidents trouvs, donne son avis sur les critres d'entre, etc.

    GP 2.8 Surveiller et contrler le processus

    Le but de cette pratique gnrique est deffectuer au jour le jour la surveillance et le suivi directs du processus de test. La visibilit approprie sur le processus de test est maintenue pour que des mesures correctives appropries puissent tre prises si ncessaire. Surveiller et contrler le processus consiste dans la mesure des attributs appropris du processus de test et des produits dactivit produits par le processus de test. Reportez-vous au domaine de processus CMMI Mesure et Analyse pour plus d'informations sur la mesure.

    GP 2.9 Evaluer la conformit de manire objective

    Le but de cette pratique gnrique est de fournir des preuves crdibles que le processus est mis en uvre comme prvu et respecte sa description, son standard, et ses procdures. Les personnes non directement responsables de la gestion ou de l'excution des activits du processus de test sont gnralement celles qui valuent la conformit. Dans de nombreux cas, la conformit est value par des personnes au sein de l'organisation, mais extrieures au processus de test ou au projet. Reportez-vous au domaine de processus CMMI Assurance Qualit des Processus et Produits pour plus d'informations sur l'valuation objective de la conformit.

    GP 2.10 Passer en revue le statut avec la hirarchie

    Le but de cette pratique gnrique est de fournir la hirarchie la visibilit approprie sur le processus. La hirarchie comprend les niveaux de management juste au-dessus du niveau

  • Chapitre 3 Structure du TMMi

    2012 TMMi Foundation. Parution 1.0 Page 19 sur 231

    responsable du processus. Ces revues sont destines aux managers qui fournissent la politique et les orientations gnrales pour le processus, et pas ceux qui font la surveillance et le contrle direct du processus au jour le jour.

    GG 3 Institutionnaliser un Processus Ajust Un processus ajust est un processus gr qui est adapt partir de lensemble des processus standards de l'organisation suivant les directives dajustement de lorganisation. Dans un processus ajust la description des processus est continuellement mise jour, et fournit des produits dactivit, des mesures et d'autres informations sur l'amlioration aux processus de lorganisation. Une distinction essentielle entre un processus gr et un processus ajust est le champ d'application des descriptions de processus, des normes et des procdures. Pour un processus gr, les descriptions de processus, les normes et les procdures sont applicables un projet particulier, un groupe, ou une fonction organisationnelle. En consquence, les processus grs de deux projets dune mme organisation peuvent tre diffrents. Un processus ajust est normalis dans la mesure du possible pour toute lorganisation et adapt uniquement lorsque cela est ncessaire pour un projet spcifique ou une fonction organisationnelle en suivant les directives dajustement.

    GP 3.1 Etablir un processus ajust

    Le but de cette pratique gnrique est d'tablir et de maintenir une description du processus qui est adapte partir des processus standards de l'organisation pour rpondre aux besoins spcifiques d'une implmentation du processus. L'organisation doit avoir des processus standard qui couvrent le domaine de processus, ainsi que des directives pour adapter ces processus standards pour rpondre aux besoins d'un projet ou dune fonction organisationnelle. Avec un processus ajust, la variabilit dans la faon dont les processus sont appliqus dans l'organisation est rduite et les actifs de processus, les donnes et l'apprentissage peuvent tre efficacement partags. Reportez-vous au domaine de processus CMMI Dfinition dun Processus de lOrganisation pour plus d'informations propos des processus standard de lorganisation et des directives dajustement.

    GP 3.2 Recueillir des informations sur l'amlioration

    Le but de cette pratique gnrique est de recueillir des informations et des artefacts provenant de la planification et de la mise en uvre du processus afin de soutenir l'utilisation et l'amlioration futures des processus de l'organisation et des actifs de processus. Les informations et les artefacts sont stocks et mis la disposition de ceux qui sont (ou qui seront) amens planifier ou mettre en uvre des processus identiques ou similaires.

    3.4 Domaines de Processus soutenant les Pratiques Gnriques Bien que les objectifs gnriques et pratiques gnriques soient les composants du modle qui concernent directement l'institutionnalisation d'un processus l'chelle de l'organisation, de nombreux domaines de processus, dans TMMi ou dans CMMI rpondent galement au problme de linstitutionnalisation en soutenant la mise en uvre des pratiques gnriques. Le tableau ci-dessous donne un aperu des domaines de processus qui prennent partiellement ou totalement en charge la mise en uvre d'une pratique gnrique.

    Pratique Gnrique Soutenue

    Domaine de processus

    GP 2.2 Planifier le processus

    Planification du Test - le domaine de processus TMMi Planification du Test soutient la mise en uvre complte de GP 2.2 pour tous les domaines de processus lis au projet (sauf pour la planification du test lui-mme). La planification du test peut tre traite comme faisant partie du domaine de processus CMMI Planification de Projet.

  • Chapitre 3 Structure du TMMi

    2012 TMMi Foundation. Parution 1.0 Page 20 sur 231

    Pratique Gnrique Soutenue

    Domaine de processus

    GP 2.5 Former les personnes

    Programme de Formation en Test - le domaine de processus TMMi Programme de Formation en Test contribue la mise en uvre du GP 2.5 pour tous les domaines de processus en rendant le programme de formation de l'organisation accessible tous ceux qui vont mettre en uvre ou soutenir les processus

    En outre, le domaine de processus TMMi Programme de Formation en Test peut contribuer cette pratique gnrique en identifiant et en organisant les besoins de formation qui sont ncessaires pour le test du projet et en les documentant dans le plan de test.

    GP 2.6 Grer en configuration

    Gestion de la Configuration - le domaine de processus CMMI Gestion de Configuration peut couvrir compltement le GP 2.6 pour tous les domaines de processus lis au projet ainsi que certains domaines de processus organisationnels.

    GP 2.7 Identifier et impliquer les parties prenantes concernes

    Planification du Test - le domaine de processus TMMi Planification du Test peut contribuer cette pratique gnrique pour tous les domaines de processus lis au projet en planifiant l'implication des parties prenantes identifies et en le documentant dans le plan de test. La participation des parties prenantes la planification du test lui-mme peut tre traite dans le cadre du domaine de processus CMMI Planification de Projet.

    GP 2.8 Surveiller et contrler le processus

    Surveillance et Contrle du Test - le domaine de processus TMMi Surveillance et Contrle du Test peut couvrir compltement le GP 2.8 pour tous les domaines de processus.

    GP 2.9 Evaluer la conformit de manire objective

    Assurance Qualit des Processus et des Produits - le processus CMMI Assurance Qualit des Processus et des Produits peut couvrir compltement le GP 2.9 pour tous les domaines de processus.

    GP 3.1 Etablir un processus ajust

    Dfinition du Processus Organisationnel - le domaine de processus CMMI Dfinition du Processus Organisationnel peut contribuer la mise en uvre du GP 3.1 en tablissant les actifs ncessaires du processus organisationnel pour mettre en uvre le GP 3.1.

    Cycle de Vie et Intgration du Test - ce domaine de processus TMMi peut contribuer la mise en uvre du GP 3.1 par l'tablissement des actifs de processus organisationnels ncessaires pour mettre en uvre GP 3.1 en fonction de son objectif spcifique SG 1 Etablir les Actifs Organisationnels du Processus de Test.

    GP 3.2 Recueillir des informations sur lamlioration

    Focalisation sur le Processus Organisationnel - le domaine de processus CMMI Focalisation sur le Processus Organisationnel peut contribuer la mise en uvre du GP 3.2 car il tablit un rfrentiel de mesure organisationnel.

    Cycle de Vie et Intgration du Test - ce domaine de processus TMMi peut contribuer de la mme faon la mise en uvre du GP 3.2 car il tablit une base de donnes organisationnelle du processus de test.

    Mesure et Analyse - pour tous les processus, le domaine de processus CMMI Mesure et Analyse et les domaines de processus TMMi Mesure du Test fournissent des indications gnrales sur la mesure, l'analyse et l'enregistrement des informations qui peuvent tre utilises pour tablir des indicateurs mesurant la performance actuelle des processus.

    Tableau 1 : Domaines de processus soutenant les pratiques gnriques

  • Chapitre 3 Structure du TMMi

    2012 TMMi Foundation. Parution 1.0 Page 21 sur 231

    3.5 Domaines de processus CMMI soutenant TMMi Mme si TMMi peut tre utilis de manire isole, il se positionne galement comme un modle complmentaire du CMMI. Par consquent, dans de nombreux cas, un niveau TMMi donn a besoin d'un soutien spcifique de domaines de processus CMMI du mme niveau ou de niveaux CMMI plus levs. Les domaines de processus et les pratiques qui sont labors dans le CMMI ne sont gnralement pas rpts dans le TMMi ; ils sont uniquement rfrencs. Une vue d'ensemble des domaines de processus CMMI requis pour atteindre le niveau TMMi 2 est expose dans le Tableau 2 : Domaines de processus CMMI soutenant le niveau TMMi 2. . Les domaines de processus CMMI requis atteindre le niveau TMMi 3 sont exposs dans le Tableau 3. Notez que certaines de ces relations ont dj t identifies, mais sous un angle diffrent, dans la section prcdente.

    TMMi CMMI Domaines de processus CMMI soutenant le niveau TMMi 2

    2 2 Gestion de Configuration - comme indiqu ci-dessus, le domaine de processus CMMI Gestion de Configuration peut mettre en uvre le GP 2.6 Grer en configuration en totalit pour tous les domaines de processus lis au projet, ainsi que certains des domaines de processus organisationnels.

    Assurance Qualit Processus et Produits - comme indiqu ci-dessus, le domaine de processus CMMI Assurance Qualit Processus et Produits peut mettre en uvre GP 2.9 Evaluer la conformit de manire objective en totalit pour tous les domaines de processus.

    Surveillance et Contrle de Projet - ce domaine de processus CMMI contribue la mise en uvre du domaine de processus TMMi Surveillance et Contrle du Test. Les pratiques de gestion de projet peuvent tre rutilises pour la gestion des tests.

    Planification de Projet - ce domaine de processus CMMI contribue la mise en uvre du domaine de processus TMMi Planification du Test. Les pratiques de gestion de projet peuvent tre rutilises pour la gestion des tests. La planification de projet contribue galement spcifiquement la mise en uvre de la pratique gnrique GP 2.7 Identifier et impliquer les parties prenantes concernes pour la Planification du Test.

    Mesure et Analyse - ce domaine de processus CMMI contribue la mise en uvre du SG 3 Etablir des Indicateurs de Performance du Test du domaine de processus TMMi Politique et Stratgie de Test.

    Gestion des Exigences - la mise en uvre de ce domaine de processus CMMI est un prrequis pour la gestion des produits (dactivits) drivs, tels que l'analyse des risques produit et la conception de tests, et pour les maintenir jour. Les pratiques en matire de maintien de la traabilit peuvent ventuellement tre rutilises dans le domaine de processus TMMi Conception et Excution des tests.

    2 3 Dveloppement des Exigences - les pratiques de ce domaine de processus CMMI peuvent tre rutilises lors de l'laboration des exigences d'environnement de test dans le domaine de processus TMMi Environnement de Test.

    Gestion des Risques les pratiques de ce domaine de processus CMMI peuvent tre rutilises pour l'identification et la matrise des risques produit et des risques du projet de test dans les domaines de processus TMMi Planification du Test et Surveillance et Contrle du Test.

    Tableau 2 : Domaines de processus CMMI soutenant le niveau TMMi 2

    TMMi CMMI Domaines de processus CMMI soutenant le niveau TMMi 3

  • Chapitre 3 Structure du TMMi

    2012 TMMi Foundation. Parution 1.0 Page 22 sur 231

    TMMi CMMI Domaines de processus CMMI soutenant le niveau TMMi 3

    3 2 Gestion de Configuration - le domaine de processus CMMI Gestion de Configuration peut couvrir le GP 2.6 Grer en configuration dans son intgralit pour tous les domaines de processus lis au projet, ainsi que certains des domaines de processus organisationnels.

    Mesure et Analyse - le domaine de processus CMMI Mesure et Analyse fournit des indications gnrales sur la mesure, l'analyse et l'enregistrement des informations favorisant ainsi la mise en uvre de la pratique gnrique TMMi GP 3.2 Recueillir des informations sur lamlioration.

    Assurance Qualit Processus et Produits - le domaine de processus CMMI Assurance Qualit Processus et Produits peut totalement mettre en uvre le GP 2.9 Evaluer la conformit de manire objective pour tous les domaines de processus.

    Planification de Projet - ce domaine de processus CMMI contribue la mise en uvre du domaine de processus TMMi Cycle de Vie et Intgration du Test, en particulier le SG 3 Raliser un plan de test matre. Les pratiques de gestion de projet peuvent tre rutilises pour la gestion des tests.

    3 3 Dfinition du Processus Organisationnel - ce domaine de processus CMMI contribue la mise en uvre du domaine de processus TMMi Cycle de Vie et Intgration du Test, en particulier pour le SG 1 Etablir les actifs du processus de test organisationnel.

    Le domaine de processus CMMI Dfinition du Processus Organisationnel peut galement contribuer la mise en uvre du GP 3.1 tablir un processus ajust en tablissant les actifs du processus organisationnel ncessaires pour mettre en uvre le GP 3.1.

    Focalisation sur le Processus Organisationnel - ce domaine de processus CMMI contribue la mise en uvre du domaine de processus TMMi Organisation du Test, notamment pour le SG 4 Dterminer, planifier et mettre en uvre des amliorations de processus de test et SG 5 Dployer les processus de test organisationnels et intgrer les leons apprises.

    Le domaine de processus CMMI Focalisation sur le Processus Organisationnel contribue galement la mise en uvre de la pratique gnrique TMMi GP 3.2 Recueillir des informations sur lamlioration, car il tablit un rfrentiel organisationnel de mesures.

    Formation Organisationnelle - ce domaine de processus CMMI contribue la mise en uvre du domaine de processus TMMi Programme de Formation sur le Test.

    Vrification - les pratiques au sein du SG 2 Raliser des revues par les pairs de ce domaine de processus CMMI fournira un soutien pour la mise en uvre du domaine de processus TMMi Revue Par les Pairs.

    Tableau 3 : Soutien des domaines de processus CMMI au niveau de maturit TMMi 3

    TMMi CMMI Domaines de processus CMMI soutenant le niveau TMMi 4

  • Chapitre 3 Structure du TMMi

    2012 TMMi Foundation. Parution 1.0 Page 23 sur 231

    TMMi CMMI Domaines de processus CMMI soutenant le niveau TMMi 4

    4 2 Gestion de Configuration le domaine de processus CMMI Gestion de Configuration peut mettre en uvre le GP 2.6 Grer en configuration en totalit pour tous les domaines de processus lis au projet, ainsi que certains des domaines de processus organisationnels.

    Mesure et Analyse - ce domaine de processus CMMI fournit un soutien pour la mise en uvre du processus de mesure TMMi Mesure du Test. L'infrastructure et les pratiques de mesure peuvent tre rutilises pour la mesure du test. Il peut tre pratique dimplmenter le programme de mesure du test comme une extension au programme gnral de mesure.

    Le domaine de processus CMMI Mesure et Analyse fournit aussi des indications gnrale sur la mesure, l'analyse et l'enregistrement des informations soutenant ainsi la mise en uvre de la pratique gnrique TMMi GP 3.2 Recueillir des informations sur lamlioration.

    Assurance Qualit Processus et Produits - le domaine de processus CMMI Assurance Qualit Processus et Produits peut mettre en uvre compltement le GP 2.9 Evaluer la conformit de manire objective pour tous les domaines de processus.

    4 3 Dfinition du Processus Organisationnel - Ce domaine de processus CMMI soutient la mise en uvre du GP 3.1 tablir un processus ajust en tablissant les actifs du processus organisationnel ncessaires pour mettre en uvre le GP 3.1.

    Focalisation sur le Processus Organisationnel - ce domaine de processus CMMI fournit un soutien pour la mise en uvre du GP 3.2 Recueillir des informations sur lamlioration, car il tablit une rfrentiel de mesures organisationnelles.

    4 4 Gestion de Projet Quantitative - ce domaine de processus CMMI fournit un support pour la mise en uvre du domaine de processus TMMi Evaluation de la Qualit du Produit, la fois pour le SG 1 Des objectifs projet mesurables pour la qualit des produits et leurs priorits sont tablis, et SG 2 Les progrs actuels vers la ralisation des objectifs de qualit des produits sont quantifis et grs.

    Tableau 4 : Soutien des domaines de processus CMMI au niveau de maturit TMMi 4

    TMMi CMMI Domaines de processus CMMI soutenant le niveau TMMi 5

    5 2 Gestion de Configuration - le domaine de processus CMMI Gestion de Configuration peut mettre en uvre le GP 2.6 Grer en configuration en totalit pour tous les domaines de processus lis au projet, ainsi que certains des domaines de processus organisationnels.

    Le domaine de processus CMMI Mesure et Analyse fournit aussi des indications gnrale sur la mesure, l'analyse et l'enregistrement des informations, contribuant ainsi la mise en uvre de la pratique gnrique TMMi GP 3.2 Recueillir des informations sur lamlioration.

    Assurance Qualit Processus et Produits - le domaine de processus CMMI Assurance Qualit Processus et Produits peut mettre en uvre compltement le GP 2.9 Evaluer la conformit de manire objective pour tous les domaines de processus.

  • Chapitre 3 Structure du TMMi

    2012 TMMi Foundation. Parution 1.0 Page 24 sur 231

    TMMi CMMI Domaines de processus CMMI soutenant le niveau TMMi 5

    5 3 Dfinition du Processus Organisationnel - Ce domaine de processus CMMI contribue la mise en uvre du GP 3.1 tablir un processus ajust en tablissant les actifs du processus organisationnel ncessaires pour mettre en uvre le GP 3.1.

    Focalisation sur le Processus Organisationnel - ce domaine de processus CMMI contribue la mise en uvre du GP 3.2 Recueillir des informations sur lamlioration, car il tablit un rfrentiel de mesures organisationnelles.

    5 4 Performance du Processus Organisationnel - Ce domaine de processus CMMI fournit un soutien pour la mise en uvre du domaine de processus TMMi Contrle de la Qualit, notamment pour le SG-1 Etablir un processus de test statistiquement contrl

    5 5 Analyse Causale et Rsolution - Ce domaine de processus CMMI fournit un support pour la mise en uvre du domaine de processus TMMi Prvention des Dfauts, notamment pour le SG-1 Dterminer les causes communes des dfauts.

    Gestion de la Performance Organisationnelle - Ce domaine de processus CMMI (version 1.2) fournit l'appui la mise en uvre du domaine de processus TMMi Optimisation du Processus de Test, en particulier pour SG 1 Slectionner les amliorations des processus de test, SG 2 De nouvelles technologies de test sont values afin de dterminer leur impact sur le processus de test et SG 3 Dployer les amliorations de test.

    Tableau 5 : Soutien des domaines de processus CMMI au niveau de maturit TMMi 5

    Notez que les domaines de processus CMMI spcifiques au test Vrification et Validation ne sont pas lists en tant que soutien des processus de test dynamiques dans le TMMi. Pour ces domaines de processus CMMI, les domaines de processus TMMi fournissent un soutien et une description plus dtaille de ce qui est ncessaire pour tablir un processus de vrification et de validation ajust.

  • TMMi niveau 2 TMMi niveau 2 : Disciplin

    2012 TMMi Foundation. Parution 1.0 Page 25 sur 231

    TMMi Niveau 2 : Disciplin Au niveau TMMi 2, le test devient un processus disciplin et est clairement spar du dbogage. La maitrise des processus du niveau de maturit 2 permet de s'assurer que les pratiques existantes sont maintenues pendant les priodes de stress. Cependant, le test est encore peru par de nombreuses parties prenantes comme tant une phase de projet qui suit le codage.

    Dans le cadre de l'amlioration du processus de test, une stratgie de test est tablie lchelle de l'entreprise ou du programme. Des plans de test sont galement dvelopps. Dans le plan de test, une approche de test est dfinie, o l'approche est base sur le rsultat d'une valuation des risques produit. Des techniques de gestion des risques sont utilises pour identifier les risques produit partir dexigences documentes. Le plan de test dfinit quel test est ncessaire, quand, comment et par qui. Des engagements sont pris avec les parties prenantes et revus quand cela est ncessaire. Le test est surveill et contrl pour s'assurer qu'il suit le plan et des actions peuvent tre prises si des carts se produisent. L'tat des produits dactivit et la ralisation des services de tests sont visibles par la direction. Des techniques de conception de tests sont appliques pour driver et slectionner les cas de test partir des spcifications. Cependant, le test peut toujours dmarrer assez tard dans le cycle de dveloppement, par exemple, au cours de la conception ou mme pendant la phase de codage.

    Au niveau TMMI 2 les tests sont plusieurs niveaux : il y a des tests au niveau composants, intgration, systme et acceptation. Pour chaque niveau de test identifi il y a des objectifs de test spcifiques dfinis dans la stratgie de test de lensemble de l'organisation ou de l'ensemble du programme. Les processus de test et de dbogage sont diffrencis.

    L'objectif principal du test dans une organisation un niveau TMMi 2 est de vrifier que le produit satisfait aux exigences spcifies. De nombreux problmes de qualit ce niveau TMMi se produisent parce que le test dmarre tard dans le cycle de vie du dveloppement. Les dfauts sont propags depuis les exigences et la conception dans le code. Il n'y a pas encore de programme de revue formel pour remdier ce problme important. Faire des tests bass sur l'excution du code fourni est encore considr par beaucoup des parties prenantes comme lactivit principale du test.

    Les domaines de processus au niveau TMMi 2 sont :

    2.1 Politique et Stratgie de Test

    2.2 Planification du Test

    2.3 Surveillance et Contrle du Test

    2.4 Conception et Excution des Tests

    2.5 Environnement de Test

    Chacun de ces points est dtaill dans les sections ci-aprs.

  • TMMi niveau 2 Politique et Stratgie de Test

    2012 TMMi Foundation. Parution 1.0 Page 26 sur 231

    PA 2.1 Politique et Stratgie de Test

    Intention Le but du domaine de processus Politique et Stratgie de Test est de dvelopper et tablir une politique de test, et une stratgie de test pour lensemble de l'organisation ou l'ensemble du programme dans laquelle les niveaux de test sont dfinis sans ambigut. Pour mesurer la performance du test, des indicateurs de performance du test sont introduits.

    Notes Introductives Quand une organisation veut amliorer son processus de test, elle devrait d'abord dfinir clairement une politique de test. La politique de test dfinit les objectifs de test gnraux de l'organisation, les buts et points de vue stratgiques concernant le test. Il est important pour le politique de test dtre aligne avec la politique gnrale de lorganisation (qualit). Une politique de test est ncessaire pour atteindre une vision commune du test et de ses objectifs entre toutes les parties prenantes au sein d'une organisation. Ce point de vue commun est ncessaire pour harmoniser les activits de test (amlioration des processus) au sein de l'organisation. La politique de test devrait traiter des activits de test la fois pour de nouveaux projets de dveloppement et de maintenance. Les objectifs pour l'amlioration des processus de test devraient tre indiqus dans la politique de test. Ces objectifs seront ensuite traduits en un ensemble dindicateurs cls de performance du test. La politique de test et les indicateurs de performance qui laccompagnement fournissent une direction claire, et un moyen pour communiquer les niveaux attendus et atteints de performance du test. Les indicateurs de performance doivent montrer la valeur du test et l'amlioration des processus de test aux parties prenantes. Les indicateurs de performance du test donneront une indication quantitative pour savoir si l'organisation s'amliore et atteint l'ensemble dfini des objectifs du test (amlioration).

    Sur la base de la politique de test une stratgie de test sera dfinie. La stratgie de test couvre les exigences de test gnriques pour une organisation ou un programme (un ou plusieurs projets). La stratgie de test traite les risques produit gnriques et prsente un processus visant attnuer ces risques en conformit avec la politique de test. La prparation de la stratgie de test commence par une valuation gnrique des risques produit en analysant les produits en cours de dveloppement au sein d'un programme ou dune organisation.

    La stratgie de test sert de point de dpart pour les activits de test dans les projets. Les projets sont mis en place conformment la stratgie de test de lensemble de l'organisation ou de l'ensemble du programme. Une stratgie de test typique comprendra une description des niveaux de test qui doivent tre appliqus, par exemple : tests unitaires, d'intgration, systmes et d'acceptation. Pour chaque niveau de test, au minimum, les objectifs, les responsabilits, les tches principales et les critres dentre / sortie sont dfinis. Quand une stratgie de test est dfinie et suivie, il y a en gnral moins de chevauchement entre les niveaux de test, ce qui conduit un processus de test plus efficace. En outre, puisque les objectifs de test et l'approche des diffrents niveaux sont cohrents, il restera probablement moins de trous, ce qui conduit un processus de test plus efficace.

    Notez que la Politique de Test et la Stratgie de Test doivent gnralement tre modifies quand le processus de test d'une organisation volue et franchit les niveaux du TMMi.

    Champ dApplication Le domaine de processus Politique et Stratgie de Test implique la dfinition et le dploiement d'une politique de tests et dune stratgie de test. Dans la stratgie de test, les niveaux de test sont identifis. Pour chaque niveau de test, au minimum, les objectifs de test, les responsabilits, les tches principales et les critres d'entre / sortie sont dfinis. Pour mesurer la performance du test et la ralisation des objectifs de test (amlioration), des indicateurs de performance du test sont dfinis et mis en uvre.

    Rsum des Objectifs et Pratiques Spcifiques SG 1 Etablir une Politique de Test

    SP 1.1 Dfinir des objectifs de test

    SP 1.2 Dfinir la politique de test

    SP 1.3 Distribuer la politique de test aux parties prenantes

    SG 2 Etablir une Stratgie de Test

    SP 2.1 Procder une valuation des risques produit gnriques

  • TMMi niveau 2 Politique et Stratgie de Test

    2012 TMMi Foundation. Parution 1.0 Page 27 sur 231

    SP 2.2 Dfinir une stratgie de test

    SP 2.3 Distribuer la stratgie de test aux parties prenantes

    SG 3 Etablir des Indicateurs de Performance du Test

    SP 3.1 Dfinir des indicateurs de performance du test

    SP 3.2 Dployer les indicateurs de performance du test

    Pratiques Spcifiques par Objectifs

    SG 1 Etablir une Politique de Test Une politique de test, cohrente avec la politique de lentreprise (qualit), est tablie et accepte par les parties prenantes.

    SP 1.1 Dfinir des objectifs de test

    Dfinir et maintenir des objectifs de test bass sur des besoins et objectifs mtier.

    Exemples de produits dactivit

    1. Objectifs de test

    Sous-pratiques

    1. Etudier les besoins et objectifs mtier

    Exemples de besoins et objectifs mtier tudier :

    nonc de mission

    Besoins mtier et utilisateurs concernant les produits

    Gnrateurs de business

    Principaux objectifs d'un programme qualit

    Politique dentreprise (qualit)

    Type de business, par exemple, niveau de risque des produits en cours de dveloppement

    2. Fournir des retours pour clarifier les besoins et les objectifs mtier quand cest ncessaire

    3. Dfinir des objectifs de test relis aux besoins et objectifs mtier

    Exemples d'objectifs de test :

    Valider des produits par rapport leur aptitude lutilisation

    Empcher des dfauts de se produire en fonctionnement

    Vrifier la conformit des standards externes

    Donner de la visibilit en ce qui concerne la qualit du produit

    Raccourcir le temps d'excution des tests

    4. Revoir les objectifs de test avec les parties prenantes

    5. Revisiter et rviser les objectifs de test de faon approprie, par exemple, sur une base annuelle

    SP 1.2 Dfinir la politique de test

    Une politique de test, aligne avec la politique de lentreprise (qualit), est dfinie en fonction des objectifs de test et approuve par les parties prenantes.

    Exemples de produits dactivit

    1. Politique de test

  • TMMi niveau 2 Politique et Stratgie de Test

    2012 TMMi Foundation. Parution 1.0 Page 28 sur 231

    Sous-pratiques

    1. Dfinir la politique de test en fonction des objectifs de test dfinis

    Exemples d'informations typiques faisant partie d'une politique de test :

    Une dfinition du test

    Une dfinition du dbogage (localisation de dfauts et rparation)

    Point de vue basique concernant le test et la profession de testeur

    Les objectifs et la valeur ajoute du test

    Les niveaux de qualit atteindre

    Le degr d'indpendance de lorganisation de test

    Une dfinition haut niveau du processus de test

    Les principales responsabilits du test

    L'approche organisationnelle et les objectifs de l'amlioration des processus de test

    2. Clairement sparer le test du dbogage dans la politique de test

    3. Revoir la politique de test avec les parties prenantes

    4. Dfinir et tablir la proprit de la politique de test

    5. Revoir et rviser la politique de test selon le besoin, par exemple, sur une base annuelle

    SP 1.3 Distribuer la politique de test aux parties prenantes

    La politique de test et les objectifs du test sont prsents et expliqus aux parties prenantes impliques ou non dans le test.

    Exemples de produits dactivit

    1. Plan de dploiement

    2. Prsentation de la politique de test

    Exemples de mcanismes de distribution :

    La documenter dans un manuel (systme qualit)

    La prsenter lors de runions de projet et/ou de service

    Y faire rfrence grce des affiches sur le mur

    Linclure dans le programme d'introduction du service

    Le rendre accessible sur un portail web centralis

    SG 2 Etablir une Stratgie de Test Une stratgie de test concernant lensemble de l'organisation ou du programme qui identifie et dfinit les niveaux de test effectuer est tablie et dploye.

    SP 2.1 Procder une valuation des risques produits gnriques

    Une valuation des risques produit gnriques est effectue afin d'identifier les zones critiques typiques pour le test.

    Exemples de produits dactivit

    1. Liste des risques produit gnriques, avec une catgorie et une priorit affectes chaque risque

  • TMMi niveau 2 Politique et Stratgie de Test

    2012 TMMi Foundation. Parution 1.0 Page 29 sur 231

    Sous-pratiques

    1. Identifier et slectionner les parties prenantes qui doivent contribuer l'valuation des risques gnriques

    2. Identifier les risques produit gnriques en utilisant l'apport des intervenants

    3. Documenter le contexte et les consquences potentielles des risques produit gnriques

    4. Identifier les parties prenantes associes chaque risque produit gnrique

    5. Analyser les risques produit gnriques identifis l'aide des paramtres prdfinis, par exemple, la probabilit et limpact

    6. Catgoriser et grouper les risques produit gnriques selon les catgories de risque dfinies

    7. Prioriser les risques produit gnriques en vue de leur attnuation

    8. Revoir avec les parties prenantes le niveau de compltude, les catgories et les priorits des risques produit gnriques et obtenir leur accord

    9. Rviser les risques produit gnriques si ncessaire

    Notez que les catgories et les paramtres de risques produit tels que dfinis dans le domaine de processus Planification du Test (SP 1.1 Dfinir les catgories et les paramtres de risque produit) sont largement rutiliss dans cette pratique spcifique.

    Reportez-vous SG 1 Effectuer une Evaluation des Risques Produit du domaine de processus Planification du Test pour plus de dtails sur les pratiques pour effectuer une valuation des risques produit.

    SP 2.2 Dfinir la stratgie de test

    La stratgie de test est dfinie, identifiant et dfinissant les niveaux de tests. Pour chaque niveau, les objectifs, les responsabilits, les tches principales, les critres dentre/sortie et autres lments sont dfinis.

    Exemples de produits dactivit

    1. Stratgie de test

    Sous-pratiques

    1. Etudier la politique de test et les objectifs

    2. Fournir des retours pour clarifier la politique de test et les objectifs si ncessaire

    3. Dfinir la stratgie de test en fournissant un lien clair avec la politique de test et les objectifs dfinis

    Exemples de sujets aborder dans le cadre d'une stratgie de test :

    Les risques gnriques des produits en cours de dveloppement

    Le modle de test global (modle en V, cycle de vie incrmental) utiliser comme moyen d'attnuer les risques

    Les niveaux de test (par exemple, tests unitaires, d'intgration, systmes et d'acceptation)

    Les objectifs, responsabilits et tches principales chaque niveau de test, par exemple :

    Pour les tests unitaires - Vrifier que le composant fonctionne comme spcifi dans la conception du

    composant - Atteindre un certain niveau de couverture de code

    Pour les tests d'intgration - Vrifier que les composants fonctionnent ensemble comme spcifi dans la

    conception globale - Vrifier que les interfaces fonctionnent tel que spcifi dans la spcification

    d'interface Pour les tests systme

  • TMMi niveau 2 Politique et Stratgie de Test

    2012 TMMi Foundation. Parution 1.0 Page 30 sur 231

    - Vrifier que le systme fonctionne comme indiqu dans la spcification des exigences

    - Atteindre un certain niveau de couverture des exigences du systme Pour les tests d'acceptation

    - Vrifier que le systme satisfait aux critres d'acceptation dfinis - Valider que le systme est apte l'emploi - Atteindre un certain niveau de couverture des exigences utilisateurs

    Les techniques de conception des cas de test devant tre utilises chaque niveau de test

    Les types de tests excuter chaque niveau de test

    Les critres dentre et de sortie pour chaque niveau de test

    Les normes respecter

    Le niveau d'indpendance du test

    Lenvironnement dans lequel les tests seront excuts

    La manire daborder l'automatisation chaque niveau de test

    La manire daborder les tests de rgression

    4. Revoir la stratgie de test avec les parties prenantes

    5. Dfinir et tablir la proprit de la stratgie de test

    6. Revisiter et rviser la stratgie de test si ncessaire, par exemple, sur une base annuelle

    Notez que la stratgie de test servira de point de dpart pour le test raliser dans un projet. Cependant, chaque projet peut adapter la stratgie globale ses besoins selon les directives dajustement tablies pour le document. Toutes les zones de non-conformit doivent tre clairement documentes dans le plan de test du projet.

    SP 2.3 Distribuer la stratgie de test aux parties prenantes

    La stratgie de test est prsent et discut avec les parties prenantes impliques ou non dans le test.

    Exemples de produits dactivit

    1. Plan de dploiement

    2. Prsentation de la stratgie de test

    Exemples de mcanismes de distribution :

    La documenter dans un manuel et/ou systme qualit

    La prsenter lors de runions de projet et/ou de service

    Y faire rfrence grce des affiches sur le mur

    Linclure dans le programme d'introduction du service

    La rendre accessible sur un portail web centralis

    SG 3 Etablir des Indicateurs de Performance du Test Un ensemble d'indicateurs de performance du test orients objectifs pour mesurer la qualit du processus de test sont crs et dploys.

    SP 3.1 Dfinir des indicateurs de performance du test

    Les indicateurs de performance du test sont dfinis sur la base de la politique de test et des objectifs, intgrant une procdure de collecte des donnes, de stockage et d'analyse.

    Exemples de produits dactivit

    1. Indicateurs de performance du test

  • TMMi niveau 2 Politique et Stratgie de Test

    2012 TMMi Foundation. Parution 1.0 Page 31 sur 231

    2. Procdures de collecte des donnes, de stockage, d'analyse et de reporting

    Sous-pratiques

    1. tudier la politique et les objectifs de test, par exemple, les objectifs d'amlioration du processus de test

    2. Fournir des retours pour clarifier la politique et les objectifs de test si ncessaire

    3. Dfinir les indicateurs de performance du test relis la politique de test et aux objectifs

    Exemples d'indicateurs de performance du test :

    Charge et cot du test

    Dure du test

    Nombre de dfauts trouvs

    Pourcentage de dtection des dfauts

    Couverture de test

    Niveau de maturit du test

    En gnral, les indicateurs de performance du test doivent tre lis la valeur commerciale du test.

    4. Revoir les indicateurs de performance avec les parties prenantes

    5. Dfinir et tablir la proprit des indicateurs de performance de test

    6. Spcifier la manire dont les indicateurs de performance seront obtenus et stocks

    7. Spcifier la manire dont les indicateurs de performance seront analyss et rapports

    SP 3.2 Dployer les indicateurs de performance du test

    Dployer les indicateurs de performance du test et fournir les rsultats de mesure aux parties prenantes.

    Exemples de produits dactivit

    1. Donnes des indicateurs de performance du test

    2. Rapports fournissant des informations sur les indicateurs de performance du test

    Sous-pratiques

    1. Obtenir les donnes des indicateurs de performance spcifis

    2. Analyser et interprter les donnes des indicateurs de performance

    3. Grer et stocker les donnes et les rsultats d'analyse des indicateurs de performance

    4. Faire un reporting priodique sur les donnes des indicateurs de performance aux parties prenantes

    5. Aider les parties prenantes comprendre les rsultats

    Exemples d'actions pour aider comprendre les rsultats :

    Discuter des rsultats avec les parties prenantes concernes

    Fournir de l'information contextuelle apportant des indications gnrales et des explications

  • TMMi niveau 2 Politique et Stratgie de Test

    2012 TMMi Foundation. Parution 1.0 Page 32 sur 231

    Pratiques Gnriques par Objectifs

    GG 2 Institutionnaliser un Processus Disciplin

    GP 2.1 Etablir une politique organisationnelle

    tablir et maintenir une politique organisationnelle pour la planification et l'excution du processus Politique et Stratgie de Test.

    Elaboration

    En gnral, au niveau organisationnel, il est document que sur une base priodique, par exemple, chaque anne, la politique et la stratgie de test seront revues et mises jour si ncessaire.

    GP 2.2 Planifier le processus

    tablir et maintenir le plan pour appliquer le processus Politique et Stratgie de Test.

    Elaboration

    Le plan de mise en place du processus Politique et Stratgie de Test peut tre inclus dans (ou rfrenc par) le plan qualit de l'organisation ou le plan d'amlioration du processus de test.

    GP 2.3 Fournir les ressources

    Fournir des ressources adquates pour mettre en place le processus Politique et Stratgie de Test, en dveloppant les produits dactivits de test, et en fournissant les services du processus.

    GP 2.4 Assigner les responsabilits

    Assigner la responsabilit et l'autorit pour mettre en place le processus Politique et Stratgie de Test, en dveloppant les produits dactivit, et en fournissant les services du processus Politique et Stratgie de Test.

    Elaboration

    Un groupe ayant l'autorit et les connaissances est dsign comme responsable de la dfinition d'une politique de test, dune stratgie de test et des indicateurs de performance du test. Le groupe se compose gnralement des parties prenantes suivantes : la gestion des ressources humaines, la gestion commerciale, la gestion de la qualit, la gestion de projet, loprationnel, la gestion des tests et les ingnieurs de test.

    GP 2.5 Former les personnes

    Former les personnes charge de mettre en place ou dassister la mise en place du processus Politique et Stratgie de Test en fonction des besoins.

    Elaboration

    Les personnes impliques dans la dfinition et la maintenance de la politique de test et de la stratgie de test reoivent des connaissances de base relatives du test structur. Celles qui sont impliques dans les pratiques lies aux indicateurs de performance de test sont formes sur les mthodes de mesure.

    GP 2.6 Grer en configuration

    Placer les produits dactivit slectionns du processus Politique et Stratgie de Test sous un niveau appropri de gestion de configuration.

    Elaboration Exemples de produits dactivit placs sous gestion de configuration :

    Politique de test

    Stratgie de test

  • TMMi niveau 2 Politique et Stratgie de Test

    2012 TMMi Foundation. Parution 1.0 Page 33 sur 231

    Dfinition des indicateurs de performance de test

    Donnes de mesure

    GP 2.7 Identifier et impliquer les parties prenantes concernes

    Identifier et impliquer les parties prenantes du processus Politique et Stratgie de Test comme prvu.

    GP 2.8 Surveiller et contrler le processus

    Surveiller et de contrler le processus Politique et Stratgie de Test selon le plan de mise en place du processus et prendre les mesures appropries.

    GP 2.9 Evaluer la conformit de manire objective

    Evaluer objectivement la conformit du processus Politique et Stratgie de Test et des produits dactivits slectionns selon la description du processus, les standards et les procdures, et traiter les non-conformits.

    Elaboration Exemples de sujets de revue et/ou audit de conformit :

    Conformit des plans de test avec la politique de test et la stratgie de test

    Niveau de connaissance de la politique de test, de la stratgie de test et des indicateurs de performance du test par les professionnels du test et les autres parties prenantes

    Disponibilit des donnes des indicateurs de performance du test pour les parties prenantes

    GP 2.10 Passer en revue le statut avec la hirarchie

    Passez en revue les activits, la situation et les rsultats du processus Politique et Stratgie de Test avec la hirarchie et rsoudre les problmes.

    GG 3 Institutionnaliser un Processus Ajust Ne s'appliquent qu'au niveau TMMi 3.

    GP 3.1 Etablir un processus ajust

    tablir et maintenir la description dun processus Politique et Stratgie de Test ajust.

    GP 3.2 Recueillir des informations sur l'amlioration

    Recueillir les expriences lies au processus dcoulant de la planification et de la mise en uvre du processus Politique et Stratgie de Test pour assister la future utilisation et amlioration des processus et actifs de processus de l'organisation.

  • TMMi niveau 2 Planification du Test

    2012 TMMi Foundation. Parution 1.0 Page 34 sur 231

    PA 2.2 Planification du Test

    Intention Le but de la Planification du Test est de dfinir une approche de test base sur les risques identifis et la stratgie de test dfinie, et dtablir et maintenir des plans bien tablis pour la ralisation et la gestion des activits de test.

    Notes Introductives Aprs confirmation de l'affectation du test, une tude globale est effectue sur le produit tester, l'organisation du projet, les exigences et le processus de dveloppement. Dans le cadre de planification du test, lapproche de test est dfinie en fonction des rsultats d'une valuation des risques produit et de la stratgie de test dfinie. Selon la priorit et la catgorie des risques, on dcide quelles exigences du produit seront testes, dans quelle mesure, comment et quand. L'objectif est de fournir la meilleure couverture possible pour les parties du systme avec le risque le plus lev.

    Sur la base de l'approche de test le travail raliser est estim et par consquent l'approche de test propose fournit des informations claires sur le cot. Les risques lis aux produits, l'approche de test et les estimations sont dfinis en troite collaboration avec les parties prenantes plutt que par l'quipe de test seule. Le plan de test sera conforme, ou justifiera les non-conformits, avec la stratgie de test.

    Dans la Planification du Test, les livrables de test qui doivent tre fournis sont identifis, les ressources ncessaires sont dtermines, et les aspects lis l'infrastructure sont dfinis. En outre, les risques lis au projet de test sont identifis. En consquence, le plan de test va dfinir quels tests sont ncessaires, quand, comment et par qui.

    Enfin, le document plan de test est labor et accept par les parties prenantes. Le plan de test fournit la base pour l'excution et le contrle des activits de test. Il sera gnralement ncessaire de rviser le plan de test, en utilisant un processus de contrle du changement formel, en mme temps que le projet avance pour traiter les changements dans les exigences et les engagements, les estimations inexactes, les actions correctives et les changements de processus (de test).

    Champ dApplication Le domaine de processus Planification du Test implique lvaluation des risques produit sur l'objet de test et la dfinition dune approche de test diffrencie base sur les risques identifis. Il s'agit galement d'tablir des estimations pour le test effectuer, dtablir les engagements ncessaires, et de dfinir et de maintenir le plan pour orienter et grer le test. Un plan de test est ncessaire pour chaque niveau de test identifi. Au niveau TMMi 2, les plans de test sont gnralement labors par niveau de test. Au niveau TMMi 3, dans le domaine de processus Cycle de Vie et Intgration du Test, le plan de test matre est introduit comme un de ses objectifs.

    Rsum des Objectifs et Pratiques Spcifiques SG 1 Effectuer une Evaluation des Risques Produit

    SP 1.1 Dfinir les catgories et les paramtres de risques produit

    SP 1.2 Identifier les risques produit

    SP 1.3 Analyser les risques produit

    SG 2 Etablir une Approche de Test

    SP 2.1 Identifier les lments et les caractristiques tester

    SP 2.2 Dfinir l'approche de test

    SP 2.3 Dfinir les critres d'entre

    SP 2.4 Dfinir les critres de sortie

    SP 2.5 Dfinir les critres de suspension et de reprise

    SG 3 Etablir des Estimations de Test

    SP 3.1 Etablir une structure de dcomposition du travail de haut niveau

    SP 3.2 Dfinir le cycle de vie du test

  • TMMi niveau 2 Planification du Test

    2012 TMMi Foundation. Parution 1.0 Page 35 sur 231

    SP 3.3 Dterminer des estimations pour leffort et le cot du test

    SG 4 Dvelopper un Plan de Test

    SP 4.1 Etablir le calendrier des tests

    SP 4.2 Planifier laffectation du personnel de test

    SP 4.3 Planifier limplication des parties prenantes

    SP 4.4 Identifier les risques du projet de test

    SP 4.5 Etablir le plan de test

    SG 5 Obtenir un Engagement sur le Plan de Test

    SP 5.1 Revoir le plan de test

    SP 5.2 Concilier les niveaux de travail et de ressources

    SP 5.3 Obtenir des engagements sur le plan de test

    Pratiques Spcifiques par Objectifs

    SG 1 Effectuer une Evaluation des Risques Produit Une valuation des risques produit est effectue afin d'identifier les domaines critiques pour le test.

    SP 1.1 Dfinir les catgories et les paramtres de risques produit

    Les catgories et les paramtres de risques produit qui seront utiliss pendant lvaluation des risques produit sont dfinis.

    Exemples de produits dactivit

    1. Listes de catgories de risques produit

    2. Critres d'valuation et de priorisation des risques produit

    Sous-pratiques

    1. Dterminer les catgories de risques produit

    L'une des raisons pour identifier les catgories de risques produit est de contribuer la consolidation future des tches de test en types de test dans les plans de test.

    Exemples de catgories de risques produit :

    Risques fonctionnels

    Risques architecturaux

    Risques non-fonctionnels, par exemple, lutilisabilit, l'efficacit, la portabilit, la maintenabilit, la fiabilit

    Risques lis au changement, par exemple, la rgression

    2. Dfinir des critres uniformes pour l'valuation et la quantification de la probabilit et niveaux dimpact des risques produit

    3. Dfinir des seuils pour chaque niveau de risque produit

    Le niveau de risque est dfini comme l'importance d'un risque selon ses caractristiques (impact et probabilit). Pour chaque niveau de risque, des seuils peuvent tre tablis pour dterminer l'acceptabilit ou linacceptabilit dun risque produit, la priorisation des risques produit, ou pour dfinir un dclencheur pour des mesures de gestion du risque.

    SP 1.2 Identifier les risques produit

    Les risques produit sont identifis et documents.

  • TMMi niveau 2 Planification du Test

    2012 TMMi Foundation. Parution 1.0 Page 36 sur 231

    Exemples de produits dactivit

    1. Risques produit identifis

    Sous-pratiques

    1. Identifier et slectionner les parties prenantes qui doivent contribuer l'valuation des risques

    2. Identifier les risques produit en utilisant des informations provenant des parties prenantes et documents dexigences

    Exemples de techniques d'identification des risques produit :

    Ateliers sur les risques

    Brainstorming

    Entretiens avec des experts

    Check-lists

    Retours dexprience

    3. Documenter le contexte et les consquences potentielles du risque

    4. Identifier les parties prenantes pertinentes associes pour chaque risque

    5. Passez en revue les risques produit identifis en fonction de l'affectation aux tests

    SP 1.3 Analyser les risques produit

    Les risques produit sont valus, catgoriss et prioriss selon les catgories et les paramtres prdfinies de risques produit.

    Exemples de produits dactivit

    1. Liste de risques produit, avec une catgorie et une priorit affectes chaque risque

    Sous-pratiques

    1. Analyser les risques produit identifis en utilisant les paramtres prdfinis, par exemple, la probabilit et l'impact

    2. Catgoriser et grouper les risques produit selon les catgories de risque dfinies

    3. Prioriser les risques produit pour leur attnuation

    4. Etablir une traabilit horizontale entre les risques produit et les exigences pour s'assurer que la source des risques produit est documente

    5. Gnrer une matrice de traabilit exigences/risques produit

    6. Revoir et obtenir un accord avec les parties prenantes sur le niveau de compltude, la catgorie et la priorit des risques produit

    7. Rviser les risques produit quand cest ncessaire

    Exemples de situations o il peut tre ncessaire de rviser les risques produit :

    Des exigences nouvelles ou changeantes

    Un changement dans l'approche du dveloppement logiciel

    Les retours dexprience sur les problmes de qualit dans le projet

    SG 2 Etablir une Approche de Test Une approche de test base sur les risques produit identifis est tablie et accepte.

  • TMMi niveau 2 Planification du Test

    2012 TMMi Foundation. Parution 1.0 Page 37 sur 231

    SP 2.1 Identifier les lments et les caractristiques tester

    Les lments et les caractristiques tester, et ne pas tester, sont identifis sur la base des risques produit.

    Exemples de produits dactivit

    1. Liste des lments tester et ne pas tester

    2. Liste des caractristiques tester et ne pas tester

    Sous-pratiques

    1. Rpartir les risques produit prioriss en lments tester et ne pas tester

    2. Documenter le niveau de risque et la documentation source (base de test) pour chaque lment tester identifi

    3. Rpartir les risques produit prioriss en caractristiques tester et ne pas tester

    4. Documenter le niveau de risque et de la documentation source (base de test) pour chaque caractristique tester identifie

    5. Passez en revue avec les parties prenantes la liste des lments et des caractristiques tester et ne pas tester

    SP 2.2 Dfinir l'approche de test

    L'approche de test est dfinie afin d'attnuer les risques produit identifis et prioriss.

    Exemples de produits dactivit

    1. L'approche, par exemple, un ensemble choisi de techniques de conception de tests, devrait tre dcrite de manire suffisamment dtaille pour assister l'identification des principales tches de test et lestimation du temps ncessaire pour effectuer chacune d'elles.

    Sous-pratiques

    1. Slectionner les techniques de conception de tests utiliser. Plusieurs techniques de conception de tests sont dfinies pour fournir une couverture de test adquate base sur les risques produit dfinis

    Exemples de critres de slection d'une technique de conception :

    Type de systme

    Normes de rglementation

    Exigences client ou contractuelles

    Niveau de risque

    Type de risque

    Documentation disponible

    Connaissance des testeurs

    Temps et budget

    Cycle de vie du dveloppement

    Exprience pralable avec les types de dfauts trouvs

    2. Dfinir l'approche de revue des produits dactivit de test

    3. Dfinir l'approche du retest

    Exemples d'approches pour le retest :

    Pour tous les articles de test haut risque, un retest complet sera excut avec la procdure de test complte

  • TMMi niveau 2 Planification du Test

    2012 TMMi Foundation. Parution 1.0 Page 38 sur 231

    Pour tous les articles de test de faible risque, les incidents sont re-tests isolement

    4. Dfinir l'approche des tests de rgression

    Exemples d'lments d'une approche de test de rgression :

    Ce sur quoi se concentre le test de rgression, par exemple, quels lments et/ou fonctionnalits

    Mthodes pour slectionner les cas de test excuter

    Type de test effectuer

    Test manuel ou utilisant des outils d'automatisation des tests

    5. Identifier les outils de test utiliser

    6. Identifier les contraintes significatives quant l'approche de test

    Exemples de contraintes quant l'approche de test :

    Disponibilit des ressources de test

    Caractristiques de l'environnement de test

    Echances du projet

    7. Aligner l'approche de test avec la stratgie de test de lensemble de l'organisation ou du programme

    8. Identifier toute non-conformit par rapport la stratgie de test et sa raison d'tre

    9. Revoir l'approche de test avec les parties prenantes

    10. Rviser l'approche de test quand cest ncessaire

    Exemples de situations o il peut tre ncessaire de revoir l'approche de test :

    Niveau de priorit des risques produit nouveau ou modifi

    Retours dexprience aprs l'application de l'approche de test dans le projet

    SP 2.3 Dfinir les critres d'entre

    Les critres d'entre de test sont dfinis pour empcher les tests de dmarrer dans des conditions qui ne permettent pas lexcution complte du processus de test.

    Exemples de produits dactivit

    1. Critres d'entre par niveau de test identifi

    Sous-pratiques

    1. Dfinir un ensemble de critres d'entre relatifs au processus de test

    Exemples de critres dentre relatifs au processus de test :

    Disponibilit d'un rapport de synthse de test du niveau prcdent

    Disponibilit d'un environnement de test correspondant aux exigences

    Disponibilit de la documentation, par exemple, les notes de version du test, le manuel utilisateur, le manuel d'installation

    2. Dfinir un ensemble de critres d'entre lis la qualit du produit

    Exemples de critres d'entre lis la qualit du produit :

    Un test d'admission russi

    Pas de dfauts rsiduels (de niveau de priorit X)

  • TMMi niveau 2 Planification du Test

    2012 TMMi Foundation. Parution 1.0 Page 39 sur 231

    Tous les dfauts rsiduels ont t analyss

    3. Revoir les critres d'entre avec les parties prenantes, en particulier celles chargs de satisfaire les critres dentre

    SP 2.4 Dfinir les critres de sortie

    Les critres de sortie de test sont dfinis pour dterminer le moment o le test est termin.

    Exemples de produits dactivit

    1. Critres de sortie par niveau de test identifi

    Sous-pratiques

    1. Dfinir un ensemble de critres de sortie lis au processus de test

    Exemples de critres de sortie lis au processus de test :

    Pourcentage de tests prpars ayant t excuts (avec succs)

    Pourcentage de couverture pour chaque lment de test, par exemple, la couverture du code ou la couverture des exigences

    Disponibilit d'un rapport de synthse de test approuv

    2. Dfinir un ensemble de critres de sortie lis la qualit du produit

    Exemples de critres de sortie lis la qualit du produit :

    Tous les risques produit de haute priorit ont t attnus

    Le taux de dtection de dfauts est infrieur un seuil

    Nombre de dfauts rsiduels (par niveau de priorit)

    Pourcentage de modules logiciels ayant fait lobjet dune revue de conception

    3. Revoir les critres de sortie avec les parties prenantes

    Notez que les critres de sortie d'un niveau de test devraient tre aligns avec les critres dentre du niveau de test suivant.

    SP 2.5 Dfinir les critres de suspension et de reprise

    Des critres sont dfinis qui seront utiliss pour suspendre et reprendre tout ou partie des tches de test sur les lments et/ou fonctionnalits de test.

    Exemples de produits dactivit

    1. Critres de suspension

    2. Critres de reprise

    Sous-pratiques

    1. Spcifier les critres utiliss pour suspendre tout ou partie des tches de test sur les lments et/ou fonctionnalits de test

    Exemples de critres de suspension :

    Nombre de dfauts critiques

    Nombre de dfauts non reproductibles

    Problmes dans l'excution des tests dus aux environnements de test

    2. Spcifier les critres de reprise utiliss pour dfinir les tches de test rpter lorsque les critres ayant caus la suspension sont corrigs

  • TMMi niveau 2 Planification du Test

    2012 TMMi Foundation. Parution 1.0 Page 40 sur 231

    SG 3 Etablir des Estimations de Test Des estimations de test bien fondes sont tablies et maintenues pour tre utilises lors de discussions sur l'approche de test avec les parties prenantes et lors de la planification des activits de test.

    SP 3.1 Etablir une structure de dcomposition du travail de haut niveau

    Etablir une structure de haut niveau de dcomposition du travail (WBS : Work Breakdown Structure) pour dfinir clairement le champ d'application du test raliser et, par consquent, le champ dapplication de l'estimation de test.

    Exemples de produits dactivit

    1. Liste des produits dactivit de test

    2. Tches de test raliser

    3. Structure de dcomposition du travail

    Sous-pratiques

    1. Identifier les produits dactivit de test dvelopper sur la base de l'approche de test dfinie

    2. Identifier les produits dactivit de test qui seront acquis l'extrieur

    3. Identifier les produits dactivit de test qui seront rutiliss

    4. Identifier les tches de test effectuer lies aux produits dactivit de test

    5. Identifier les tches indirectes du test effectuer, telles que la gestion des tests, les runions, la gestion en configuration, etc.

    Notez que le WBS devrait galement prendre en compte les tches de mise en uvre des exigences de l'environnement de test. Reportez-vous au domaine de processus Environnement de Test pour plus d'informations sur ce sujet.

    SP 3.2 Dfinir le cycle de vie du test

    Dfinir les phases du cycle de vie du test sur lesquels concentrer l'effort de planification.

    Exemples de produits dactivit

    1. Dfinition des phases de cycle de vie du test

    2. Jalons du test

    Sous-pratiques

    1. Dfinir les phases du cycle de vie du test. Au minimum on distingue une phase de planification du test, de prparation au test et dexcution du test

    2. Planifier la phase de prparation du test de telle sorte qu'elle commence immdiatement aprs le fondement du test

    3. Aligner la structure haut niveau de dcomposition du travail avec le cycle de vie du test dfini

    4. Identifier les principaux jalons de chaque phase du cycle de vie du test

    Notez que la comprhension du cycle de vie est essentielle pour dterminer ce sur quoi l'effort de planification du test doit porter et quand la planification initiale doit tre faite, ainsi que le calendrier et les critres ( des tapes critiques) pour la re-planification.

    SP 3.3 Dterminer des estimations pour leffort et le cot du test

    Estimer leffort et le cot du test pour les produits dactivits de test crer et les tches de test effectuer sur la base dune estimation rationnelle.

    Exemples de produits dactivit

    1. Estimations des attributs des produits dactivits de test et des tches de test

  • TMMi niveau 2 Planification du Test

    2012 TMMi Foundation. Parution 1.0 Page 41 sur 231

    2. Estimations de leffort de test

    3. Estimations du cot de test

    Sous-pratiques

    1. tablir et maintenir les estimations des attributs des produits dactivits de test et des tches de test

    Exemples d'attributs utiliss pour estimer les produits dactivits de test et les tches de test :

    Taille, par exemple, le nombre de cas de test, le nombre de pages, le nombre de points de test, le volume de donnes de test, le nombre d'exigences

    La complexit des lments de test connexes, par exemple, le nombre cyclomatique

    Niveau de rutilisation

    Niveau de priorit du risque produit connexe

    Notez que des mthodes appropries (par exemple, des modles valids ou des donnes historiques) devraient tre utilises pour dterminer les attributs des produits dactivits de test et des tches de test qui seront utilises pour estimer les exigences de ressources.

    2. Etudier les facteurs (techniques) qui peuvent influencer l'estimation du test

    Exemples de facteurs qui peuvent influencer l'estimation du test :

    Utilisation doutils de test

    Qualit des niveaux de test antrieurs

    Qualit des bases de test

    Environnement de dveloppement

    Environnement de test

    Disponibilit dartefacts de test rutilisables provenant de projets antrieurs

    Niveau de connaissance et de comptence des testeurs

    3. Slectionner les modles et/ou les donnes historiques qui seront utiliss pour transformer les attributs des produits dactivits de test et les tches de test en estimations de leffort et du cot du test

    Exemples de modles qui peuvent tre utiliss pour l'estimation de test :

    Analyse des points de test [TMap]

    Estimation trois points

    Delphi Large Bande [Veenendaal]

    Ratio de la charge de test par rapport la charge de dveloppement

    4. Inclure les besoins en infrastructures lors de lestimation de la charge et du cot du test

    Exemples de besoins en infrastructures :

    Environnement de test

    Ressources informatiques critiques

    Environnement de bureau

    Outils de test

    5. Estimer la charge et le cot du test au moyen de modles et/ou de donnes historiques

    6. Documenter les hypothses faites lors du calcul des estimations

  • TMMi niveau 2 Planification du Test

    2012 TMMi Foundation. Parution 1.0 Page 42 sur 231

    7. Enregistrer les donnes d'estimation de test, y compris les informations associes ncessaires pour reconstruire les estimations

    SG 4 Dvelopper un Plan de Test Un plan de test est tabli et maintenu comme base pour la gestion des tests et la communication aux parties prenantes.

    SP 4.1 Etablir le calendrier des tests

    Le calendrier des tests, avec des tapes prdfinies de taille raisonnable, est tabli et maintenu sur la base des estimations de test et du cycle de vie du test.

    Exemples de produits dactivit

    1. Calendrier des tests

    Sous-pratiques

    1. Identifier les contraintes d'ordonnancement des tests telles que la dure des tches, les ressources et donnes dentre ncessaires

    2. Identifier les dpendances entre les tches de test

    3. Dfinir le calendrier de test (calendrier des activits de test, phases du cycle de vie du test et jalons du test)

    4. Documenter les hypothses faites lors de la dfinition du calendrier des tests

    5. tablir des critres dactions correctives pour dterminer ce qui constitue un cart significatif par rapport au plan de test et peut indiquer un besoin de replanification.

    SP 4.2 Planifier laffectation du personnel de test

    Un plan est cr pour la disponibilit du personnel de test ncessaire ayant les connaissances et les comptences requises pour effectuer les tests.

    Exemples de produits dactivit

    1. Exigences en personnel

    2. Inventaire des besoins en comptences

    3. Plan daffectation et de recrutement

    4. Plan de formation sur le test

    Sous-pratiques

    1. Dterminer les exigences en personnel en fonction de la structure de dcomposition du travail, des estimations et du calendrier de test

    2. Identifier les connaissances et les comptences ncessaires pour effectuer les tches de test

    3. Evaluer les connaissances et les comptences disponibles

    4. Slectionnez des mcanismes pour fournir les connaissances et les comptences requises

    Exemples de mcanismes :

    Formation interne

    Formation externe

    Coaching

    Acquisition de comptences externes

    5. Incorporer les mcanismes slectionns dans le plan de test

  • TMMi niveau 2 Planification du Test

    2012 TMMi Foundation. Parution 1.0 Page 43 sur 231

    SP 4.3 Planifier limplication des parties prenantes

    Un plan est cr pour l'implication des parties prenantes identifies.

    Les parties prenantes sont identifies pour toutes les phases du cycle de vie du test en identifiant le type de personnes et de fonctions ncessaires pour les activits de test. Les parties prenantes sont galement identifies pour leur pertinence et leur degr d'interaction avec les activits de test spcifiques. Une matrice deux dimensions avec les intervenants le long dun axe et les activits de test le long de l'autre axe est commode pour raliser cette identification.

    Exemples de produits dactivit

    1. Plan de participation des parties prenantes

    SP 4.4 Identifier les risques du projet de test

    Les risques lis au projet de test sont identifis, analyss et documents.

    Exemples de produits dactivit

    1. Risques du projet de test identifis

    2. Liste priorise des risques du projet de test

    3. Plans d'attnuation des risques du projet de test

    Sous-pratiques

    1. Identifier les risques lis au projet de test

    Exemples de techniques d'identification des risques projet :

    Brainstorming

    Entretiens avec des experts

    Check-list

    2. Analyser les risques du projet de test identifis en termes de probabilit et dimpact

    3. Prioriser les risques du projet de test analyss

    4. Revoir avec les parties prenantes et obtenir leur accord sur le niveau de compltude et le niveau de priorit des risques documents lis au projet de test

    5. Dfinir les contingences pour les risques (de haute priorit) du projet de test

    6. Rviser les risques lis au projet de test quand cest ncessaire

    Exemples de situations o il peut tre ncessaire de rviser les risques du projet de test :

    Lorsque de nouveaux risques lis au projet de test sont identifis

    Lorsque la probabilit dun risque li au projet de test change

    Lorsque des risques du projet de test sont retirs

    Lorsque le contexte du test change de faon significative

    SP 4.5 Etablir le plan de test

    Le plan de test est tabli et maintenu comme base pour la gestion des tests et pour guider la communication avec les parties prenantes.

    Les rsultats des pratiques prcdentes sont documents dans un plan de test global, visant regrouper les informations d'une manire logique.

    Exemples de produits dactivit

    1. Plan de test

    Exemples d'lments constituant un plan de test [IEEE 829] :

  • TMMi niveau 2 Planification du Test

    2012 TMMi Foundation. Parution 1.0 Page 44 sur 231

    Identifiant du plan de test

    Introduction gnrale

    Non-conformits par rapport la stratgie de test et les justifications

    Elments tester (y compris le niveau de priorit) et ne pas tester

    Caractristiques tester (y compris le niveau de priorit) et ne pas tester

    Approche de test (par exemple, les techniques de conception de tests)

    Critres d'entre et de sortie

    Critres de suspension et de reprise

    Jalons de test et produits dactivit

    Cycle de vie du test et tches

    Besoins et exigences en environnements (y compris l'environnement de bureau)

    Besoins en personnel et en formation

    Participation des parties prenantes

    Estimations de test

    Calendrier de test

    Risques du projet de test et contingences

    Reportez-vous au domaine de processus Environnement de Test pour obtenir des informations sur les besoins et exigences en environnements.

    SG 5 Obtenir un Engagement sur le Plan de test Les engagements sur le plan de test sont tablis et maintenus.

    SP 5.1 Revoir le plan de test

    Revoir le plan de test (et peut-tre d'autres plans) qui affectent le test pour atteindre et comprendre les engagements du test.

    Exemples de produits dactivit

    1. Rapport de revue du plan de test

    Sous-pratiques

    1. Organiser des revues avec les parties prenantes afin de faciliter leur comprhension des engagements du test.

    SP 5.2 Concilier les niveaux de travail et de ressources

    Ajuster le plan de test pour concilier adapter les ressources disponibles et estimes.

    Exemples de produits dactivit

    1. Approche de test rvise et paramtres d'estimation correspondants

    2. Budgets de test rengocis

    3. Calendriers de test rviss

    4. Liste des risques produit rvise

    5. Accords rengocis avec les parties prenantes

    Sous-pratiques

    1. Discuter des diffrences entre les estimations et les ressources disponibles avec les parties prenantes

  • TMMi niveau 2 Planification du Test

    2012 TMMi Foundation. Parution 1.0 Page 45 sur 231

    2. Concilier toutes les diffrences entre les estimations et les ressources disponibles

    Notez que la conciliation est gnralement accomplie en abaissant ou en diffrant les performances techniques, en ngociant plus de ressources, en trouvant des moyens d'accrotre la productivit, en modifiant le champ d'application du projet, par exemple en supprimant des fonctionnalits, en externalisant, en ajustant lventail des comptences du personnel, ou en rvisant le calendrier.

    SP 5.3 Obtenir des engagements sur le plan de test

    Obtenir des engagements des parties prenantes concernes, responsables de l'excution et du soutien du plan de test.

    Exemples de produits dactivit

    1. Demandes dengagements documentes

    2. Engagements documents

    Sous-pratiques

    1. Identifier le soutien ncessaire et ngocier des engagements pour ce soutien avec les parties prenantes concernes

    Notez que le WBS peut tre utilis comme une checklist pour s'assurer que les engagements sont obtenus pour toutes les tches. Le plan d'interaction des parties prenantes doit identifier toutes les parties qui doivent sengager.

    2. Documenter tous les engagements de l'organisation, la fois les fermes et les provisoires

    3. Revoir les engagements internes avec la direction quand cest ncessaire

    4. Revoir les engagements extrieurs avec la direction quand cest ncessaire

    Pratiques Gnriques par Objectifs

    GG 2 Institutionnaliser un Processus Disciplin

    GP 2.1 Etablir une politique organisationnelle

    Etablir et maintenir une politique organisationnelle pour la planification et l'excution du processus Planification du Test.

    Elaboration

    La politique de planification du test spcifie gnralement :

    Chaque projet dfinira un plan de test qui comprend une approche de test et les charges et estimations de test affrentes

    Lapproche de test de chaque projet sera drive de la stratgie de test

    Les plans de test doivent tre dvelopps en utilisant un processus standard et un modle

    Des outils standards seront utiliss lors de l'excution du plan de test

    Les exigences seront utilises comme base pour les activits de planification du test

    Les engagements du test seront ngocis avec la gestion des ressources, la gestion d'entreprise et la gestion de projet

    Toute implication d'autres groupes concerns dans les activits de test doit tre expressment approuve par ces groupes

    La direction reverra tous les engagements de tests donns des groupes externes l'organisation

    Le plan de test sera gr et contrl

  • TMMi niveau 2 Planification du Test

    2012 TMMi Foundation. Parution 1.0 Page 46 sur 231

    GP 2.2 Planifier le processus

    tablir et maintenir le plan dexcution du processus Planification du Test.

    Elaboration

    En rgle gnrale, le plan dexcution du processus de Planification du Test est inclus dans le plan projet, qui est dcrit dans le domaine de processus CMMI Planification de Projet.

    GP 2.3 Fournir les ressources

    Fournir des ressources adquates pour excuter le processus Planification du Test, en dveloppant les produits dactivit du test, et en fournissant les services dfinis par le processus.

    Elaboration

    Une affectation documente et approuve existe pour le test. Cette affectation couvre gnralement les enjeux et les attentes concernant les objectifs, les critres de sortie, les lments et les caractristiques tester et ne pas tester, le type de test effectuer, les normes imposes, le cot, le calendrier et les contraintes en termes de ressources.

    Un temps suffisant est allou la gestion du test pour accomplir les activits de planification du test

    Des personnes exprimentes, possdant une expertise dans le domaine d'application de l'objet de test et des personnes ayant une expertise dans le processus de dveloppement sont disponibles pour soutenir la cration du plan de test

    Des outils pour appuyer le processus de planification du test sont disponibles

    Exemples doutils :

    Outils de gestion et de planification de projet

    Outils d'estimation

    Outils d'valuation des risques

    Outils de gestion des tests

    Outils de gestion de la configuration

    GP 2.4 Attribuer les responsabilits

    Attribuer la responsabilit et l'autorit pour excuter le processus Planification du Test, dvelopper les produits dactivit, et fournir les services du processus Planification du Test.

    Elaboration

    Un test manager est gnralement dsign comme responsable pour ngocier les engagements et dvelopper le plan de test. Le test manager, soit directement, soit par dlgation, coordonne le processus planification du test du projet.

    GP 2.5 Former les personnes

    Former les personnes excutant ou assistant le processus Planification du Test en fonction des besoins.

    Elaboration

    La gestion des tests et les autres personnes ou groupes, impliqus dans la planification du test, sont forms la planification du test et aux procdures et techniques associes.

    Exemples de thmes de formation :

    Principes de la planification

    Stratgie de test

    Processus et techniques d'valuation des risques produit et projet

  • TMMi niveau 2 Planification du Test

    2012 TMMi Foundation. Parution 1.0 Page 47 sur 231

    Dfinition dune approche de test

    Modles et standards de plans de test

    Organisation de test

    Estimation du test et planification du test

    Introduction aux techniques de conception des tests

    Outils daide la planification du test

    GP 2.6 Grer en configuration

    Placer des produits dactivit du processus Planification du Test sous les niveaux appropris de gestion de configuration.

    Elaboration Exemples de produits dactivit placs en gestion de configuration :

    Structure de dcomposition du travail

    Donnes d'estimation de test

    Donnes d'valuation des risques produit

    Le rapport de revue du plan de test

    Plan de test

    GP 2.7 Identifier et impliquer les parties prenantes concernes

    Identifier et impliquer les parties prenantes concernes dans le processus Planification du Test comme prvu.

    Elaboration

    Slectionner les parties prenantes concernes parmi les clients, les utilisateurs finaux, les dveloppeurs, les producteurs, les testeurs, les fournisseurs, le marketing, la maintenance, le personnels de service et toute autre catgorie qui pourrait tre affecte par, ou pourrait affecter le produit, ainsi que le processus de test.

    Exemples d'activits pour l'implication des parties prenantes :

    Slection du produit et des composants du produit tester

    Participer l'valuation des risques produit en identifiant le niveau et les types de risques du produit et des composants du produit tester

    Fournir des donnes pour les estimations de test

    Revoir et rsoudre les problmes lis aux risques du projet de test

    Explicitement affecter les ressources de test en fonction des besoins

    Revoir et approuver le plan de test

    GP 2.8 Surveiller et contrler le processus

    Surveiller et contrler le processus Planification du Test par rapport au plan dexcution du processus et prendre les mesures appropries.

    Elaboration Exemples de mesures utilises dans la surveillance et le contrle du processus planification du test :

    Nombre de rvisions du plan de test

    Dlais et efforts rels dpenss par rapport aux dlais et aux efforts prvus dans le plan de test

  • TMMi niveau 2 Planification du Test

    2012 TMMi Foundation. Parution 1.0 Page 48 sur 231

    Nombre d'artefacts de tests pour lesquels le niveau de risque a t modifi chaque rvision

    Ecarts de cots, de dlais et defforts pour chaque rvision du plan

    GP 2.9 Evaluer la conformit de manire objective

    Evaluer de manire objective la conformit du processus Planification du Test et des produits dactivit slectionns par rapport la description du processus, aux standards et procdures, et traiter toute non-conformit.

    Elaboration Exemples de sujets de revue et/ou d'audit pour lvaluation de la conformit :

    Conformit la stratgie de test

    Conformit aux normes (procdures et modles)

    Qualit du plan de test

    Approche de test dfinie

    Processus d'valuation des risques

    Processus d'estimation de test

    Activits pour la revue et la ralisation des engagements du test

    GP 2.10 Passer en revue le statut avec la hirarchie

    Passez en revue les activits, ltat et les rsultats du processus Planification du Test avec la hirarchie et rsoudre les problmes.

    GG 3 Institutionnaliser un Processus Ajust Ne s'applique qu'au niveau TMMi 3.

    GP 3.1 Etablir un processus ajust

    Etablir et maintenir la description d'un processus Planification du Test ajust.

    GP 3.2 Recueillir des informations sur l'amlioration

    Recueillir les expriences lies au processus dcoulant de la planification et de l'excution du processus Planification du Test pour soutenir l'utilisation future et l'amlioration des processus et des actifs de processus de l'organisation.

    Elaboration Exemples de mesures :

    Pourcentage de plans de test mis en place conformment la procdure et au modle

    Pourcentage de plans de test ayant des rsultats d'valuation des risques produit documents et une approche de test

    Pourcentage de plans de test formellement revus et approuvs par la hirarchie

    Planification de leffort de test

    Prcision de l'estimation de test

  • TMMi niveau 2 Surveillance et Contrle du Test

    2012 TMMi Foundation. Parution 1.0 Page 49 sur 231

    PA 2.3 Surveillance et Contrle du Test

    Intention Lintention de Surveillance et Contrle des Tests est de fournir une comprhension de lavancement du test et de la qualit des produits afin que les mesures correctives appropries puissent tre prises lorsque lavancement du test s'carte sensiblement du plan ou que la qualit du produit s'carte sensiblement des attentes.

    Notes Introductives Lavancement du test et la qualit des produits doivent tre tous les deux surveills et contrls. Lavancement du test est surveill en comparant l'tat rel des produits (dactivit) de test, des tches (y compris leurs attributs), de leffort, des cots et du calendrier ce qui est indiqu dans le plan de test. La qualit du produit est surveille au moyen d'indicateurs tels que les risques produit attnus, le nombre de dfauts dtects, le nombre de dfauts ouverts, et le statut par rapport aux critres de sortie du test.

    La surveillance implique le recueil des donnes requises (brutes), par exemple, du registre de test et des rapports dincidents de test, la revue des donnes brutes pour vrifier leur validit et le calcul des progrs dfinis et des mesures de la qualit des produits. Des rapports de synthse de test devraient tre crits sur une base priodique et vnementielle, pour fournir une comprhension commune sur lavancement du test et la qualit du produit. Comme Le test est la mesure de la qualit du produit [Hetzel], les pratiques concernant les rapports sur la qualit des produits sont la cl de la russite de ce domaine de processus.

    Des actions correctives appropries devraient tre prises lorsque lavancement du test s'carte du plan ou que la qualit du produit s'carte des attentes. Ces actions peuvent ncessiter une re-planification, ce qui peut inclure la rvision du plan original ou des activits de compensation supplmentaires bases sur le plan actuel. Les actions correctives qui influencent le plan initial valid devraient tre approuves par les parties prenantes.

    Une partie essentielle de la surveillance et du contrle du test est la gestion des risques du projet de test. La gestion des risques du projet de test sert identifier et rsoudre ds que possible les problmes majeurs qui minent le plan de test. Lors de la gestion des risques projet, il est galement important d'identifier les problmes qui sont au-del de la responsabilit du test. Par exemple, les rductions budgtaires de l'organisation, le retard des produits du dveloppement ou lajout/modification de fonctionnalits peuvent tous affecter significativement le processus de test. En s'appuyant sur les risques du projet de test dj documents dans le plan de test, les risques du projet de test sont surveills et contrls et des actions correctives sont dclenches en fonction des besoins.

    Champ dApplication Le domaine de processus Surveillance et Contrle du Test implique la surveillance de lavancement du test et de la qualit du produit par rapport aux estimations documentes, aux engagements, aux plannings et aux exigences, la fourniture de rapports sur lavancement du test et la qualit du produit aux parties prenantes, la prise de mesures de contrle (par exemple, des actions correctives, si ncessaire) et la gestion des actions correctives jusqu leur terme.

    Rsum des Objectifs et Pratiques Spcifiques SG 1 Surveiller lAvancement du Test par rapport au Plan

    SP 1.1 Surveiller les paramtres de planification du test

    SP 1.2 Surveiller les ressources de l'environnement de test fournies et utilises

    SP 1.3 Surveiller les engagements du test

    SP 1.4 Surveiller les risques du projet de test

    SP 1.5 Surveiller limplication des parties prenantes

    SP 1.6 Mener des revues d'avancement du test

    SP 1.7 Mener des revues de jalons davancement du test

    SG 2 Surveiller la Qualit du Produit par rapport au Plan et aux Attentes

    SP 2.1 Vrifier les critres d'entre

  • TMMi niveau 2 Surveillance et Contrle du Test

    2012 TMMi Foundation. Parution 1.0 Page 50 sur 231

    SP 2.2 Surveiller les dfauts

    SP 2.3 Surveiller les risques produit

    SP 2.4 Surveiller les critres de sortie

    SP 2.5 Surveiller les critres de suspension et de reprise

    SP 2.6 Mener des revues de la qualit du produit

    SP 2.7 Mener des revues de jalons de la qualit produit

    SG 3 Grer les Actions Correctives jusqu leur Terme

    SP 3.1 Analyser les problmes

    SP 3.2 Prendre des mesures correctives

    SP 3.3 Grer les mesures correctives

    Pratiques Spcifiques par Objectif

    SG 1 Surveiller lAvancement du Test par rapport au Plan Lavancement et la performance rels du test sont surveills et compars aux valeurs du plan de test.

    SP 1.1 Surveiller les paramtres de planification du test

    Surveiller les valeurs des paramtres de planification du test par rapport au plan de test.

    Exemples de produits dactivit

    1. Enregistrements de la performance du test

    2. Enregistrements des dviations significatives par rapport au plan

    Sous-pratiques

    1. Surveiller lavancement du test par rapport au calendrier des tests

    Exemples de suivi davancement :

    Mesurer priodiquement la ralisation effective des tches de test, des produits (dactivit) de test et des jalons de test

    Comparer la ralisation effective des tches de test, des produits (dactivit) de test et des jalons de test par rapport au calendrier des tests document dans le plan de test

    Identifier les carts significatifs par rapport au calendrier de test prvisionnel prsent dans le plan de test

    2. Surveiller le cot du test et la charge engage

    Exemples de suivi des cots et des charges :

    Mesurer priodiquement les cots rels des tests, les efforts engags et le personnel affect

    Comparer les valeurs relles du cot du test, de leffort et des ressources par rapport aux estimations documentes dans le plan de test

    Identifier les carts significatifs du cot du test, de la charge et des ressources par rapport au plan de test

    3. Surveiller les attributs des produits dactivits du test et des tches de test

    Reportez-vous au SP 3.3 Dterminer des estimations pour leffort et le cot du test du domaine de processus Planification du Test pour des informations sur les attributs des produits dactivits et des tches de test.

    Exemples de surveillance dattributs de produits dactivits de test et de tches de test :

    Mesurer priodiquement les attributs rels des produits dactivits et des tches de test, tels que

  • TMMi niveau 2 Surveillance et Contrle du Test

    2012 TMMi Foundation. Parution 1.0 Page 51 sur 231

    la taille ou la complexit

    Comparer les attributs rels des produits dactivits et des tches de test aux estimations documentes dans le plan de test

    Identifier les carts significatifs par rapport aux estimations contenues dans le plan de test

    4. Surveiller les connaissances et les comptences du personnel de test

    Exemples de surveillance des connaissances et des comptences :

    Mesurer priodiquement l'acquisition de connaissances et de comptences par le personnel de test

    Comparer la formation rellement dlivre par rapport celle documente dans le plan de test

    Identifier les carts significatifs par rapport aux estimations dans le plan de test

    Le ratio de dfauts rsolus par rapport aux dfauts trouvs

    5. Documenter les carts significatifs dans les paramtres du plan de test

    SP 1.2 Surveiller les ressources de l'environnement de test fournies et utilises

    Surveiller les ressources de l'environnement de test fournies et utilises par rapport celles qui sont dfinis dans le planning.

    Exemples de produits dactivit

    1. Mesure des ressources de l'environnement de test fournies et utilises

    2. Mesure des dviations significatives par rapport au plan

    Sous-pratiques

    1. Surveiller les ressources de l'environnement de test fournies par rapport au plan

    2. Surveiller l'utilisation relle des ressources de lenvironnement de test fournies par rapport au plan

    3. Identifier et documenter les carts significatifs par rapport aux estimations du plan

    SP 1.3 Surveiller les engagements du test

    Surveiller les engagements du test respects par rapport ceux identifis dans le plan de test.

    Exemples de produits dactivit

    1. Rapports des revues des engagements

    Sous-pratiques

    1. Revoir rgulirement les engagements (internes et externes)

    2. Identifier les engagements qui n'ont pas t satisfaits ou qui sont un risque lev de ne pas tre satisfait

    3. Documenter les rsultats des revues des engagements.

    SP 1.4 Surveiller les risques du projet de test

    Surveiller les risques lis au projet de test par rapport ceux identifis dans le plan de test.

    Exemples de produits dactivit

    1. Liste des risques projet mise jour

    2. Rapports de suivi des risques projet

    Sous-pratiques

    1. Revoir priodiquement la documentation sur les risques lis au projet de test dans le contexte de la situation et des circonstances actuelles

  • TMMi niveau 2 Surveillance et Contrle du Test

    2012 TMMi Foundation. Parution 1.0 Page 52 sur 231

    2. Rviser la documentation des risques lis au projet de test, lorsque des informations complmentaires sont disponibles, pour intgrer tout changement

    3. Communiquer l'tat des risques du projet de test aux parties prenantes concernes

    SP 1.5 Surveiller limplication des parties prenantes

    Surveiller la participation des parties prenantes par rapport aux attentes dfinies dans le plan de test.

    Une fois les parties prenantes identifies et l'tendue de leur implication au sein du test spcifie dans le plan de test, cette participation doit tre surveille pour s'assurer que les interactions appropries se produisent.

    Exemples de produits dactivit

    1. Rapport de participation des parties prenantes

    Sous-pratiques

    1. Revoir priodiquement l'tat de l'implication des parties prenantes

    2. Identifier et documenter les problmes significatifs et leurs impacts

    3. Documenter les rsultats des revues de limplication des parties prenantes

    SP 1.6 Mener des revues d'avancement du test

    Revoir priodiquement lavancement, la performance et les problmes du test.

    Les revues davancement sont destines tenir les parties prenantes informes. Les revues sont souvent tenues en interne avec les membres de l'quipe de test et en externe avec les parties prenantes extrieures au test. Ces revues sont gnralement des revues informelles organises rgulirement, par exemple, hebdomadairement, bi-hebdomadairement ou mensuellement.

    Exemples de produits dactivit

    1. Rapport davancement du test

    2. Rsultats documents des revues davancement du test, par exemple des comptes-rendus de runions d'avancement

    Sous-pratiques

    1. Recueillir et analyser les indicateurs de suivi davancement du test

    2. Communiquer rgulirement ltat de lavancement et de la performance du test aux parties prenantes

    Exemples de parties prenantes :

    Gestion de projet

    Gestion d'entreprise

    Membres de l'quipe de test

    3. Organiser rgulirement des revues davancement du test avec les parties prenantes

    4. Identifier, documenter et discuter des problmes et carts significatifs par rapport au plan de test

    5. Documenter les demandes de modification concernant les produits dactivit du test et les problmes majeurs identifis dans lavancement et les performances du test

    6. Documenter les rsultats des revues, par exemple, les dcisions prises

    SP 1.7 Mener des revues de jalons sur lavancement du test

    Passez en revue les ralisations et les progrs du test des jalons de test slectionns

    Les revues des jalons de test sont planifies au cours de la planification des tests et sont gnralement des revues formelles.

  • TMMi niveau 2 Surveillance et Contrle du Test

    2012 TMMi Foundation. Parution 1.0 Page 53 sur 231

    Exemples de produits dactivit

    1. Rapport de jalon de test

    2. Rsultats documents de la revue des jalons, par exemple, compte-rendu de la runion de revue

    Sous-pratiques

    1. Mener des revues d'avancement de test, avec les parties prenantes concernes, des jalons significatifs dans le plan de test, tels que l'achvement dtapes slectionnes

    2. Communiquer aux parties prenantes les ralisations et le statut de lavancement et des performances du test

    3. Revoir les engagements, le planning, le statut et les risques projet du test

    4. Revoir les ressources de l'environnement de test

    5. Identifier, documenter et discuter des problmes significatifs dans lavancement des tests et leurs impacts

    6. Documenter le rsultat des revues, les actions et les dcisions

    7. Mettre jour le plan de test pour reflter les ralisations et le dernier statut

    SG 2 Surveiller la Qualit du Produit par rapport au Plan et aux Attentes La qualit relle du produit est mesure par rapport la mesure de la qualit dfinie dans le plan et par rapport aux attentes en termes de qualit, par exemple, du client / utilisateur.

    SP 2.1 Vrifier les critres d'entre

    Au dbut de la phase d'excution des tests, vrifier le statut par rapport aux critres d'entre dfinis dans le plan de test.

    Exemples de produits dactivit

    1. Rapport de contrle des critres dentre

    Sous-pratiques

    1. Vrifier l'tat par rapport aux critres dentre dfinis dans le plan de test

    2. Identifier et documenter les carts significatifs par rapport aux critres d'entre et lancer des actions correctives

    SP 2.2 Surveiller les dfauts

    Surveiller les mesures de dfauts trouvs au cours des tests par rapport aux attentes.

    Exemples de produits dactivit

    1. Rapports de suivis des dfauts

    Sous-pratiques

    1. Surveiller les mesures relatives aux dfauts trouvs et le statut par rapport aux attentes

    Exemples dindicateurs de dfauts utiles [Burnstein] :

    Nombre total de dfauts (pour un composant, un sous-systme, un systme) non rgls chaque niveau de priorit dfini

    Nombre total de dfauts dtects au cours de la dernire itration de test chaque niveau de priorit dfini

    Nombre de dfauts rsolus / non rsolus (pour tous les niveaux de test)

    Nombre de dfauts constats pour chaque type de dfaut

    Nombre de dfauts causant des pannes dun niveau de gravit suprieur X

  • TMMi niveau 2 Surveillance et Contrle du Test

    2012 TMMi Foundation. Parution 1.0 Page 54 sur 231

    Nombre de dfauts/KLOC ( volume dincidents )

    Nombre rel de dfauts par rapport au nombre estim (bas sur des donnes historiques)

    2. Identifier et documenter les carts significatifs par rapport aux attentes de mesures concernant les dfauts trouvs

    SP 2.3 Surveiller les risques produit

    Surveiller les risques produit par rapport ceux identifis dans le plan de test.

    Exemples de produits dactivit

    1. Liste des risques des produits de test mise jour

    2. Rapports de suivis des risques produit

    Sous-pratiques

    1. Revoir priodiquement la documentation sur les risques lis aux produits dans le contexte de la situation et des circonstances actuelles et avec un ensemble slectionn de parties prenantes

    2. Surveiller les changements et ajouts aux exigences pour identifier les risques produit nouveaux ou modifis

    3. Rviser la documentation des risques lis aux produits lorsque des informations supplmentaires sont disponibles pour intgrer le changement de probabilit, d'impact et/ou de priorit

    4. Surveiller les risques lis aux produits attnus par les tests par rapports aux mesures d'attnuation indiques dans le plan

    5. Communiquer l'tat des risques produit aux parties prenantes concernes

    SP 2.4 Surveiller les critres de sortie

    Surveiller le statut des critres de sortie par rapport ceux identifis dans le plan de test.

    Exemples de produits dactivit

    1. Rapports de suivi des critres de sortie

    Sous-pratiques

    1. Surveiller les critres de sortie lis aux processus de test, par exemple, la couverture de test par rapport au plan

    2. Surveiller les critres de sortie lis la qualit des produits par rapport au plan

    3. Identifier et documenter les carts significatifs dans le statut des critres de sortie par rapport au plan

    SP 2.5 Surveiller les critres de suspension et de reprise

    Surveiller l'tat des critres de suspension et de reprise par rapport ceux identifis dans le plan de test.

    Exemples de produits dactivit

    1. Rapports de suivi des critres de suspension

    2. Rapports de suivi des critres de reprise

    Sous-pratiques

    1. Surveiller les critres de suspension par rapport ceux documents dans le plan de test

    2. Suspendre les tests si les critres de suspension sont vrifis et prendre des actions correctives

    3. Surveiller les critres de reprise en fonction de ceux documents dans le plan de test

  • TMMi niveau 2 Surveillance et Contrle du Test

    2012 TMMi Foundation. Parution 1.0 Page 55 sur 231

    4. Dmarrer la reprise des tests une fois que les problmes ont t rsolus en utilisant les critres de reprise dfinis

    SP 2.6 Mener des revues de la qualit du produit

    Revoir priodiquement la qualit du produit.

    Les revues de la qualit du produit sont conues pour tenir les parties prenantes informes. Les revues sont souvent ralises la fois en interne avec les membres de l'quipe de test et en externe avec les parties prenantes extrieures au test. Ces revues sont gnralement des revues informelles tenues rgulirement, par exemple, hebdomadaires, bihebdomadaires ou mensuelles.

    Exemples de produits dactivit

    1. Rapport de qualit du produit

    2. Rsultats documents des revues de la qualit du produit, par exemple, compte-rendu des runions qualit du produit

    Sous-pratiques

    1. Recueillir et analyser les indicateurs de suivi de la qualit du produit

    2. Communiquer rgulirement l'tat de la qualit du produit aux parties prenantes

    Exemples de parties prenantes :

    Gestion de projet

    Gestion d'entreprise

    Membres de l'quipe de test

    3. Organiser rgulirement des runions de revue de la qualit du produit avec les parties prenantes

    4. Identifier, documenter et discuter des problmes significatifs de qualit du produit et des carts par rapport aux attentes et au planning

    5. Documenter les rsultats des revues, par exemple, les dcisions prises

    SP 2.7 Mener des revues de jalons de la qualit produit

    Revoir le statut de la qualit produit des jalons de test slectionns.

    Les revues de jalons de la qualit produit sont planifies au cours de la planification des tests et sont gnralement des revues formelles.

    Exemples de produits dactivit

    1. Rapport de jalon de test

    2. Rsultats documents de la revue de jalon, par exemple, compte-rendu de la runion de revue

    Sous-pratiques

    1. Mener des revues de la qualit produit avec les parties prenantes des moments significatifs du calendrier des tests, tels que l'achvement dtapes slectionnes

    2. Communiquer l'tat de qualit du produit aux parties prenantes par l'intermdiaire d'un rapport de qualit produit formel

    Exemples d'lments d'un rapport qualit produit de test [daprs IEEE 829] :

    Identifiant (et la rfrence au plan de test)

    Synthse pour les dcideurs

    Ecarts (par rapport au planning)

    Evaluation complte

    Rsum des rsultats

  • TMMi niveau 2 Surveillance et Contrle du Test

    2012 TMMi Foundation. Parution 1.0 Page 56 sur 231

    Evaluation

    Rsum des activits

    Approbations

    3. Revoir le statut des incidents, des risques produit et des critres de sortie

    4. Identifier et documenter les problmes significatifs de la qualit du produit et leurs impacts

    5. Documenter les rsultats des revues, les actions et les dcisions

    6. Mettre jour le plan de test pour prendre en compte les ralisations et les dernires volutions

    SG 3 Grer les Actions Correctives jusqu leur Terme Des mesures correctives sont gres jusqu leur terme lorsque les progrs du test ou la qualit du produit s'cartent sensiblement du plan de test ou des attentes.

    SP 3.1 Analyser les problmes

    Recueillir et analyser les problmes et dterminer les actions correctives ncessaires pour y remdier.

    Exemples de produits dactivit

    1. Liste des problmes ncessitant des actions correctives

    Sous-pratiques

    1. Recueillir les problmes pour analyse

    Exemples de problmes recueillir :

    Ecarts significatifs entre les paramtres de planification des tests rels et ceux estims dans le plan de test

    Engagements nayant pas t satisfaits

    Changements significatifs dans les risques du projet de test, par exemple, possible retard de livraison et/ou mauvaise qualit des articles de test et/ou de l'objet du test

    Problmes de prsence ou dengagement des parties prenantes

    Ecarts significatifs dans la mise en place de lenvironnement de test par rapport au planning

    Nombre, niveau de svrit et de priorit des incidents trouvs

    Statut concernant les critres de sortie

    Changements significatifs dans les risques produit

    2. Analyser les problmes pour dterminer la ncessit d'une action corrective

    Notez quune action corrective est requise lorsque le problme, sil n'est pas rsolu, peut empcher le test ou mme le projet d'atteindre ses objectifs.

    SP 3.2 Prendre des mesures correctives

    Prendre les mesures correctives appropries pour les problmes identifis.

    Exemples de produits dactivit

    1. Plan dactions correctives

    Sous-pratiques

    1. Dterminer et documenter les mesures appropries prendre pour rsoudre les problmes identifis

    Exemples d'actions possibles :

  • TMMi niveau 2 Surveillance et Contrle du Test

    2012 TMMi Foundation. Parution 1.0 Page 57 sur 231

    Rengocier les engagements

    Ajouter des ressources

    Modifier la mthode de test

    Adapter les critres de sortie

    Reporter la date de sortie

    Modifier le primtre du projet, par exemple, livrer moins de fonctionnalits

    Notez que la plupart des actions numres ci-dessus conduiront la rvision du plan de test.

    2. Revoir les mesures prendre et obtenir un accord des parties prenantes

    3. Rengocier les engagements avec les parties prenantes (internes et externes)

    SP 3.3 Grer les mesures correctives

    Grer les mesures correctives jusqu leur terme.

    Exemples de produits dactivit

    1. Les rsultats de mesures correctives

    Sous-pratiques

    1. Surveiller les actions correctives jusqu leur terme

    2. Analyser les rsultats des actions correctives afin de dterminer leur efficacit

    Pratiques Gnriques par Objectifs

    GG 2 Institutionnaliser un Processus Disciplin

    GP 2.1 Etablir une politique organisationnelle

    Etablir et maintenir une politique organisationnelle pour la planification et l'excution du processus Surveillance et Contrle du Test.

    Elaboration

    La politique de surveillance et de contrle du test spcifie gnralement que :

    Un plan de test document est utilis et mis jour pour le suivi de lavancement du test

    Le suivi est effectu sur la base d'un ensemble de mesures lies au test

    Les tches du projet de test, les charges et les cots sont suivis tout au long du projet

    Des plans d'urgence sont labors en fonction des risques projet identifis

    La hirarchie et autres parties prenantes sont tenues informes de lavancement du test

    La hirarchie et autres parties prenantes sont tenues informes de la qualit du produit

    Des mesures correctives sont prises et gres jusqu leur fermeture lorsque lavancement du test s'carte significativement du planning ou que la qualit du produit s'carte sensiblement des attentes

    Les modifications majeures du plan de test sont revues par la hirarchie et les autres parties prenantes

    GP 2.2 Planifier le processus

    Etablir et maintenir le plan pour mettre en uvre le processus Surveillance et Contrle du Test.

  • TMMi niveau 2 Surveillance et Contrle du Test

    2012 TMMi Foundation. Parution 1.0 Page 58 sur 231

    Elaboration

    En rgle gnrale, le planning pour mettre en uvre le processus de surveillance et de contrle du test est inclus dans le plan de test, qui est dcrit dans le domaine de processus TMMi Planification de Test.

    GP 2.3 Fournir les ressources

    Fournir des ressources adquates pour mettre en uvre le processus Surveillance et Contrle du Test, dvelopper les produits dactivit de test, et fournir les services du processus.

    Elaboration

    Un plan de test par rapport auquel le test peut tre suivi et contrl est tabli

    Les test managers disposent de suffisamment de temps pour effectuer les activits de suivi et de contrle du test

    Des outils pour assister le processus de surveillance et de contrle du test sont disponibles

    Exemples doutils :

    Outils de gestion de projets et de suivi de lavancement

    Outils de gestion des risques

    Outils de gestion des incidents

    Outils de gestion des tests

    GP 2.4 Attribuer les responsabilits

    Assigner la responsabilit et l'autorit pour mettre en uvre le processus Surveillance et Contrle du Test, dvelopper les produits dactivit de test, et fournir les services de ce processus.

    Elaboration

    Gnralement, un test manager est dsign comme responsable de la surveillance et du contrle des tests. Le test manager, directement ou par dlgation, coordonne le processus de test du projet.

    Exemples de responsabilits de surveillance et de contrle affecter :

    Surveiller et contrler les cots, la charge et le calendrier des tests

    Surveiller et contrler les risques du projet de test

    Surveiller et contrler les risques produit et la qualit du produit

    Rapport sur lavancement du test et la qualit des produits

    Initier des actions correctives en cas de dviation significative de lavancement du test par rapport au plan de test

    Prendre des mesures correctives lorsque la qualit du produit s'carte sensiblement des attentes

    GP 2.5 Former les personnes

    Former les personnes qui mettent en uvre ou soutiennent le processus Surveillance et Contrle du Test quand cest ncessaire.

    Elaboration

    Les test managers, et les autres individus ou groupes impliqus dans la surveillance et le contrle du test, sont forms la surveillance et au contrle des tests ainsi quaux procdures et techniques qui sy rapportent.

    Exemples de thmes de formation :

    Les fondamentaux de la gestion de projet

  • TMMi niveau 2 Surveillance et Contrle du Test

    2012 TMMi Foundation. Parution 1.0 Page 59 sur 231

    Gestion des tests

    Suivi de la qualit des produits, de la charge, du cot et du planning

    Gestion des Risques

    Rapports de test

    Planification d'urgence

    GP 2.6 Grer en configuration

    Placer les produits dactivits slectionns du processus Surveillance et Contrle du Test sous le niveau appropri de gestion de la configuration.

    Elaboration Exemples de produits dactivits placs en gestion de configuration :

    Calendrier du test avec ltat davancement

    Donnes et analyse de mesure du test

    Rapports de test

    GP 2.7 Identifier et impliquer les parties prenantes concernes

    Identifier et impliquer les parties prenantes du processus Surveillance et Contrle du Test tel que planifi.

    Elaboration Exemples d'activits pour l'implication des parties prenantes :

    Evaluer la performance des tests par rapport au plan de test

    Revoir les engagements et rsoudre les problmes

    Revoir les risques produit et les risques du projet de test

    Revoir les activits de gestion des donnes de test

    Revoir lavancement du test et la qualit produit

    Grer les actions correctives jusqu leur terme

    Notez que cette pratique gnrique ne couvre que la participation des parties prenantes pertinentes dans la surveillance et le contrle des tests.

    GP 2.8 Surveiller et contrler le processus

    Surveiller et contrler le processus Surveillance et Contrle du test par rapport au plan de mise en uvre du processus et prendre les mesures appropries.

    Elaboration Exemples de mesures utilises dans la surveillance et le contrle du processus de surveillance et de contrle du test :

    Nombre dactions correctives ouvertes et fermes

    Nombre de types de revues par les pairs ralises

    Revue du calendrier (dates planifies par rapport aux dates relles et dcales)

    Notez que cette pratique gnrique ne couvre que la surveillance et le contrle des activits de surveillance et de contrle du test.

  • TMMi niveau 2 Surveillance et Contrle du Test

    2012 TMMi Foundation. Parution 1.0 Page 60 sur 231

    GP 2.9 Evaluer la conformit de manire objective

    Evaluer de manire objective la conformit du processus Surveillance et Contrle du Test et des produits dactivits slectionns en fonction de la description du processus, des normes et des procdures, et traiter toutes les non-conformits.

    Elaboration Exemples de thmes de revue et/ou d'audit de conformit :

    Suivi de lavancement du test par rapport au plan de test

    Gestion des actions correctives jusqu leur terme

    Performance de la gestion des risques du projet de test

    Conformit aux normes (procdures et modles)

    Rapports de test et de qualit

    Revue des rsultats

    GP 2.10 Passer en revue le statut avec la hirarchie

    Passez en revue les activits, la situation et les rsultats du processus Surveillance et Contrle du Test avec la hirarchie et traiter les problmes.

    GG 3 Institutionnaliser un Processus Ajust Ne s'applique qu'au niveau TMMi 3.

    GP 3.1 Etablir un processus ajust

    Etablir et maintenir la description d'un processus Surveillance et Contrle du Test ajust.

    GP 3.2 Recueillir des informations sur l'amlioration

    Recueillir les expriences lies au processus dcoulant de la planification et de l'excution du processus Surveillance et Contrle du Test pour soutenir l'utilisation future et l'amlioration des processus de l'organisation et des actifs de processus.

    Elaboration Exemples de mesures :

    Pourcentage de projets utilisant le modle de rapport de test

    Pourcentage de jalons de test passs au travers dune revue formelle

    Pourcentage des actions correctives fermes en moins de X jours

  • TMMi niveau 2 Conception et Excution des Tests

    2012 TMMi Foundation. Parution 1.0 Page 61 sur 231

    PA 2.4 Conception et Excution des Tests

    Intention Lobjectif de la Conception et Excution des Tests est d'amliorer la performance du processus de test lors de la conception et de l'excution des tests en tablissant des spcifications de conception de tests, en utilisant des techniques de conception de tests, en appliquant un processus d'excution des tests structur et en grant les incidents de test jusqu leur clture.

    Notes Introductives Un test structur implique que des techniques de conception de tests sont appliques, ventuellement soutenues par des outils. Les techniques de conception des tests sont utilises pour driver et slectionner les conditions de test et pour concevoir les cas de test partir des exigences et des spcifications de conception. Les conditions de test et les cas de test sont documents dans une spcification des tests. Un cas de test se compose de la description des valeurs d'entre, de prconditions lexcution, de rsultats attendus et de post conditions lexcution. A un stade ultrieur, lorsque davantage dinformation est disponible sur limplmentation, les cas de test sont convertis en procdures de test. Dans une procdure de test, aussi appele script de test manuel, les actions et vrifications spcifiques du test sont ordonnes suivant une squence excutable. Des donnes de test spcifiques, ncessaires pour tre en mesure d'excuter la procdure de test, sont cres. Les tests seront ensuite excuts en utilisant ces procdures de test.

    Les activits de conception et dexcution des tests suivent l'approche de test telle que dfinie dans le plan de test. Les techniques spcifiques de conception de test appliques (par exemple, bote noire, bote blanche ou bases sur lexprience) reposent sur le niveau et le type de risques produit identifis lors de la planification des tests.

    Pendant la phase d'excution des tests, des incidents sont dcouverts et des rapports d'incidents sont crits. Les incidents sont enregistrs l'aide d'un systme de gestion des incidents et sont communiqus aux parties prenantes suivant un protocole tabli. Un systme basique de classification des incidents est tabli pour la gestion des incidents, et une procdure est mise en place pour grer le processus de cycle de vie des incidents, y compris la gestion de chaque incident jusqu sa fermeture.

    Champ dApplication Le domaine de processus Conception et Excution des Tests porte sur la phase de prparation des tests, y compris l'application de techniques de conception de tests pour driver et slectionner les conditions de test et les cas de test. Il aborde galement la cration de donnes de test spcifiques, l'excution des tests en utilisant les procdures de test documentes et la gestion des incidents.

    Rsum des Objectifs et Pratiques Spcifiques SG 1 Analyser et Concevoir les Tests en utilisant des Techniques de Conception de Tests

    SP 1.1 Identifier et prioriser les conditions de test

    SP 1.2 Identifier et prioriser les cas de test

    SP 1.3 Identifier les donnes de test spcifiques ncessaires

    SP 1.4 Maintenir une traabilit horizontale avec les exigences

    SG 2 Implmenter les Tests

    SP 2.1 Dvelopper et prioriser les procdures de test

    SP 2.2 Crer des donnes de test spcifiques

    SP 2.3 Spcifier la procdure de test dadmission

    SP 2.4 Planifier l'excution des tests

    SG 3 Excuter les Tests

    SP 3.1 Effectuer un test dadmission

    SP 3.2 Excuter les cas de test

    SP 3.3 Signaler les incidents de test

  • TMMi niveau 2 Conception et Excution des Tests

    2012 TMMi Foundation. Parution 1.0 Page 62 sur 231

    SP 3.4 Ecrire un registre de test

    SG 4 Grer les Incidents de Test jusqu leur Clture

    SP 4.1 Prendre des dispositions concernant les incidents de test dans un comit de contrle de la configuration

    SP 4.2 Effectuer les actions appropries pour clturer les incidents de test

    SP 4.3 Suivre le statut des incidents de test

    Pratiques Spcifiques par Objectifs

    SG 1 Analyser et Concevoir les Tests en utilisant des Techniques de Conception de Tests Pendant lanalyse et la conception des tests, l'approche de test engendre des conditions de test et des cas de test concrets grce lutilisation de techniques de conception de tests.

    SP 1.1 Identifier et prioriser les conditions de test Les conditions de test sont identifies et hirarchises en utilisant des techniques de conception de tests, partir dune analyse des articles de test spcifis dans la base de test.

    Exemples de produits dactivit

    1. Journal des anomalies de la base de test

    2. Conditions de test

    3. Spcifications de conception de tests

    Sous-pratiques

    1. Etudier et analyser la base de test (comme les exigences, l'architecture, les spcifications de la conception et de linterface)

    2. Discuter des problmes relatifs la base de test avec le propritaire du document

    3. Slectionnez les techniques de conception de tests les plus appropries en ligne avec l'approche de test documente

    Exemples de techniques de conception de tests bote noire :

    Partitions d'quivalence

    Analyse des valeurs limites

    Tables de dcision (Graphique Cause/Effet)

    Test de transition d'tat

    Exemples de techniques de conception de tests bote blanche :

    Test des instructions

    Test des dcisions (Branches)

    Test des conditions

    Notez qu'en plus des techniques bote noire et bote blanche, des techniques bases sur l'exprience telles que le test exploratoire peuvent galement tre utilises ce qui revient documenter la spcification de conception de tests au travers d'une charte de tests.

    Gnralement, plusieurs techniques de conception de tests sont choisies par niveau de test afin de pouvoir diffrencier l'intensit de test, par exemple, le nombre de cas de test, sur la base du niveau de risque des articles de test. En plus d'utiliser le niveau de risque pour prioriser les tests, d'autres facteurs influent sur le choix des techniques de conception de tests tels que le cycle de vie du dveloppement, la qualit de la base de test, les comptences et les connaissances des testeurs, les exigences contractuelles et les normes imposes.

  • TMMi niveau 2 Conception et Excution des Tests

    2012 TMMi Foundation. Parution 1.0 Page 63 sur 231

    4. Dduire les conditions de test de la base de test en utilisant des techniques de conception de tests

    5. Prioriser les conditions de test sur la base des risques produit identifis

    6. Documenter les conditions de test dans une spcification de conception de tests, sur la base du modle de spcification de conception de test

    Exemples d'lments d'une spcification de conception de test [daprs IEEE 829] :

    Identifiant de la spcification de conception de test

    Articles et/ou fonctionnalits tester

    Affinage de lapproche

    Conditions de test

    Critres de russite/chec

    7. Revoir les spcifications de conception de tests avec les parties prenantes

    8. Rviser les spcifications de conception de tests et les conditions de test selon le cas, par exemple, lorsque les exigences changent.

    SP 1.2 Identifier et prioriser les cas de test Les cas de test sont identifis et prioriss en utilisant des techniques de conception de tests.

    Exemples de produits dactivit

    1. Cas de test

    2. Spcification de cas de test

    Sous-pratiques

    1. Driver les cas de test des conditions de test en utilisant des techniques de conception de tests. Un cas de test se compose dun ensemble de valeurs d'entre, de prconditions d'excution, de rsultats attendus et de post conditions dexcution.

    2. Prioriser les cas de test en fonction des risques produit identifis

    3. Documenter les cas de test dans une spcification des cas de test, sur la base du standard de spcification de conception de test

    Exemples d'lments d'une spcification de cas de test [daprs IEEE 829] :

    Identifiant de la spcification de cas de test

    Articles et/ou fonctionnalits tester

    Spcifications d'entre

    Spcifications de sortie

    Besoins environnementaux

    Exigences procdurales spciales

    Dpendances entre cas de test

    4. Revoir les spcifications de cas de test avec les parties prenantes

    5. Rviser les spcifications de cas de test, si ncessaire

    SP 1.3 Identifier les donnes de test spcifiques ncessaires Les donnes de test spcifiques ncessaires pour soutenir les conditions de test et l'excution de cas de test sont identifies.

  • TMMi niveau 2 Conception et Excution des Tests

    2012 TMMi Foundation. Parution 1.0 Page 64 sur 231

    Exemples de produits dactivit

    1. Spcification des donnes de test

    Sous-pratiques

    1. Identifier et spcifier les donnes de tests spcifiques ncessaires pour mettre en uvre et excuter les cas de test

    2. Documenter les donnes de test spcifiques ncessaires, ventuellement dans le cadre de la spcification des cas de test

    SP 1.4 Maintenir une traabilit horizontale avec les exigences La traabilit entre les exigences et les conditions de test est tablie et maintenue.

    Exemples de produits dactivit

    1. Matrice de traabilit exigences/conditions de test

    Sous-pratiques

    1. Maintenir la traabilit des exigences pour s'assurer que la source des conditions de test est documente

    2. Gnrer une matrice de traabilit exigences/conditions de test

    3. Etablir la matrice de traabilit de telle manire que le suivi de la couverture des exigences soit facilit au cours de l'excution des tests

    SG 2 Implmenter les Tests Au cours de limplmentation des tests, les procdures de test sont dveloppes et priorises, y compris le test dadmission. Les donnes de test sont cres, et le calendrier d'excution des tests est dfini lors de cette phase.

    SP 2.1 Dvelopper et prioriser les procdures de test Les procdures de tests sont dveloppes et priorises.

    Exemples de produits dactivit

    1. Spcification dune procdure de test

    2. Script de test automatis

    Sous-pratiques

    1. Elaborer des procdures de test en combinant les cas de test dans un ordre particulier et en incluant toute autre information ncessaire l'excution des tests

    2. Prioriser les procdures de test sur la base des risques produit identifis

    3. Documenter les procdures de test dans une spcification de procdure de test, sur la base du modle de spcification de procdures de test

    Exemples d'lments d'une spcification de procdure de test [daprs IEEE 829] :

    Identifiant de la spcification de procdure de test

    Objectif

    Exigences particulires (prconditions d'excution), par exemple, des dpendances avec d'autres procdures de test

    Etapes de la procdure (actions de test et vrifications)

    4. Revoir les spcifications des procdures de tests avec les parties prenantes

    5. Rviser les spcifications des procdures de test, le cas chant

    6. Optionnellement, les procdures de test peuvent tre automatises et traduites en scripts de test automatiss

  • TMMi niveau 2 Conception et Excution des Tests

    2012 TMMi Foundation. Parution 1.0 Page 65 sur 231

    SP 2.2 Crer des donnes de test spcifiques Les donnes de test spcifiques sont cres, telles que spcifies lors de l'analyse et de la conception des tests.

    Exemples de produits dactivit

    1. Donnes de test spcifiques

    Sous-pratiques

    1. Crer les donnes de test spcifiques ncessaires pour effectuer les tests comme spcifi dans les procdures de test

    2. Archiver les jeux de donnes de test spcifiques pour permettre une restauration de la situation initiale dans le futur

    Reportez-vous au SP 3.2 Grer les donnes de test du domaine de processus Environnement de Test pour grer les donnes de test cres.

    SP 2.3 Spcifier la procdure de test dadmission Le test d'admission est spcifi. Ce test, parfois appel test de confiance ou test fumigatoire est utilis pour dcider au dbut de l'excution du test si l'objet du test est prt pour des tests plus pousss.

    Exemples de produits dactivit

    1. Checklist d'admission

    2. Spcification de la procdure de test d'admission

    Sous-pratiques

    1. Dfinir une liste de vrifications faire lors du test d'admission l'aide des critres dentre tels que dfinis dans le plan de test

    Exemples de vrifications d'un test d'admission :

    Toutes les fonctions majeures ncessaires sont accessibles

    Des fonctions reprsentatives sont accessibles et oprationnelles au moins pour ce qui concerne le chemin positif

    Les interfaces avec les autres composants ou systmes qui seront tests fonctionnent

    La documentation est complte pour les fonctionnalits disponibles, par exemple, note de version de test, manuel utilisateur, manuel d'installation

    2. Dvelopper la procdure de test d'admission sur la base des contrles identifis en mettant les contrles (cas de test) dans un ordre excutable et en incluant toute autre information ncessaire pour l'excution des tests

    3. Documenter les procdures de tests d'admission dans une spcification de procdure de test, sur la base du modle de spcification de procdure de test

    4. Revoir les spcifications de procdure de test d'admission avec les parties prenantes

    SP 2.4 Planifier l'excution des tests Un planning d'excution des tests est mis en place et dcrit la squence dans laquelle les procdures de test seront excutes.

    Exemples de produits dactivit

    1. Planning d'excution des tests

    Sous-pratiques

    1. Analyser les dpendances entre les procdures de test

    2. Planifier les procdures de test en utilisant principalement leur niveau de priorit

    3. Affecter un testeur l'excution d'une procdure de test

  • TMMi niveau 2 Conception et Excution des Tests

    2012 TMMi Foundation. Parution 1.0 Page 66 sur 231

    4. Revoir le planning d'excution des tests avec les parties prenantes

    5. Rviser le planning d'excution des tests si ncessaire

    SG 3 Excuter les tests Les tests sont excuts conformment aux procdures et plannings de test spcifis prcdemment. Les incidents sont enregistrs et des journaux de test sont rdigs.

    SP 3.1 Effectuer un test dadmission Effectuer le test d'admission (test de confiance) pour dcider si l'objet du test est prt pour des tests plus pousss.

    Exemples de produits dactivit

    1. Journal de test d'admission

    2. Rapports d'incidents

    Sous-pratiques

    1. Effectuer le test d'admission (test de confiance) en utilisant la procdure de test d'admission documente pour dcider si l'objet du test est prt pour des tests plus pousss

    2. Documenter les rsultats du test d'admission au moyen d'un registre de test, sur la base du modle de registre de test

    3. Enregistrer des incidents lorsquune divergence est observe

    Notez que cette pratique est fortement lie la pratique SP 2.4 Effectuer un test d'admission sur lenvironnement de test du domaine de processus Environnement de Test. Les tests d'admission sur l'objet du test et sur l'environnement de test peuvent ventuellement tre combins.

    SP 3.2 Excuter les cas de test Selon le planning d'excution dfini, les cas de test sont excuts manuellement en utilisant les procdures de test documentes et/ou via l'automatisation des tests en utilisant des scripts de test prdfinis.

    Exemples de produits dactivit

    1. Rsultats des tests

    Sous-pratiques

    1. Excuter les cas de test en utilisant des procdures de test documentes et/ou des scripts de test

    2. Enregistrer les rsultats rels

    3. Comparer les rsultats rels aux rsultats attendus

    4. Rpter les activits de test aprs la rception d'un correctif ou d'une modification en effectuant un retest (test de confirmation)

    5. Effectuer des tests de rgression, si ncessaire

    Notez que certains tests seront effectus de manire informelle sans utiliser de procdures de test prdfinies, par exemple, lors de tests exploratoires ou par estimation derreur.

    SP 3.3 Signaler les incidents de test Les divergences entre les rsultats rels et prvus sont enregistrs comme des incidents de test.

    Exemples de produits dactivit

    1. Rapports d'incidents de test

    Sous-pratiques

    1. Enregistrer un incident de test lorsquune divergence est observe.

    2. Analyser l'incident de test pour de plus amples informations sur le problme

  • TMMi niveau 2 Conception et Excution des Tests

    2012 TMMi Foundation. Parution 1.0 Page 67 sur 231

    3. Etablir la cause de l'incident de test, par exemple, le systme sous test, la documentation de test, les donnes de test ou une erreur dans l'excution du test

    4. Attribuer un niveau initial de priorit et de svrit l'incident de test

    5. Signaler formellement l'incident de test en utilisant un systme de classification des incidents

    Exemples d'lments d'un rapport d'incident de test [daprs IEEE 829] :

    Identifiant du rapport dincident de test

    Rsum

    Description de l'incident (entres, rsultats attendus, rsultats obtenus, anomalies, date et l'heure, tape de la procdure de test, environnement, tentatives de rptition, testeurs, observateurs)

    Niveau de priorit

    Niveau de svrit

    6. Revoir le rapport d'incident de test avec les parties prenantes

    7. Enregistrer les incidents de test dans un rfrentiel central

    SP 3.4 Ecrire un registre de test Les journaux de test sont crits pour fournir un enregistrement chronologique des informations pertinentes sur l'excution des tests.

    Exemples de produits dactivit

    1. Journaux de test

    Sous-pratiques

    1. Collecter les donnes d'excution des tests

    2. Documenter les donnes d'excution de test par l'intermdiaire d'un registre de test, sur la base du modle de registre de test

    Exemples d'lments d'un registre de test [daprs IEEE 829] :

    Identifiant du registre de test

    Description (lments en cours de test, environnement dans lequel les tests ont t excuts)

    Activits et vnements (description de lexcution, rsultats du test, vnements anormaux, identifiants de rapports d'incidents)

    3. Revoir le registre de test avec les parties prenantes

    SG 4 Grer les Incidents de Test jusqu leur Clture Les incidents de test sont grs et rsolus comme il convient.

    SP 4.1 Prendre des dispositions concernant les incidents de test dans un comit de contrle de la configuration Les mesures appropries concernant les incidents de test sont prises dans le cadre dun comit de matrise de la configuration.

    Exemples de produits dactivit

    1. Compte-rendu de runion du comit de matrise de la configuration, incluant un journal des dcisions concernant les incidents de test

    2. Rapport d'incident mis jour

    Sous-pratiques

    1. Crer un comit de matrise de la configuration avec la participation des parties prenantes, y compris les testeurs

  • TMMi niveau 2 Conception et Excution des Tests

    2012 TMMi Foundation. Parution 1.0 Page 68 sur 231

    2. Examiner et analyser les incidents trouvs

    3. Revoir le niveau de priorit et de svrit de l'incident de test

    4. Dterminer les mesures prendre pour les incidents de tests trouvs

    Exemples de dcisions qui peuvent tre prises :

    Rejet, l'incident n'est pas un dfaut

    Diffr, l'incident est rejet, mais pourra tre trait une tape ultrieure

    Accept, l'incident est accept et doit tre trait

    5. Enregistrer la dcision et toute autre information pertinente dans la base de donnes dincidents, le rapport d'incident est mis jour.

    6. Affecter l'incident l'ingnierie pour effectuer les actions appropries

    SP 4.2 Effectuer les actions appropries pour corriger les incidents de test Des mesures appropries sont prises afin de rsoudre, retester et clturer les incidents de test ou de reporter le ou les incident(s) une version future.

    Exemples de produits dactivit

    1. Journal de test (y compris les rsultats de test)

    2. Rapport d'incident mis jour

    Sous-pratiques

    1. Rsoudre l'incident ce qui peut impliquer la mise jour de documentation et/ou du code logiciel

    2. Enregistrer des informations sur l'action de rsolution dans la base de donnes dincidents ; le rapport d'incident est mis jour

    3. Effectuer un retest, et ventuellement des tests de rgression, pour confirmer la correction de l'incident

    4. Enregistrer des informations sur l'action de retest dans la base de donnes de lincident ; le rapport d'incident est mis jour

    5. Clore formellement l'incident si le retest a russi

    SP 4.3 Suivre le statut des incidents de test Le statut des incidents de test est suivi et des mesures appropries sont prises si ncessaire.

    Exemples de produits dactivit

    1. Rapport de la runion du comit de matrise de la configuration

    2. Rapport sur l'tat des incidents

    Sous-pratiques

    1. Fournir des rapports de situation sur les incidents aux parties prenantes

    Exemples d'lments qui sont couverts dans un rapport sur l'tat des incidents :

    Incidents ouverts durant la priode XXXX-XXXX

    Incidents ferm durant la priode XXXX-XXXX

    Incidents ouverts depuis X semaines ou plus

    2. Discuter des rapports d'tat lors d'une runion du comit de matrise de la configuration

    3. Prendre des mesures appropries en cas de besoin, par exemple, si un incident qui doit tre corrig a le mme statut depuis un certain laps de temps

  • TMMi niveau 2 Conception et Excution des Tests

    2012 TMMi Foundation. Parution 1.0 Page 69 sur 231

    Pratiques Gnriques par Objectifs

    GG 2 Institutionnaliser un Processus Disciplin

    GP 2.1 Etablir une politique organisationnelle

    tablir et maintenir une politique organisationnelle pour la planification et l'excution du processus Conception et Excution des Tests.

    Elaboration

    La politique de conception et d'excution des tests spcifie gnralement que :

    Un ensemble de techniques de conception de tests appropris seront identifis par niveau de test

    Les spcifications de test seront encadres par des modles et des normes

    L'excution des tests sera effectue en utilisant les procdures de test documentes

    Le niveau d'automatisation de l'excution des tests requis

    Les incidents de test sont documents et enregistrs en utilisant un systme de classification des incidents

    Les incidents de test signals sont valus, classs et traits selon une procdure documente

    Un rfrentiel central des incidents de test est mis en place

    GP 2.2 Planifier le processus

    Etablir et maintenir le planning pour mettre en uvre le processus Conception et Excution des Tests.

    Elaboration

    En rgle gnrale, le planning pour mettre en uvre la conception et l'excution des tests est inclus dans le plan de test, qui est dcrit dans le domaine de processus Planification du Test. Les activits de conception et d'excution des tests sont explicitement prvues dans le cadre du plan de test.

    GP 2.3 Fournir les ressources

    Fournir les ressources adquates pour mettre en uvre le processus Conception et Excution des Tests, laborer les produits dactivits de test, et fournir les services de ce processus.

    Elaboration

    Un temps suffisant est prvu pour raliser les activits de conception et d'excution des tests

    Des personnes exprimentes, qui ont une expertise dans le domaine d'application de l'objet de test et ceux qui ont une expertise dans le processus de dveloppement sont disponibles pour soutenir la conception des tests, par exemple, en participant aux revues

    Des outils pour soutenir le processus de conception et d'excution des tests sont disponibles

    Exemples doutils :

    Outils d'analyse dynamique

    Outils d'analyse de couverture

    Outils de conception de tests

    Outils de prparation des donnes de test

    Outils d'excution de tests

    Outils de gestion des incidents

  • TMMi niveau 2 Conception et Excution des Tests

    2012 TMMi Foundation. Parution 1.0 Page 70 sur 231

    GP 2.4 Attribuer les responsabilits

    Attribuer la responsabilit et l'autorit pour mettre en uvre le processus Conception et Excution des Tests, dvelopper les produits dactivit de test, et fournir les services de ce processus.

    GP 2.5 Former les personnes

    Former les personnes effectuant ou soutenant le processus Conception et Excution des Tests en fonction des besoins.

    Elaboration

    Les ingnieurs de test, et les autres individus ou groupes impliqus dans la conception et l'excution des tests, sont forms la conception et l'excution des tests et aux procdures et techniques connexes.

    Exemples de thmes de formation :

    Techniques formels et informels de conception des tests

    Processus de spcification des tests

    Dduction et priorisation des conditions de test et conception les tests

    Dveloppement et la priorisation des cas de test

    Documentation et la hirarchisation des procdures de test

    Activits d'excution des tests

    Modles et normes de spcifications de test et de journaux de test

    Dclaration des incidents de test

    Gestion des incidents de test

    Soutient aux outils de conception et d'excution de tests

    GP 2.6 Grer en configuration

    Placer les produits dactivits slectionns du processus Conception et Excution des Tests sous le niveau appropri de gestion de la configuration.

    Elaboration Exemples de produits dactivits placs en gestion de configuration :

    Spcifications de conception de tests

    Spcifications de cas de test

    Spcifications des procdures de tests (et/ou scripts de test)

    Planning d'excution des tests

    Journaux de test

    Scripts de test automatiss

    GP 2.7 Identifier et impliquer les parties prenantes concernes

    Identifier et impliquer les parties prenantes du processus Conception et Excution des Tests selon la planification.

    Elaboration Exemples d'activits pour limplication des parties prenantes :

    Revoir et approuver la conception des tests et les cas de test

    Excuter des tests, par exemple, des fins de validation par les utilisateurs finaux

  • TMMi niveau 2 Conception et Excution des Tests

    2012 TMMi Foundation. Parution 1.0 Page 71 sur 231

    Participer au processus de gestion des incidents, par exemple, lors des runions du comit de matrise de la configuration

    GP 2.8 Surveiller et contrler le processus

    Surveiller et contrler le processus de Conception et Excution des Tests selon le planning afin de mettre en uvre le processus et de prendre les mesures appropries.

    Elaboration Exemples de mesures utilises pour surveiller et contrler la conception des tests et le processus d'excution :

    Nombre de spcifications de test termines

    Nombre de tests excuts

    Pourcentage de tests russis

    Nombre d'incidents exceptionnels (par niveau de priorit)

    Tendances des incidents

    GP 2.9 Evaluer la conformit de manire objective

    Evaluer la conformit de manire objective du processus Conception et Excution des Tests et des produits dactivits slectionns par rapport la description du processus, aux normes et aux procdures, et traiter les non-conformits.

    Elaboration Exemples de sujets de revues et/ou d'audit d'valuation de la conformit :

    L'efficacit et l'efficience des techniques de conception de tests

    Le respect des spcifications de test (conception de test, cas de test, procdures de test) par rapport aux modles et aux normes

    La qualit des cas de test

    Lexistence et le niveau de qualit des journaux de test

    La conformit avec le processus de gestion des incidents

    GP 2.10 Passer en revue le statut avec la hirarchie

    Passez en revue les activits, la situation et les rsultats du processus Conception et Excution des Tests avec la hirarchie et traiter les problmes.

    GG 3 Institutionnaliser un Processus Ajust Ne s'applique qu'au niveau TMMi 3.

    GP 3.1 Etablir un processus ajust

    Etablir et maintenir la description d'un processus Conception et Excution des Tests ajust.

    GP 3.2 Recueillir des informations sur l'amlioration

    Recueillir les expriences lies au processus dcoulant de la planification et de l'excution du processus Conception et Excution des Tests pour soutenir l'utilisation future et l'amlioration des processus de l'organisation et des actifs de processus.

  • TMMi niveau 2 Conception et Excution des Tests

    2012 TMMi Foundation. Parution 1.0 Page 72 sur 231

    Elaboration Exemples dindicateurs :

    Nombre de tests conus l'aide des techniques de conception de tests

    Temps pass par spcification de test

    Rapports d'incidents par priorit et svrit

    Efficacit des techniques de conception de tests, par exemple, l'aide du Pourcentage de Dtection des Dfauts (DDP)

    Pourcentage de cas de test automatiss

  • TMMi niveau 2 Environnement de Test

    2012 TMMi Foundation. Parution 1.0 Page 73 sur 231

    PA 2.5 Environnement de Test

    Intention Lobjectif du domaine Environnement de Test est d'tablir et de maintenir un environnement adquat, y compris les donnes de test, dans lequel il est possible d'excuter des tests de faon matrise et reproductible.

    Notes Introductives Un environnement de test gr et contrl est indispensable pour tous les tests. Il est galement ncessaire pour obtenir des rsultats dans des conditions aussi proches que possible de la vraie vie . Cela est particulirement vrai pour les tests de niveau suprieur, par exemple, aux niveaux systme et d'acceptation. Par ailleurs, n'importe quel niveau de test, la reproductibilit des rsultats des tests ne doit pas tre mise en danger par des changements indsirables ou inconnus dans l'environnement de test.

    La spcification des exigences en termes denvironnement de test est effectue au dbut du projet. La spcification des exigences est revue pour s'assurer de son exactitude, sa pertinence, sa faisabilit et de la reprsentation prcise dun environnement oprationnel proche de la vraie vie . Une spcification des exigences prcoce a l'avantage d'offrir plus de temps pour acqurir et/ou dvelopper l'environnement de test et les composants requis tels que des simulateurs, des bouchons ou des pilotes. Le type d'environnement requis dpendra du produit tester et des types, mthodes et des techniques de test utiliss.

    La disponibilit d'un environnement de test recouvre un certain nombre de questions qui doivent tre abordes. Par exemple, est-il ncessaire pour tester d'avoir un environnement de test par niveau ? Un environnement de test spar par quipe de test ou par niveau de test peut tre trs coteux. Peut-tre qu'il est possible d'avoir le mme environnement partag entre les testeurs et les dveloppeurs. Si c'est le cas, une gestion et un contrle strict sont ncessaires car les deux activits de test et de dveloppement sont effectues dans le mme environnement et peuvent avoir un impact ngatif sur lavancement. Lorsqu'elle est mal gre, cette situation peut entraner de nombreux problmes allant de conflits de rservation la dcouverte dun environnement dans un tat inconnu ou indsirable lors du dmarrage des activits.

    Enfin, la gestion de l'environnement de test comprend galement la gestion de laccs l'environnement de test en fournissant les dtails dauthentification, la gestion des donnes de test, la fourniture et l'application de la gestion de configuration et un soutien technique sur les problmes gnant lavancement durant l'excution des tests.

    Dans le cadre du domaine de processus Environnement de Test, les exigences en matire de donnes de test gnriques, et la cration et la gestion des donnes de test sont galement abordes. Alors que les donnes de test spcifiques sont dfinies lors de la conception et de lanalyse du test, les donnes de test plus gnriques sont souvent dfinies et cres dans le cadre dune activit distincte. Les donnes de test gnriques sont rutilises par de nombreux testeurs et fournissent des donnes de base globales ncessaires pour excuter les fonctions du systme. Les donnes de test gnriques sont souvent constitues de donnes de base et de contenus initiaux pour les donnes primaires. Parfois, les exigences temporelles influent sur cette activit.

    Champ dApplication Le domaine de processus Environnement de Test porte sur toutes les activits pour la spcification des exigences en termes d'environnement de test, la mise en uvre de l'environnement de test et la gestion et le contrle de l'environnement de test. La gestion et le contrle des environnements de test comportent galement des aspects tels que la gestion de configuration et la garantie de la disponibilit. Le processus Environnement de Test comprend la fois l'environnement de test physique et les donnes de test.

    Rsum des Objectifs et Pratiques Spcifiques SG 1 Dvelopper les Exigences dEnvironnement de Test

    SP 1.1 Eliciter les besoins denvironnement de test

    SP 1.2 Dvelopper les exigences denvironnement de test

    SP 1.3 Analyser les exigences denvironnement de test

    SG 2 Implmenter lEnvironnement de Test

    SP 2.1 Mettre en uvre l'environnement de test

  • TMMi niveau 2 Environnement de Test

    2012 TMMi Foundation. Parution 1.0 Page 74 sur 231

    SP 2.2 Crer des donnes de test gnriques

    SP 2.3 Spcifier la procdure de test dadmission de lenvironnement de test

    SP 2.4 Effectuer le test d'admission de lenvironnement de test

    SG 3 Grer et Contrler les Environnements de Test

    SP 3.1 Grer les systmes

    SP 3.2 Grer les donnes de test

    SP 3.3 Coordonner la disponibilit et l'utilisation des environnements de test

    SP 3.4 Enregistrer et grer les incidents de lenvironnement de test

    Pratiques Spcifiques par Objectif

    SG 1 Dvelopper les Exigences dEnvironnement de Test Les besoins, les attentes et les contraintes des parties prenantes sont recueillis et traduits en exigences denvironnement de test.

    SP 1.1 Eliciter les besoins de lenvironnement de test

    Eliciter les besoins denvironnement de test, y compris les donnes de test gnriques, les attentes et les contraintes.

    Exemple de produit dactivit

    1. Exigences en termes denvironnement de test

    Sous-pratiques

    1. Etudier l'approche de test et le plan de test par rapport l'environnement de test

    2. Associer des reprsentants du test pour recueillir les exigences en termes d'environnement de test, y compris les donnes de test gnriques, les attentes et les contraintes

    Exemples de besoins d'environnement de test :

    Composants rseau

    Composants logiciels, par exemple, les systmes d'exploitation, les microprogrammes

    Simulateurs, bouchons et pilotes

    Documentation daccompagnement, par exemple, les guides utilisateurs, les guides techniques et les manuels d'installation

    Interfaage des composants ou des produits

    Outils pour dvelopper les bouchons et les pilotes

    Equipement de test

    Exigences pour des environnements de test multiples

    Bases de donnes de test gnriques

    Gnrateurs de donnes de test

    Besoins de stockage des donnes de test

    Outils darchivage et de restauration des donnes de test

    3. Documenter les besoins d'environnement de test, y compris les donnes de test gnriques, les attentes et les contraintes

    SP 1.2 Dvelopper les exigences denvironnement de test

    Transformer les besoins denvironnement de test en exigences denvironnement de test priorises.

  • TMMi niveau 2 Environnement de Test

    2012 TMMi Foundation. Parution 1.0 Page 75 sur 231

    Exemples de produits dactivit

    1. Exigences denvironnement de test priorises

    2. Tableau de rpartition des exigences

    Sous-pratiques

    1. Traduire les besoins denvironnement de test, y compris les donnes de test gnriques, les attentes et les contraintes, en exigences denvironnement de test documentes

    2. Etablir et maintenir une priorisation des exigences en environnement de test

    Avoir des exigences en environnement de test priorises aide dfinir le primtre. Cette priorisation assure que les exigences en environnement de test essentielles seront traites rapidement.

    3. Allouer les exigences en environnement de test des composants de l'environnement de test

    SP 1.3 Analyser les exigences denvironnement de test

    Analyser les exigences pour s'assurer qu'elles sont ncessaires, suffisantes et ralisables.

    Exemples de produits dactivit

    1. Rapport danalyse des exigences denvironnement de test

    2. Compte-rendu de revue des exigences denvironnement de test

    3. Risques lis au projet d'environnement de test

    Sous-pratiques

    1. Analyser les exigences denvironnement de test pour dterminer si elles soutiennent pleinement le cycle de vie des tests et l'approche de test

    Exemples de pratiques l'appui de l'analyse des exigences d'environnement de test :

    Correspondance entre les exigences d'environnement de test et les niveaux de test

    Correspondance entre les exigences d'environnement de test et les types de test

    2. Identifier les principales exigences d'environnement de test ayant une forte influence sur les cots, le planning ou les performances du test

    3. Identifier les exigences d'environnement de test qui peuvent tre mises en uvre l'aide de ressources existantes ou modifies

    4. Analyser les exigences denvironnement de test afin de s'assurer quelles sont compltes, faisables et ralisables

    5. Analyser les exigences denvironnement de test afin de s'assurer qu'il reprsente suffisamment la vraie vie, en particulier pour les niveaux de test les plus levs

    6. Identifier les risques du projet de test lis aux exigences d'environnement de test

    7. Revoir les exigences d'environnement de test avec les parties prenantes

    SG 2 Implmenter lEnvironnement de Test Les exigences d'environnement de test sont mises en uvre et l'environnement de test est mis disposition pour tre utilis pendant l'excution des tests.

    SP 2.1 Mettre en uvre l'environnement de test

    Mettre en uvre l'environnement de test tel que spcifi dans la spcification des exigences d'environnement de test et selon le planning dfini.

    Exemples de produits dactivit

    1. Environnement de test oprationnel

  • TMMi niveau 2 Environnement de Test

    2012 TMMi Foundation. Parution 1.0 Page 76 sur 231

    2. Rsultats des tests unitaires des composants de l'environnement de test

    Sous-pratiques

    1. Mettre en uvre l'environnement de test comme spcifi et selon le planning dfini

    2. Respecter les normes et critres applicables

    3. Effectuer des tests unitaires sur les composants de l'environnement de test selon le besoin

    4. Dvelopper la documentation daccompagnement, par exemple, manuels d'installation, d'exploitation et de maintenance

    5. Rviser les composants de l'environnement de test selon le besoin

    Un exemple de situation o l'environnement de test peut tre rvis, est quand des problmes qui ne pouvaient pas tre prvus lors de la spcification des exigences surgissent lors de la mise en uvre.

    SP 2.2 Crer des donnes de test gnriques

    Les donnes de test gnriques spcifies dans la spcification des exigences sont cres.

    Exemples de produits dactivit

    1. Donnes de test gnriques

    Sous-pratiques

    1. Crer les donnes de test gnriques ncessaires pour soutenir l'excution des tests

    2. Anonymiser les donnes sensibles en fonction de la politique lorsque des donnes relles sont utilises en tant que source

    3. Archiver l'ensemble des donnes de test gnriques

    SP 2.3 Spcifier la procdure de test dadmission de lenvironnement de test

    Le test d'admission de lenvironnement de test (test de confiance), qui sera utilise pour dcider si l'environnement de test est prt pour le test, est spcifi.

    Exemples de produits dactivit

    1. Checklist d'admission de lenvironnement de test

    2. Spcification de la procdure de test dadmission de lenvironnement de test

    3. Compte-rendu de revue de la spcification de la procdure de test dadmission de lenvironnement de test

    Sous-pratiques

    1. Dfinir une liste de vrifications effectuer lors du test d'admission de l'environnement de test

    2. Dvelopper la procdure de test dadmission de l'environnement de test en se basant sur les contrles identifis en mettant les vrifications (cas de test) dans un ordre excutable et en incluant toute autre information ncessaire pour effectuer le test d'admission de lenvironnement de test

    3. Documenter le test d'admission de l'environnement de test dans une spcification de procdure de test, base sur la norme de spcification des procdures de test

    4. Revoir la spcification de la procdure de test de l'environnement de test avec les parties prenantes

    Notez que cette pratique est fortement lie la pratique SP 2.3 Spcifier la procdure de test d'admission du domaine de processus Conception et Excution des Tests et quelles peuvent ventuellement tre combines.

  • TMMi niveau 2 Environnement de Test

    2012 TMMi Foundation. Parution 1.0 Page 77 sur 231

    SP 2.4 Effectuer le test d'admission de lenvironnement de test

    Le test d'admission de lenvironnement de test (test de confiance) est effectu pour dterminer si lenvironnement de test est prt tre utilis pour le test.

    Exemples de produits dactivit

    1. Log du test dadmission de lenvironnement de test

    2. Rapports d'incidents

    Sous-pratiques

    1. Effectuer le test d'admission (test de confiance) en utilisant la procdure de test d'admission documente pour dcider si l'environnement de test est prt tre utilis pour le test.

    2. Documenter les rsultats du test d'admission de lenvironnement de test au moyen d'un registre de test, bas sur le modle de registre de test

    3. Enregistrer des incidents si des divergences sont observes

    Reportez-vous au SP 3.3 Signaler les incidents de test du domaine de processus Conception et Excution des Test pour plus d'informations sur lenregistrement des incidents.

    Notez que cette pratique est fortement lie la pratique SP 3.1 Effectuer un test dadmission du domaine de processus Conception et Excution des Tests et que le test d'admission de l'objet du test peut ventuellement tre combin avec le test dadmission de l'environnement de test.

    SG 3 Grer et Contrler les Environnements de Test Les environnements de test sont grs et contrls pour permettre l'excution des tests sans interruption.

    SP 3.1 Grer les systmes

    La gestion des systmes est ralise sur les environnements de test pour soutenir efficacement le processus dexcution des tests.

    Exemples de produits dactivit

    1. Fichier de log de la gestion du systme

    2. Enregistrement des tests

    Sous-pratiques

    1. Installer les composants ncessaires, par exemple pour une sance de test spcifique

    2. Grer l'accs l'environnement de test en fournissant les informations dauthentification

    3. Fournir un support technique sur les problmes qui gnent lavancement de l'excution des tests

    4. Fournir des outils denregistrement, qui pourront tre utiliss par la suite pour analyser le rsultat des tests

    SP 3.2 Grer les donnes de test

    Les donnes de test sont gres et contrles pour soutenir efficacement le processus d'excution des tests.

    Exemples de produits dactivit

    1. Donnes de test archives

    2. Fichier de log de gestion des donnes de test

    Sous-pratiques

    1. Grer la scurit et l'accs aux donnes de test

    2. Grer les donnes de test, par exemple, en ce qui concerne les ressources de stockage ncessaires

  • TMMi niveau 2 Environnement de Test

    2012 TMMi Foundation. Parution 1.0 Page 78 sur 231

    3. Archiver et restaurer rgulirement les donnes de test et autres fichiers et, si ncessaire, pour une session de test particulire

    SP 3.3 Coordonner la disponibilit et l'utilisation des environnements de test

    La disponibilit et l'utilisation de l'environnement de test par plusieurs groupes est coordonne pour atteindre le maximum d'efficacit.

    Exemples de produits dactivit

    1. Planning de rservation de lenvironnement de test

    Sous-pratiques

    1. Etablir une procdure de gestion de l'utilisation de l'environnement de test par plusieurs groupes

    2. Faire des rservations documentes des environnements de test dans le planning de rservation

    3. Identifier les composants spcifiques de l'environnement de test ncessaires au moment de la rservation

    4. Discuter des rservations en conflit avec les groupes et les parties prenantes impliques

    5. Dfinir un planning de rservation de lenvironnement de test pour la priode venir

    6. Utiliser l'environnement de test pendant les priodes de temps rserves et affectes

    7. Arrter l'environnement de test correctement aprs utilisation, par exemple en veillant ce qu'il soit dans un tat connu et les fichiers de test limins

    SP 3.4 Enregistrer et grer les incidents de lenvironnement de test

    Les problmes qui se produisent au cours de lutilisation de l'environnement de test sont officiellement dclars comme des incidents et sont grs jusqu leur fermeture.

    Exemples de produits dactivit

    1. Rapports dincidents de lenvironnement de test

    2. Compte-rendu de runion du comit de contrle du changement, incluant un journal des dcisions concernant les incidents de lenvironnement de test

    Sous-pratiques

    1. Enregistrer l'incident de lenvironnement de test quand un problme est observ

    2. Formellement signaler l'incident de lenvironnement de test en utilisant un systme de classification des incidents

    3. Grer les incidents de l'environnement de test jusqu leur fermeture

    Reportez-vous au domaine de processus Conception et Excution des tests pour les pratiques et les sous-pratiques couvrant lenregistrement et la gestion des incidents

    Pratiques Gnriques par Objectifs

    GG 2 Institutionnaliser un Processus Disciplin

    GP 2.1 Etablir un politique organisationnelle

    tablir et maintenir une politique organisationnelle pour la planification et l'excution du processus Environnement de Test.

    Elaboration

    La politique de l'environnement de test spcifie gnralement que :

    La spcification des exigences d'environnement de test doit tre ralise tt dans le cycle de vie

    Les tests de hauts niveaux seront raliss dans un environnement de test reprsentatif de la vraie vie

  • TMMi niveau 2 Environnement de Test

    2012 TMMi Foundation. Parution 1.0 Page 79 sur 231

    La gestion et le contrle des environnements de test sont effectus selon des procdures documentes

    Les tests de bas niveaux, par exemple, les tests unitaires et d'intgration, doivent utiliser des bouchons et des pilotes

    Des rgles de confidentialit et de scurit encadrent l'utilisation de donnes relles lors de la cration des donnes de test

    GP 2.2 Planifier le processus

    tablir et maintenir le plan pour appliquer le processus Environnement de Test.

    Elaboration

    En rgle gnrale, le planning de mise en uvre de l'environnement de test est inclus dans le plan de test, qui est dcrit dans le domaine de processus Planification du Test. Dans un projet o l'environnement de test est plus complexe, et ncessite donc plus de ressources, un planning spcifique peut tre tabli pour l'environnement de test. Le planning dcrit gnralement en dtail le processus de mise en uvre des exigences d'environnement de test.

    GP 2.3 Fournir les ressources

    Fournir des ressources adquates pour excuter le processus Environnement de Test, dvelopper les produits dactivits de test, et fournir les services du processus.

    Elaboration

    Des personnes exprimentes, qui ont l'expertise et les connaissances techniques, sont disponibles pour soutenir la spcification des exigences d'environnement de test

    Le temps et les ressources adquates sont fournis pour mettre en uvre, grer et contrler lenvironnement de test

    Le temps et les ressources adquates sont fournis pour crer, grer et contrler les donnes de test

    Le temps et les ressources adquates sont fournis aux ingnieurs pour dvelopper les bouchons et les pilotes ncessaires aux tests de bas niveau

    GP 2.4 Attribuer les responsabilits

    Attribuer la responsabilit et l'autorit pour mettre en place le processus Environnement de Test, dvelopper les produits dactivits de test, et fournir les services du processus Environnement de Test.

    Elaboration Exemples de responsabilits lies aux environnements de test affecter :

    Spcification des exigences d'environnement de test

    Mise en uvre de l'environnement de test

    Gestion de la configuration de l'environnement de test

    Rsolution des problmes techniques lis l'environnement de test

    S'assurer que les tests sont reproductibles par rapport l'environnement de test

    Soutien et conseil sur les procdures et les questions techniques lies l'environnement de test

    Assurer la disponibilit de l'environnement de test

    Soutenir les projets en dfinissant une approche pour les donnes de test

    Cration des donnes de test gnriques

    Gestion et protection des donnes de test

  • TMMi niveau 2 Environnement de Test

    2012 TMMi Foundation. Parution 1.0 Page 80 sur 231

    GP 2.5 Former les personnes

    Former les personnes charges de mettre en place ou de soutenir le processus Environnement de Test en fonction des besoins.

    GP 2.6 Grer en configuration

    Placer les produits dactivit slectionns du processus Environnement de Test sous un niveau appropri de gestion de configuration.

    Elaboration Exemples de produits dactivit placs sous gestion de configuration :

    Spcification des exigences d'environnement de test

    Plannings de l'environnement de test

    Environnements de test

    Donnes de test

    Scripts de configuration

    Scripts d'installation

    Notez que la gestion de la configuration pour les environnements de test et les donnes de test est la cl de tout test et est une exigence pour la reproductibilit des tests.

    GP 2.7 Identifier et impliquer les parties prenantes concernes

    Identifier et impliquer les parties prenantes du processus Environnement de Test comme prvu dans le planning.

    Elaboration Exemples d'activits pour limplication des parties prenantes :

    Revoir la spcification des exigences en termes d'environnement de test

    Fournir des ressources et/ou des informations pour la mise en uvre de l'environnement de test, par exemple, des sous-traitants qui dveloppent des composants de l'environnement de test

    GP 2.8 Surveiller et contrler le processus

    Surveiller et contrler le processus Environnement de Test selon le planning de ralisation du processus et prendre les mesures appropries.

    Elaboration

    Cela est parfois nglig, mais il est bien sr important de suivre les progrs du dveloppement des bouchons et des pilotes ncessaires aux tests unitaires et d'intgration, de sorte que ces progrs respectent le planning.

    GP 2.9 Evaluer objectivement ladhrence

    Evaluer objectivement le respect du processus Environnement de Test et slectionner les produits dactivits selon la description du processus, les normes et les procdures, et traiter les non-conformits.

    Elaboration Exemples de sujets de revue et/ou audit de conformit :

    Une spcification des exigences d'environnement de test est rdige au dbut du projet

    L'environnement de test est, autant que possible, reprsentatif de la vraie vie, en particulier pour les niveaux de test les plus levs

  • TMMi niveau 2 Environnement de Test

    2012 TMMi Foundation. Parution 1.0 Page 81 sur 231

    La disponibilit de l'environnement de test est un niveau adquat

    La gestion et le contrle de l'environnement de test sont efficaces et efficients

    Les donnes de test sont adquates pour du test reprsentatif de la vraie vie

    GP 2.10 Passer en revue le statut avec la hirarchie

    Passer en revue les activits, ltat et les rsultats du processus Environnement de Test avec la hirarchie et rsoudre les problmes.

    GG 3 Institutionnaliser un Processus Ajust

    GP 3.1 Etablir un processus ajust

    Etablir et maintenir la description d'un processus Environnement de Test ajust.

    GP 3.2 Recueillir des informations sur l'amlioration

    Recueillir les expriences lies au processus dcoulant de la planification et de l'excution du processus Environnement de Test pour soutenir l'utilisation future et l'amlioration des processus de l'organisation et des actifs de processus.

    Elaboration Exemples de mesures :

    Nombre de conflits de rservations de l'environnement de test

    Effort ncessaires pour la maintenance, les rparations et les mises jour

    Nombre de cas de test en chec cause de l'environnement de test

    Temps moyen d'indisponibilit de l'environnement de test

    Nombre d'incidents de l'environnement de test enregistrs

    Pourcentage des environnements de test disponibles temps et selon les spcifications

    Nombre de dfauts constats en production qui n'ont pas t dcouverts pendant les tests en raison dun environnement de test ou de donnes de test inadquats

  • TMMi niveau 3 TMMi niveau 3 : Ajust

    2012 TMMi Foundation. Parution 1.0 Page 82 sur 231

    TMMi Niveau 3 : Ajust Au niveau TMMi 3, le test ne se limite plus une phase qui suit le codage. Il est entirement intgr dans le cycle de dveloppement et les jalons associs. La planification des tests est effectue un stade prcoce du projet, par exemple, lors de la phase du recueil des exigences, et est documente dans un plan de test matre. L'laboration d'un plan de test matre s'appuie sur les capacits et les engagements de planification des tests acquis au niveau TMMi 2. L'ensemble des processus standards de test de l'organisation, qui est la base du niveau de maturit 3, est tabli et amlior au fil du temps. Une organisation de test et un programme de formation spcifique existent, et le test est peru comme tant une profession. Le processus d'amlioration du test est entirement institutionnalis dans le cadre des pratiques acceptes par lorganisation de test.

    Les organisations au niveau 3 comprennent l'importance des revues dans le contrle de la qualit ; un programme de revues formelles est mis en place mais pas encore entirement li au processus de test dynamique. Des revues ont lieu tout au long du cycle de vie. Des professionnels du test sont impliqus dans la revue des spcifications des exigences. Alors que la conception des tests au niveau TMMi 2 se concentre principalement sur les tests fonctionnels, la conception et les techniques de test sont tendues au niveau 3 pour inclure les tests non-fonctionnels, par exemple, lutilisabilit et/ou la fiabilit, selon les objectifs de l'entreprise.

    Une distinction cruciale entre les niveaux de maturit TMMi 2 et 3 est le champ d'application des normes, des descriptions de processus et des procdures. Au niveau de maturit 2 ceux-ci peuvent tre trs diffrents suivant les cas, par exemple, sur un projet particulier. Au niveau de maturit 3 ceux-ci sont constitus partir dun ensemble de processus standards de l'organisation pour sadapter un projet particulier ou une unit de l'organisation et sont donc plus cohrents, sauf pour les diffrences permises par les directives d'adaptation. Une autre diffrence fondamentale est que, au niveau de maturit 3, les processus sont gnralement dcrits de faon plus rigoureuse quau niveau de maturit 2. En consquence, au niveau 3 de maturit l'organisation doit revoir les domaines de processus de niveau de maturit 2.

    Les domaines de processus au niveau TMMi 3 sont :

    3.1 Organisation de Test

    3.2 Programme de Formation en Test

    3.3 Cycle de Vie et Intgration du Test

    3.4 Test Non-Fonctionnel

    3.5 Revues par les Pairs

    Chacun de ces points est dtaill dans les sections ci-aprs.

  • TMMi niveau 3 Organisation de Test

    2012 TMMi Foundation. Parution 1.0 Page 83 sur 231

    PA 3.1 Organisation de Test

    Intention Lobjectif du domaine de processus Organisation de TestErreur ! Source du renvoi introuvable. est d'identifier et d'organiser un groupe de personnes hautement qualifies qui sont responsable du test. En plus des tests, le groupe de test gre galement lamlioration des processus de test et des actifs de processus de test de l'organisation sur la base dune comprhension approfondie des points forts et des faiblesses des processus de test et des actifs de processus de test utiliss dans l'organisation.

    Notes introductives L'tablissement d'une organisation de test implique un engagement pour tester mieux et pour une meilleure qualit des logiciels. Pour dmarrer le processus, la hirarchie doit appuyer la dcision de crer un groupe de test et allouer des ressources au groupe. Cela ncessite galement un leadership dans les domaines lis aux tests et la qualit. Les membres d'un tel groupe sont appels des spcialistes de test. Une organisation (groupe) de test correspond des relations efficaces entre les spcialistes de test, les quipements de test et les activits de test lies au projet afin de parvenir un niveau lev dans le test structur. Des liens de communication bien dfinis du groupe de test vers la gestion dentreprise, le dveloppement et l'assurance qualit sont tablis. La synergie entre ces lments cre une structure qui est plus que la somme des parties.

    Il est important pour une organisation d'avoir un groupe de test indpendant. Le groupe occupe une position formalise dans lorganigramme. Le terme indpendance est utilis de faon gnrique, mais chaque organisation doit dvelopper sa propre interprtation et mise en uvre du bon niveau d'indpendance. Une organisation de test peut, par exemple, tre organise comme un centre de comptences en test avec un pool de ressources de test. Dans ce type d'organisation, les membres du groupe sont affects des projets dans l'ensemble des organisations o ils effectuent leur travail de test, ou constituent que groupe de test indpendant qui effectue des tests d'acceptation avant la livraison. Au sens TMMi du terme, indpendance de lorganisation de test signifie que les testeurs sont reconnus comme des spcialistes. Les testeurs ne sont pas considrs comme des dveloppeurs, et plus important encore, ils dpendent dune direction indpendante de la direction du dveloppement. Les spcialistes de test sont autoriss tre objectifs et impartiaux, sans tre gns par la pression de lorganisation de dveloppement.

    Le test est considr comme une profession et le groupe de test est reconnu comme une ncessit. Des connaissances et des comptences compltes et spcialises en ingnierie de test, gestion des tests et domaines applicatifs sont des caractristiques que doivent possder les personnes motives qui sont affectes au groupe test. Les fonctions et les parcours professionnels de test sont dfinis et soutenus par un programme de formation en test. Le groupe est compos de personnes qui ont les comptences et la motivation ncessaires pour tre de bons testeurs. Elles sont affectes une fonction de test spcifique et recherchent la prise de conscience, et latteinte des objectifs de qualit des produits. Elles mesurent les caractristiques de la qualit, et ont la responsabilit dassurer que le systme rpond aux exigences des clients. Les activits de test, les rles et les responsabilits des autres membres de lquipe (non-spcialistes de test) sont galement spcifis. Pour chaque fonction de test, des tches typiques, des responsabilits, des pouvoirs, des connaissances, des comptences et des formations requises sont spcifis. En consquence, les domaines de processus Organisation de TestErreur ! Source du renvoi introuvable. et Programme de Formation en Test sont troitement lis et interdpendants. L'un des principaux objectifs du programme de formation en test est de soutenir lorganisation de test en matire de formation des spcialistes de test.

    Alors qu'au niveau TMMi 2 le processus damlioration des tests est parfois un projet ad hoc, il est maintenant bien organis et structur au sein de lorganisation de test. La responsabilit de faciliter et de grer les activits d'amlioration des processus de test, y compris la participation des autres disciplines, est gnralement attribue un responsable de la technologie de test soutenu par un comit de pilotage. Parfois, un groupe damlioration des processus de test, souvent appel un Groupe de Processus de Test, est dj cr et activ. Les sujets candidats l'amlioration des processus sont obtenus partir de diverses sources, incluant les indicateurs, les retours dexprience et les rsultats d'valuations. Une planification rigoureuse est ncessaire pour s'assurer que les efforts d'amlioration des processus de test travers l'organisation sont grs et mis en uvre de manire adquate. La planification de l'amlioration des processus de test donne lieu un plan d'amlioration des processus. Ce plan traitera de la planification de l'valuation, des actions du processus, du pilotage et du dploiement. Lorsque l'amlioration du test doit tre dploye, le planning de dploiement est utilis. Ce planning dcrit quand et comment l'amlioration sera mise en uvre dans toute l'organisation.

  • TMMi niveau 3 Organisation de Test

    2012 TMMi Foundation. Parution 1.0 Page 84 sur 231

    Champ dapplication Le domaine de processus Organisation de Test dfinit le fonctionnement (tches, responsabilits, structure) et la position du groupe de test dans l'organisation gnrale. Les rles, les fonctions et les parcours de carrire du test sont dfinis pour favoriser l'acceptation du test comme une discipline professionnelle. Dans lorganisation de test, l'amlioration des processus de test est une activit cl. L'amlioration des processus de test englobe l'valuation du processus de test actuel et l'utilisation des retours dexprience pour identifier les amliorations possibles du test, la mise en uvre des amliorations et leur dploiement dans les activits de test des projets.

    Rsum des Objectifs et Pratiques Spcifiques SG 1 Etablir une Organisation de Test

    SP 1.1 Dfinir lorganisation de test

    SP 1.2 Obtenir des engagements pour lorganisation de test

    SP 1.3 Mettre en uvre lorganisation de test

    SG 2 Etablir des Fonctions de Test pour les Spcialistes de Test

    SP 2.1 Identifier les fonctions de test

    SP 2.2 Elaborer des descriptions de poste

    SP 2.3 Affectez des collaborateurs aux fonctions de test

    SG 3 Etablir des Parcours de Carrire en Test

    SP 3.1 Dfinir des parcours de carrire en test

    SP 3.2 Dvelopper des parcours personnaliss de carrire en test

    SG 4 Dterminer, Planifier et Mettre en uvre des Amliorations du Processus de Test

    SP 4.1 Evaluer le processus de test de lorganisation

    SP 4.2 Identifier des amliorations du processus de test de lorganisation

    SP 4.3 Planifier des amliorations du processus de test

    SP 4.4 Mettre en uvre des amliorations du processus de test

    SG 5 Dployer le Processus de Test Organisationnel et Intgrer des Retours dExprience

    SP 5.1 Dployer un processus de test standard et les actifs du processus de test

    SP 5.2 Surveiller la mise en uvre

    SP 5.3 Intgrer des retours dexprience dans le processus de test organisationnel

    Pratiques Spcifiques par Objectif

    SG 1 Etablir une Organisation de Test Une organisation de test, qui soutient les pratiques de test des projets et de l'organisation, est dfinie et mise en place.

    SP 1.1 Dfinir lorganisation de test

    Une organisation de test est dfinie et accepte par les parties prenantes.

    Exemples de produits dactivit

    1. Description de lorganisation de test

    Sous-pratiques

    1. Dfinir lorganisation de test, par exemple, sur la base des objectifs et de la politique commerciale dfinis, des objectifs et de la politique de test, et/ou de la stratgie de test

  • TMMi niveau 3 Organisation de Test

    2012 TMMi Foundation. Parution 1.0 Page 85 sur 231

    Exemples de sujets aborder lors de la dfinition d'une organisation de test :

    Position officielle au sein de lorganisation

    Type d'organisation

    Niveau d'indpendance par rapport au dveloppement

    Tches, Comptences et Responsabilits de lorganisation de test

    Structure hirarchique

    Points de dpart concernant les ressources, par exemple, nombre de spcialistes de test

    Notez, quidalement, lorganisation de test devrait tre une entit ou une fonction organisationnelle distincte. Cependant, ce n'est pas toujours possible ou pratique tant donn la taille de lorganisation, le niveau de risque des systmes en cours de dveloppement et les ressources disponibles.

    2. Revoir la description de lorganisation de test avec les parties prenantes

    SP 1.2 Obtenir des engagements pour lorganisation de test

    Les engagements pour la mise en uvre et lappui de lorganisation de test sont tablis et maintenus.

    Exemples de produits dactivit

    1. Demandes dengagements documentes

    2. Engagements documents

    Sous-pratiques

    1. Identifier les soutiens ncessaires et ngocier les engagements concernant lorganisation de test avec les parties prenantes concernes

    2. Documenter tous les engagements organisationnels, la fois complets et provisoires

    3. Revoir les engagements internes avec la direction suprieure, si ncessaire

    4. Revoir les engagements extrieurs avec la direction suprieure, si ncessaire

    SP 1.3 Mettre en uvre lorganisation de test

    L'organisation de test est dploye au sein de l'organisation, partir de la dfinition convenue de lorganisation de test.

    Exemples de produits dactivit

    1. Etat et rsultats de la mise en uvre de lorganisation de test

    Sous-pratiques

    1. Surveiller la progression et les engagements de la mise en uvre

    2. Identifier, documenter et suivre les problmes jusqu leur fermeture dans la mise en uvre de lorganisation de test

    3. Veiller ce que les rsultats de la mise en uvre de lorganisation de test satisfassent les objectifs de lorganisation

    SG 2 Etablir des Fonctions de Test pour les Spcialistes de Test Les fonctions de test avec les descriptions de poste sy rapportant sont mises en place et affectes aux spcialistes de test.

    SP 2.1 Identifier les fonctions de test

    Un ensemble de fonctions de test est identifi, selon le besoin.

  • TMMi niveau 3 Organisation de Test

    2012 TMMi Foundation. Parution 1.0 Page 86 sur 231

    Exemples de produits dactivit

    1. Liste des fonctions de test identifies

    Sous-pratiques

    1. Analyser la politique de test, la stratgie de test et les processus de test standards pour les rles de test typiques

    2. Identifier un ensemble de fonctions de test qui couvrent les rles de test typiques, selon le besoin

    Exemples de fonctions de test :

    Test Manager

    Chef d'quipe de test

    Analyste de tests

    Ingnieur de test

    Consultant en test

    Ingnieur denvironnement de test

    3. Identifier des fonctions de test dans des domaines spcialiss, selon le besoin

    Exemples de fonctions de test pour des domaines spcialiss :

    Architecte en automatisation des tests

    Ingnieur en automatisation des tests

    Ingnieur en test de performance

    Ingnieur en test d'utilisabilit

    Responsable de l'amlioration des processus de test

    SP 2.2 Elaborer des descriptions de poste

    Des descriptions de postes sont mises au point pour les fonctions de test identifies. Pour les fonctions de test non spcialises, des descriptions de postes existantes sont compltes avec des tches et des responsabilits de test typiques, selon le besoin.

    Exemples de produits dactivit

    1. Description de poste pour les fonctions de test

    2. Description de postes compltes pour les non-spcialistes de test

    Sous-pratiques

    1. Dfinir une description de poste pour chacune des fonctions de test identifies

    Les descriptions de poste incluent gnralement :

    Le nom de la fonction de test

    Une brve description

    Une fourchette salariale

    Les qualifications

    Les tches typiques accomplir

    Les responsabilits et les pouvoirs

    Les connaissances et les comptences ncessaires

    Les exigences scolaires

  • TMMi niveau 3 Organisation de Test

    2012 TMMi Foundation. Parution 1.0 Page 87 sur 231

    Les modules de formation suivre

    2. Incorporer les descriptions de postes dans le rfrentiel de la Gestion des Ressources Humaines (GRH) de l'organisation

    3. Etendre les descriptions de postes pour les autres catgories de poste (non-spcialistes de test) pour y inclure les tches et les responsabilits de test, selon le besoin

    Exemples de catgories d'emplois non spcialistes de test qui englobent gnralement des activits et des responsabilits de test :

    Dveloppeur logiciel

    Ingnieur systme

    Intgrateur systme

    Reprsentant des utilisateurs

    4. Utiliser les processus de test standards de l'organisation comme une rfrence majeure pour dfinir et complter les descriptions de poste.

    5. Revoir les descriptions de poste avec les parties prenantes

    SP 2.3 Affecter des collaborateurs aux fonctions de test

    Les membres de l'organisation de test sont affects des fonctions de test identifies.

    Exemples de produits dactivit

    1. Les membres du personnel utilisent leur fonction de test comme intitul de poste

    Sous-pratiques

    1. Assigner des membres du personnel aux fonctions de test

    2. Effectuer des entretiens d'embauche pour pourvoir les postes de spcialistes de test ouverts, en utilisant des questionnaires pour dterminer leur bagage technique, leurs comptences personnelles et leur motivation

    3. Veiller ce que les postes (fonctions) de spcialistes de test soient continuellement pourvus

    4. Evaluer priodiquement la performance des membres de lorganisation de test

    5. Prendre les mesures appropries sur la base de l'valuation, si ncessaire

    SG 3 Etablir des Parcours de Carrire en Test Des parcours de carrire en test sont tablis afin de permettre aux testeurs d'amliorer leurs connaissances, leurs comptences, leur statut et leur rtribution.

    SP 3.1 Dfinir des parcours de carrire en test

    Des parcours de carrire sont dfinis afin de permettre aux testeurs de progresser dans leur carrire.

    Exemples de produits dactivit

    1. Rfrentiel de parcours de carrires

    Sous-pratiques

    1. Etablir une diffrenciation dans les fonctions de test en crant des rles junior, confirm et senior, et fournir une description de poste pour chacun d'eux

    2. Pour chaque fonction diffrencie, lier les connaissances et les comptences requises, les tches et les responsabilits typiques, les modules de formation et le niveau dexprience aux rles de test junior, confirm et senior

    3. Dvelopper une description de poste pour chacune des fonctions de test diffrencies identifies

  • TMMi niveau 3 Organisation de Test

    2012 TMMi Foundation. Parution 1.0 Page 88 sur 231

    4. Positionner les fonctions de test dfinies et diffrencies dans un rfrentiel (hirarchique) de parcours de carrires

    5. Dfinir un dlai typique qui indique quand on peut voluer vers une prochaine tape du plan de carrire de test

    6. Lier le rfrentiel des parcours de carrires de test aux autres rfrentiels de parcours de carrire disponibles dans l'organisation, par exemple, comment peut-on passer de test manager chef de projet

    7. Incorporer le rfrentiel de parcours de carrires de test dans le rfrentiel de la Gestion des Ressources Humaines (GRH) de l'organisation

    SP 3.2 Dvelopper des parcours personnaliss de carrire en test

    Un parcours personnel de dveloppement de carrire de test est dvelopp et maintenu pour chaque membre de lorganisation de test.

    Exemples de produits dactivit

    1. Parcours personnel de dveloppement de carrire

    Sous-pratiques

    1. Crer des parcours personnels de dveloppement bass sur le rfrentiel des parcours de carrire de test

    2. Revoir priodiquement le plan de dveloppement personnel avec les membres du personnel de test

    3. Identifier et documenter les actions qui sont ncessaires pour faire avancer le dveloppement de la carrire des membres du personnel

    4. Suivre les actions dfinies pour le dveloppement des carrires de test jusqu la fermeture

    5. Rviser le plan de dveloppement personnel, selon le besoin

    SG 4 Dterminer, Planifier et Mettre en uvre des Amliorations du Processus de Test Les forces, les faiblesses et les opportunits d'amlioration des processus de test de l'organisation sont identifies priodiquement et selon le besoin. Les changements de processus gnrs par les amliorations sont prvus et mis en uvre.

    SP 4.1 Evaluer le processus de test de lorganisation

    Les processus de test de l'organisation sont valus priodiquement pour maintenir une bonne comprhension de ses forces et de ses faiblesses.

    Exemples de produits dactivit

    1. Rapport d'valuation du processus de test

    Sous-pratiques

    1. Comprendre les besoins du processus de test de l'organisation en utilisant les objectifs et la politique dentreprise, les objectifs et la politique de test, et la stratgie de test

    2. Obtenir le soutien de la hirarchie pour les valuations des processus de test

    3. Dfinir le champ dapplication de l'valuation des processus de test

    4. Planifier, organiser et prparer l'valuation des processus de test

    5. Procder l'valuation des processus de test

    6. Documenter et prsenter le rapport d'valuation du test

  • TMMi niveau 3 Organisation de Test

    2012 TMMi Foundation. Parution 1.0 Page 89 sur 231

    SP 4.2 Identifier des amliorations du processus de test de lorganisation

    Les amliorations souhaitables des processus de test et des actifs de processus de test de l'organisation sont identifies.

    Exemples de produits dactivit

    1. Liste des amliorations de test par priorit

    Sous-pratiques

    1. Dterminer les candidats lamlioration des processus de test partir du rapport d'valuation du test

    2. Prioriser les candidats lamlioration des processus de test

    Exemples de facteurs qui peuvent tre utiles pour dterminer la priorit des candidats lamlioration des processus de test :

    En phase avec les objectifs dentreprise et de test

    Selon le modle de maturit

    L'amlioration des processus les plus visibles en premier pour favoriser la sensibilisation et l'acceptation

    Offrir des avantages mesurables et clairs

    Estimation du cot et des efforts ncessaires

    Niveau de difficult

    Degr d'acceptation

    Risques attnus

    3. Discuter et revoir la liste des priorits avec les intervenants cls

    4. Identifier et documenter les amliorations des processus de test qui seront mises en uvre

    5. Rviser la liste des amliorations des processus de test prvues pour la tenir jour

    SP 4.3 Planifier des amliorations du processus de test

    Les actions ncessaires pour apporter des amliorations aux processus de test et aux actifs de processus de test de l'organisation sont planifies.

    Exemples de produits dactivit

    1. Plan d'amlioration des processus de test

    Sous-pratiques

    1. Identifier des stratgies, des approches et des actions pour traiter les amliorations des processus de test identifies, par exemple, les changements nouveaux, non prouvs, et majeurs sont mis l'essai avant de passer en utilisation normale

    2. Etablir des quipes de traitement des actions pour dfinir et mettre en uvre les amliorations des processus de test

    3. Documenter le plan d'amlioration des processus de test

    Exemples d'lments d'un plan d'amlioration des processus de test :

    Objectifs de l'amlioration des processus de test

    Structure de lorganisation damlioration des processus de test

    Les amliorations des processus de test qui seront mises en uvre

    Les procdures de surveillance et de contrle

    Stratgies pour le pilotage et la mise en uvre des amliorations des processus de test

  • TMMi niveau 3 Organisation de Test

    2012 TMMi Foundation. Parution 1.0 Page 90 sur 231

    Responsabilits et pouvoirs

    Ressources et calendriers

    Mesures pour dterminer l'efficacit de l'amlioration des processus de test

    Risques lis au plan d'amlioration des processus de test

    4. Revoir et ngocier le plan d'amlioration des processus de test avec les parties prenantes (y compris les membres de lquipe de traitement des actions)

    5. Revoir et mettre jour le plan d'amlioration des processus de test si ncessaire

    SP 4.4 Mettre en uvre des amliorations du processus de test

    Les amliorations de processus de test abordes par le plan d'amlioration de test sont mises en uvre.

    Exemples de produits dactivit

    1. Etat et rsultats de la mise en uvre des amliorations des processus de test

    2. Plans pour des projets pilotes des amliorations des processus de test

    Sous-pratiques

    1. Suivre les progrs et les engagements par rapport au plan d'amlioration des processus de test

    2. Planifier et excuter des projets pilotes pour tester certaines amliorations des processus de test

    3. Evaluer les rsultats des pilotes par rapport au plan et avec les parties prenantes

    4. Passez en revue les activits et les produits dactivits des quipes de processus dactions

    5. Identifier, documenter et suivre les problmes dans la mise en uvre du plan d'amlioration des tests jusqu leur fermeture

    6. Veiller ce que les rsultats de la mise en uvre des amliorations des processus de test satisfassent aux objectifs de lamlioration des processus de test

    SG 5 Dployer le Processus de Test Organisationnel et Intgrer des Retours dExprience Les processus de test et actifs de processus de test organisationnels standards sont dploys dans toute l'organisation et les expriences lies aux processus de test sont incorpores dans les processus de test et actifs de processus de test organisationnels.

    Les pratiques spcifiques de cet objectif spcifique dcrivent les activits courantes. Le dploiement des processus de test standards et autres actifs de processus de test de l'organisation doit tre constamment assur dans lorganisation, en particulier au dmarrage des nouveaux projets.

    SP 5.1 Dployer un processus de test standard et les actifs du processus de test

    Les processus de test et actifs de processus de test standards sont dploys travers l'organisation, en particulier pour les projets qui dmarrent, et les changements sont dploys selon les besoins tout au long de la vie de chaque projet.

    Il est important que non seulement ceux qui excutent ou excuteront les processus de test soient impliqus, mais aussi d'autres fonctions organisationnelles, selon le besoin, telles que la formation (en test) et l'assurance qualit.

    Exemples de produits dactivit

    1. Plan de dploiement

    2. Documentation des modifications apportes au processus de test et actifs de processus de test standards de l'entreprise

    3. Liste des projets et de l'tat de dploiement des processus de test dans chaque projet

  • TMMi niveau 3 Organisation de Test

    2012 TMMi Foundation. Parution 1.0 Page 91 sur 231

    4. Directives de dploiement et autres documents l'appui du dploiement, par exemple, la formation

    5. Rapport de toute adaptation faite au processus de test standard de l'organisation pour un projet

    Sous-pratiques

    1. Identifier les projets qui dmarrent au sein de l'organisation

    2. Identifier les projets en cours qui pourraient bnficier de la mise en uvre des (changements aux) processus de test et actifs de processus de test standards de l'organisation

    3. Etablir des plans de dploiement des processus de test et actifs de processus de test standards de l'organisation sur les projets identifis

    4. Documenter les changements apports aux processus de test et actifs de processus de test standards de l'entreprise pour permettre la communication sur ces changements

    5. S'assurer que la formation est disponible pour ceux qui veulent commencer utiliser les processus de test et actifs de processus de test standards

    6. Fournir des conseils et du support sur l'utilisation des processus de test et actifs de processus de test standards de lorganisation

    7. Assister les projets dans l'adaptation des processus de test et actifs de processus de test standards de lorganisation pour rpondre leurs besoins

    8. Tenir des rapports sur l'adaptation et la mise en uvre des processus sur les projets identifis et s'assurer que les rsultats de l'adaptation du processus de test sont intgrs dans le plan du processus dvaluation de la conformit (voir la prochaine pratique spcifique)

    9. Lorsquun processus de test standard de l'organisation est mis jour, dterminer quel projet doit mettre en uvre les changements

    Reportez-vous au domaine de processus Cycle de Vie et Intgration du Test pour de plus amples renseignements sur la faon dont le dploiement des actifs de processus de test organisationnels est support et rendu possible par la librairie des actifs de processus de test de l'organisation.

    SP 5.2 Surveiller la mise en uvre

    La mise en uvre des processus de test standard de l'organisation et l'utilisation des actifs de processus de test dans des projets sont surveilles.

    Exemples de produits dactivit

    1. Rsultats du suivi de la mise en uvre des processus de test dans les projets

    2. Etat et rsultats des valuations de la conformit des processus de test

    3. Rsultats de l'examen des artefacts de processus de test slectionns, crs dans le cadre du processus dadaptation et dimplmentation

    Sous-pratiques

    1. Suivre les projets pour leur utilisation des processus de test et actifs de processus de test de lorganisation et pour leurs modifications

    2. Revoir les artefacts de processus de test slectionns, crs au cours d'un projet, pour sassurer de leur conformit

    3. Revoir les rsultats des valuations de conformit des processus de test afin de dterminer dans quelle mesure les processus de test et actifs de processus de test de lorganisation ont t bien dploys

    4. Identifier, documenter et suivre jusqu leur fermeture les problmes lis la mise en uvre des processus de test standards de l'organisation

    SP 5.3 Intgrer des retours dexprience dans le processus de test organisationnel

    Les leons tires de la planification et de l'excution des processus de test sont incorpors dans les processus de test et actifs de processus de test de lorganisation.

  • TMMi niveau 3 Organisation de Test

    2012 TMMi Foundation. Parution 1.0 Page 92 sur 231

    Exemples de produits dactivit

    1. Revoir les rsultats concernant l'efficacit et la pertinence des processus de test et leurs actifs de processus de test

    2. Documents sur les retours dexprience (par exemple, les rapports d'valuation des tests)

    3. Propositions d'amlioration des processus de test

    4. Registre des activits d'amlioration des processus de test organisationnels

    Sous-pratiques

    1. Procder des valuations priodiques de l'efficacit et de l'adquation des processus de test standards de l'organisation et leurs actifs de processus de test par rapport aux objectifs de l'entreprise, aux objectifs de test, la politique de test et la stratgie de test

    2. Obtenir des retours sur l'utilisation des processus de test et actifs de processus de test standards de lorganisation

    3. Tirer des enseignements de la dfinition, du pilotage, du dploiement et de l'application des processus de test et actifs de processus de test standards de lorganisation

    4. Rendre les retours dexprience disponibles aux personnes de l'organisation, selon le besoin

    Les projets documenteront gnralement leurs retours dexprience dans un rapport d'valuation de test [TMap].

    5. Identifier les meilleures pratiques pouvant tre mises la disposition d'autres projets et intgres dans la bibliothque des actifs de processus de test de lorganisation pour tre rutilises par d'autres projets

    6. Analyser les indicateurs de performance de test de l'organisation et lensemble commun des mesures de test

    7. D'aprs les informations recueillies et analyses, tirer des propositions d'amlioration des processus de test et des propositions d'amlioration des processus logiciels

    8. Soumettre des propositions d'amlioration des processus logiciels

    9. Grer les propositions d'amlioration des processus de test

    Exemples d'activits pour la gestion des propositions d'amlioration des processus de test :

    Solliciter des propositions d'amlioration des processus de test

    Recueillir les propositions d'amlioration des processus de test

    Revoir les propositions d'amlioration des processus de test

    Slectionner des propositions d'amlioration des processus de test qui seront mises en uvre

    Suivre la mise en uvre des propositions d'amlioration des processus de test

    10. Etablir et maintenir un registre des activits d'amlioration des processus de test de lorganisation

    Pratiques Gnriques par Objectifs

    GG 2 Institutionnaliser un Processus Disciplin

    GP 2.1 Etablir une politique organisationnelle

    tablir et maintenir une politique organisationnelle pour la planification et l'excution du processus de lOrganisation de Test.

    Elaboration

    La politique de lorganisation de test spcifie gnralement :

    Le groupe test est reconnu comme une entit organisationnelle

  • TMMi niveau 3 Organisation de Test

    2012 TMMi Foundation. Parution 1.0 Page 93 sur 231

    Les tches, les responsabilits, et la position du groupe de test dans l'organisation globale

    Le degr d'indpendance du groupe de test au sein de l'organisation gnrale et des projets

    Le test est reconnu comme une profession

    Les fonctions de test et les parcours professionnels sont identifis et institutionnaliss

    Exemples de fonctions de test :

    Test Manager

    Chef d'quipe de test

    Concepteur de tests

    Ingnieur de test

    Consultant en test

    Ingnieur en environnements de test

    Les processus de test standards (y compris les modles) qui sont dfinis et maintenus par lorganisation de test et appliqus uniformment

    L'approche des mesures de test, bases de donnes de test, outils de tests et rutilisation des tests

    Les activits de test que lorganisation de test facilite et/ou coordonne au sein des projets

    Le rapport d'valuation de test (retours dexprience) que chaque projet (de test) fournira pour servir l'amlioration des processus de test standard

    Les objectifs et la structure organisationnelle concernant l'amlioration des processus de test

    L'approche de la planification, la mise en uvre et le dploiement des amliorations des processus de test travers l'organisation

    GP 2.2 Planifier le processus

    Etablir et maintenir le planning pour mettre en uvre le processus Organisation de Test.

    Elaboration

    Le plan demand pour cette pratique gnrique traite de la planification globale au niveau de l'organisation pour l'ensemble des pratiques spcifiques dans ce domaine de processus permettant datteindre les objectifs spcifiques.

    Le plan d'amlioration des processus de test fait partie des pratiques spcifiques de ce domaine de processus et nest donc pas le plan vis par cette pratique gnrique.

    GP 2.3 Fournir les ressources

    Fournir les ressources adquates pour mettre en uvre le processus Organisation de Test, laborer les produits dactivits de test, et fournir les services de ce processus.

    Elaboration

    Un budget annuel est disponible pour les activits de lorganisation de test, par exemple, l'amlioration des processus de test

    Des moyens et des outils appropris sont mis disposition pour excuter les activits de test organisationnelles

    Un environnement de bureau pleinement oprationnel est disponible pour lorganisation de test

    GP 2.4 Attribuer les responsabilits

    Attribuer la responsabilit et l'autorit pour mettre en uvre le processus Organisation de Test, dvelopper les produits dactivit de test, et fournir les services de ce processus.

  • TMMi niveau 3 Organisation de Test

    2012 TMMi Foundation. Parution 1.0 Page 94 sur 231

    Elaboration

    Un gestionnaire de ressources est dsign comme responsable de la gestion du groupe de test. La gestion du processus de test standard est souvent dlgue un gestionnaire de la technologie de test. En outre, un comit de pilotage pour l'amlioration des processus de test est cr et charg de fournir le parrainage de la hirarchie.

    Exemples de responsabilits de lorganisation de test affecter :

    Reprsenter le groupe de test dans l'ensemble de lorganisation

    Grer les ressources humaines pour les spcialistes de test et leurs parcours de carrire

    Grer et amliorer les processus de test

    Faciliter les activits de test effectues au sein des projets

    GP 2.5 Former les personnes

    Former les personnes effectuant ou soutenant le processus Organisation de Test en fonction des besoins.

    Elaboration Exemples de thmes de formation :

    Formation la gestion des ressources humaines

    Sessions d'valuation du personnel

    Coaching des professionnels de test

    TMMi et autres modles d'amlioration des processus de test

    Planification et gestion de l'amlioration des processus de test

    Gestion du changement

    Notez que la formation des ingnieurs (de test) et des gestionnaires (de test) sur les processus de test standard et le support des outils de test sont abords dans le cadre du domaine de processus Programme de Formation en Test.

    GP 2.6 Grer en configuration

    Placer les produits dactivits slectionns du processus Organisation de Test sous le niveau appropri de gestion de la configuration.

    Elaboration Exemples de produits dactivits placs en gestion de configuration :

    Description de lorganisation de test

    Descriptions de postes pour les fonctions de test

    Descriptions des parcours de carrire de test

    Plan personnel de dveloppement de carrire

    Rapports d'valuation du test

    Plans d'amlioration des processus de test

    Plans de dploiement

    GP 2.7 Identifier et impliquer les parties prenantes concernes

    Identifier et impliquer les parties prenantes du processus Organisation de Test selon la planification.

  • TMMi niveau 3 Organisation de Test

    2012 TMMi Foundation. Parution 1.0 Page 95 sur 231

    Elaboration Exemples dimplication des parties prenantes :

    La haute direction pour traiter des engagements de lorganisation de test

    La gestion des ressources humaines pour le soutien et le respect de la description des fonctions de test et des plans de dveloppement de carrire

    Le responsable de l'amlioration des processus pour la cohrence avec d'autres initiatives d'amlioration, par exemple, l'amlioration des processus logiciels

    GP 2.8 Surveiller et contrler le processus

    Surveiller et contrler le processus Organisation de Test selon le planning afin de mettre en uvre le processus et de prendre les mesures appropries.

    Elaboration Exemples de mesures utilises pour surveiller et contrler le processus Organisation de test :

    Le nombre rel de spcialistes de test par fonction de test par rapport au nombre prvu de spcialistes de test par fonction de test

    Pourcentage des spcialistes de test pour lequel un plan personnel de dveloppement de carrire de test existe

    Nombre de propositions d'amlioration des processus de test prsentes, acceptes et/ou mises en uvre

    Planning pour le dploiement des actifs de processus de test de l'organisation

    Pourcentage de projets utilisant les processus de test standard actuels de l'organisation (ou une version adapte de ces processus)

    GP 2.9 Evaluer la conformit de manire objective

    Evaluer la conformit de manire objective du processus Organisation de Test et des produits dactivits slectionns par rapport la description du processus, aux normes et aux procdures, et traiter les non-conformits.

    Elaboration Exemples de sujets de revues et/ou d'audit d'valuation de la conformit :

    Performance oprationnelle de lorganisation de test

    Membres du personnel affects une fonction de test dfinie

    Plans de dveloppement de carrire

    Planifier et coordonner les activits d'amlioration des processus de test

    Dploiement des processus de test standard de lorganisation sur des projets

    Plans d'amlioration des processus de test

    Plans de dploiement des processus de test

    GP 2.10 Passer en revue le statut avec la hirarchie

    Passez en revue les activits, la situation et les rsultats du processus Organisation de Test avec la hirarchie et traiter les problmes.

    Elaboration Exemples de questions examiner avec la hirarchie :

    Performance de lorganisation de test

  • TMMi niveau 3 Organisation de Test

    2012 TMMi Foundation. Parution 1.0 Page 96 sur 231

    Nombre de postes de test ouverts

    Statut des amliorations en cours de dveloppement par les quipes

    Rsultats de pilotes et des dploiements

    GG 3 Institutionnaliser un Processus Ajust Ne s'applique qu'au niveau TMMi 3.

    GP 3.1 Etablir un processus ajust

    Etablir et maintenir la description d'un processus Organisation de Test ajust.

    GP 3.2 Recueillir des informations sur l'amlioration

    Recueillir les expriences lies au processus dcoulant de la planification et de l'excution du processus Organisation de Test pour soutenir l'utilisation future et l'amlioration des processus de l'organisation et des actifs de processus.

    Elaboration Exemples dindicateurs :

    Nombre de spcialistes de test dans lorganisation de test

    Rotation du personnel de test

    Niveau d'application des processus de test standard

    Conclusions de l'valuation sur les forces et les faiblesses des processus de test de l'organisation

    Statut des activits d'amlioration par rapport au planning

  • TMMi niveau 3 Programme de Formation en Test

    2012 TMMi Foundation. Parution 1.0 Page 97 sur 231

    PA 3.2 Programme de Formation en Test

    Intention Lobjectif du domaine de processus Programme de Formation en Test est de dvelopper un programme de formation qui facilite le dveloppement des connaissances et des comptences des personnes afin que les tches et les rles de test puissent tre effectus de manire efficace et efficiente.

    Notes introductives Le Programme de Formation en Test comprend la formation pour soutenir les objectifs stratgiques de l'organisation et rpondre aux besoins de formation communs aux diffrents projets. Les besoins de formation spcifiques identifis pour les projets individuels sont traits au niveau du projet. Le Programme de Formation en Test est troitement li et interdpendant avec le domaine de processus Organisation de Test. L'un des principaux objectifs du Programme de Formation en Test est de soutenir lorganisation de test par la formation des spcialistes de test et autres parties prenantes. Un programme de formation de qualit garantit que ceux qui sont impliqus dans le test continuent d'amliorer leurs comptences de test et d'actualiser leurs connaissances du domaine et celles lies au test. Le programme de formation peut tre organis et gr par l'intermdiaire d'un groupe de formation ddi.

    L'tablissement d'un programme de formation en test est un engagement supplmentaire de la hirarchie pour maintenir une quipe de test de haute qualit et pour promouvoir l'amlioration continue des processus de test. Lors des tests, un ensemble de comptences est ncessaire. Les catgories principales sont les principes du test, les techniques de tests, la gestion des tests, les outils de tests, la connaissance du domaine, les connaissances IT, lingnierie des systmes, le dveloppement logiciel et les relations interpersonnelles. Un programme de formation en test, constitu de plusieurs modules de formation, est dvelopp pour couvrir ces catgories. Notez quaux niveaux suprieurs de TMMi dautres catgories de formation plus avances vont devenir importantes, par exemple, la prvention des dfauts au niveau TMMi 5. Certaines comptences sont effectivement et efficacement transmises de manire informelle (par exemple, la formation sur le tas et le mentorat), tandis que d'autres comptences ncessitent des formations formelles.

    Le terme formation est utilis dans ce domaine de processus pour inclure l'ensemble de ces options d'apprentissage. Le programme de formation en test est li aux fonctions de test et aux rles de test, et facilitera les plans de carrire de test. Dployer le programme de formation garantit les connaissances et le niveau de comptence de toutes les personnes impliques dans les tests. La mise en uvre du domaine de processus Programme de Formation en Test implique d'abord d'identifier les besoins de formation de lorganisation de test, le dveloppement ou l'acquisition de modules de formation spcifiques, dispenser les formations pour rpondre aux besoins identifis et, enfin, lvaluation de l'efficacit du programme de formation.

    Champ dApplication Le domaine de processus Programme de Formation en Test porte sur la mise en place d'un plan de formation organisationnel en test et sur les capacits de formation en test. Il traite galement de la ralisation effective des formations en test prvues. Les formations spcifiques aux projets ne font pas partie de ce domaine de processus. Elles sont traites dans le domaine de processus Planification du Test.

    Rsum des Objectifs et Pratiques Spcifiques SG 1 Etablir une Capacit Organisationnelle de Formation en Test

    SP 1.1 Identifier les besoins stratgiques de formation en test

    SP 1.2 Alignez les besoins de formation en test de lorganisation et du projet

    SP 1.3 Etablir un plan de formation organisationnel en test

    SP 1.4 Etablir la capacit de formation en test

    SG 2 Fournir les Formations en Tests

    SP 2.1 Dlivrer les formations en test

    SP 2.2 Documenter les informations sur les formations donnes

    SP 2.3 Evaluer l'efficacit des formations en test

  • TMMi niveau 3 Programme de Formation en Test

    2012 TMMi Foundation. Parution 1.0 Page 98 sur 231

    Pratiques Spcifiques par Objectif

    SG 1 Etablir une Capacit Organisationnelle de Formation en Test Les moyens de formation, qui soutiennent les rles de test de l'organisation, sont tablis et maintenus.

    SP 1.1 Identifier les besoins stratgiques de formation en test

    Les besoins stratgiques de formation en test de l'organisation sont identifis et maintenus.

    Exemples de produits dactivit

    1. Besoins en formation

    2. Analyse de l'valuation

    Sous-pratiques

    1. Analyser les objectifs stratgiques de l'organisation, la politique et la stratgie de test et le plan d'amlioration des processus (de test) pour identifier les besoins actuels et futurs de formation en test

    Exemples de catgories de besoins de formation en test :

    Ingnierie et processus de test (par exemple, le processus organisationnel de test standard, les principes de test, le cycle de vie du test, les techniques de tests statiques, les techniques de tests dynamiques, les outils de test et l'automatisation des tests)

    Gestion des tests (par exemple, l'estimation des tests, le suivi et la gestion des risques)

    Formations lies lIT (par exemple, l'ingnierie des exigences, gestion de configuration, gestion de projets, ingnierie des systmes, dveloppement logiciels, dveloppement des modles de cycle de vie)

    Comptences interpersonnelles (par exemple, la communication, l'esprit d'quipe)

    Expertise dans le domaine

    Notez que l'identification des formations en processus de test est principalement base sur les comptences qui sont requises pour effectuer lensemble des processus de test standard de l'organisation.

    2. Evaluer priodiquement l'ensemble des comptences en test des personnes impliques dans les tests

    3. Documenter les besoins stratgiques de formation en test de l'organisation

    4. Associer les besoins de formation en test aux fonctions de test (y compris les parcours de carrire de test) et les rles de test de lorganisation

    5. Rviser les besoins stratgiques de formations en test de lorganisation, selon le besoin

    SP 1.2 Aligner les besoins de formation en test de lorganisation et du projet

    Les besoins de formation en test de l'organisation et du projet sont aligns. Les besoins de formation en test sous la responsabilit de lorganisation et ceux devant tre laisss la charge de chaque projet sont dtermins.

    Lquipe de formation de l'organisation est responsable des besoins inter-projets de formation en test. Dans certains cas, cependant, lquipe de formation de l'organisation peut aborder des besoins de formation en test supplmentaires en fonction des ressources de formation et des priorits de formation de l'organisation.

    Exemples de produits dactivit

    1. Besoins communs de formation en test des projets

    2. Engagements de formation pour les projets

  • TMMi niveau 3 Programme de Formation en Test

    2012 TMMi Foundation. Parution 1.0 Page 99 sur 231

    Sous-pratiques

    1. Analyser les besoins de formations en test identifis par les diffrents projets

    Lanalyse des besoins spcifiques aux projets vise identifier les besoins communs en matire de formation de test qui peuvent tre traits plus efficacement au niveau de l'organisation. Cette activit d'analyse peut galement tre utilise pour anticiper des besoins futurs en matire de formation de test qui sont d'abord visibles au niveau projet.

    2. Dterminer si les besoins de formation identifis au niveau des diffrents projets sont spcifiques aux projets ou communs l'organisation.

    Les besoins de formation en test communs l'organisation sont normalement grs au moyen dun programme de formation en test organisationnel.

    3. Ngocier avec les diffrents projets sur la faon avec laquelle leurs besoins de formation spcifiques seront satisfaits

    Exemples de formations ralises de manire approprie au niveau du projet :

    Formation dans le domaine d'application du projet

    Formation aux outils et mthodes utilises uniquement dans le cadre du projet

    4. Documenter les engagements pour fournir aux projets un soutien dans la formation en test

    Reportez-vous au SP 4.2 Planifier laffectation du personnel de test du domaine de processus Planification du Test pour obtenir plus d'informations sur les plans de formation spcifiques aux projets.

    SP 1.3 Etablir un plan de formation organisationnel en test

    Un plan de formation organisationnel en test est tabli et maintenu.

    Notez que dans de nombreuses organisations cette planification est effectue chaque anne avec une revue trimestrielle.

    Exemples de produits dactivit

    1. Plan de formation en test

    2. Engagements de formation en test

    Sous-pratiques

    1. Etablir le contenu du plan de formation en test

    Exemples d'lments d'un plan de formation organisationnel en test :

    Thmes de formations en test

    Plannings en fonction des activits de formation en test et de leurs dpendances

    Mthodes utilises pour la formation

    Exigences et normes de qualit pour le matriel de formation

    Les tches, rles et responsabilits de formation

    Ressources ncessaires, y compris les outils, les moyens, lenvironnement et le personnel

    Comptences et connaissances requises pour les formateurs

    Donnes collecter pour mesurer l'efficacit de la formation

    2. Revoir le plan de formation en test avec les groupes et individus concerns, par exemple, les ressources humaines, les quipes de test et la gestion de projet.

    3. Etablir les engagements envers le plan de formation en test

    4. Rviser le plan de formation en test et les engagements, selon le besoin

  • TMMi niveau 3 Programme de Formation en Test

    2012 TMMi Foundation. Parution 1.0 Page 100 sur 231

    SP 1.4 Etablir la capacit de formation en test

    Une capacit de formation en test est tablie et maintenue pour rpondre aux besoins de formation de l'organisation et pour rpondre aux besoins de formation spcifiques aux projets.

    Exemples de produits dactivit

    1. Matriels de formation en test et artefacts associs

    Sous-pratiques

    1. Slectionnez les approches appropries pour satisfaire les besoins spcifiques de formation en test

    Exemples de mthodes de formation :

    La formation en groupe

    Enseignement assist par ordinateur

    Etudes autonomes guides

    Apprentissage formel et programmes de mentorat

    Sminaires sous forme de djeuners plateaux-repas

    Formation sur le tas structure

    2. Dterminer si le matriel pdagogique en test doit tre dvelopp en interne ou acquis en externe

    Exemple de critres qui peuvent tre utiliss pour dterminer le mode le plus efficace d'acquisition des connaissances ou des comptences :

    Temps disponible pour prparer le matriel de formation

    Disponibilit de l'expertise en interne

    Disponibilit de la formation (matriel) partir de sources externes

    Budget disponible

    Temps requis pour l'entretien du matriel de formation

    3. Dvelopper ou obtenir le matriel de formation en test

    4. Dvelopper ou obtenir des instructeurs qualifis

    5. Dcrire la formation dans les programmes de formation en test de l'organisation

    Exemples d'informations fournies dans les descriptions de formation en test pour chaque cours :

    Objectifs de la formation

    Sujets abords dans la formation

    Public vis

    Prrequis, par exemple, d'autres formations ou des expriences pratiques

    Prparation pour la participation

    Dure de la formation

    Le plan des leons

    Critres d'achvement du cours

    6. Rviser le matriel de formation en test et les artefacts associs

    Exemples de situations dans lesquelles le matriel de formation en test et les artefacts associs peuvent ncessiter une rvision :

    La formation en test a besoin de changement (par exemple, lorsqu'une nouvelle technologie

  • TMMi niveau 3 Programme de Formation en Test

    2012 TMMi Foundation. Parution 1.0 Page 101 sur 231

    associe au sujet de la formation est disponible)

    Lorsque l'valuation de la formation en test indique un besoin de changement (par exemple, les valuations des sondages sur l'efficacit de la formation, les valuations des programmes de formation, ou les formulaires dvaluation formateurs)

    SG 2 Fournir les Formations en Test Les formations ncessaires pour remplir leur rle efficacement sont dispenses aux testeurs et autres personnes impliques dans les tests.

    Dans le choix des personnes former, il faut aussi tenir compte de la ncessit pour les gestionnaires de comprendre les principes de base et la stratgie des tests, pour les dveloppeurs d'tre en mesure d'effectuer des tests unitaires et d'intgration, pour les utilisateurs d'tre en mesure de participer aux tests d'acceptation, etc.

    SP 2.1 Dlivrer les formations en test

    Les formations sont dispenses selon le plan de formation organisationnel en test.

    Exemples de produits dactivit

    1. Cours de formation dlivrs

    2. Formulaires d'valuation des cours dment remplis

    Sous-pratiques

    1. Slectionnez les personnes qui recevront la formation ncessaire pour remplir leur rle de test efficacement

    Notez qu'une drogation peut tre accorde ceux qui possdent dj les connaissances et les comptences ncessaires pour obtenir de bons rsultats dans leurs fonctions. Il faut veiller ce quil ny ait pas dabus au niveau de ces drogations.

    2. Planifier la formation, y compris toutes les ressources ncessaires, selon le besoin (par exemple, les moyens et les formateurs)

    3. Dlivrer la formation

    4. Rassemblez les formulaires d'valuation des cours remplis par les participants

    5. Suivre la ralisation des formations par rapport au plan

    SP 2.2 Documenter les dispenses de formation en test

    Un registre montrant les formations en test de l'organisation qui ont t ralises est cr et maintenu.

    Bien qu' proprement parler le champ dapplication de ce domaine de processus est la formation en test effectue au niveau de l'organisation, afin de fournir des informations cohrentes et compltes sur chaque employ, le registre des formations doit contenir de prfrence toutes les formations, qu'elles soient effectues au niveau de lorganisation ou au niveau des projets.

    Exemples de produits dactivit

    1. Registres des formations en test

    2. Mises jour de formations dans le rfrentiel de l'organisation

    Sous-pratiques

    1. Tenir un registre de tous les employs qui terminent avec succs un cours de formation ou toute autre activit de formation ainsi que ceux qui ont chou

    2. Tenir un registre de tous les employs qui ont t dispenss d'une formation spcifique en mentionnant les raisons et lapprobation de la hirarchie

    3. Mettre disposition des personnes concernes les registres de formation pour les affectations, par exemple, en fournissant une matrice de comptences avec un rsum de l'exprience et du parcours scolaire des personnes

  • TMMi niveau 3 Programme de Formation en Test

    2012 TMMi Foundation. Parution 1.0 Page 102 sur 231

    SP 2.3 Evaluer l'efficacit des formations en test

    L'efficacit du programme de formation en test de l'organisation est value.

    Les rsultats des valuations de l'efficacit des formations en test devraient tre utiliss pour rviser le matriel de formation comme dcrit dans la pratique spcifique Etablir la capacit de formation .

    Exemples de produits dactivit

    1. Sondages sur l'efficacit des formations

    2. Evaluations de la performance des programmes de formation

    3. Rsultats des examens de formation

    Sous-pratiques

    1. Evaluer les projets en cours ou achevs afin de dterminer si les connaissances des employs sont adquates pour effectuer les tches de test des projets

    2. Evaluer l'efficacit de chaque formation en fonction des objectifs d'apprentissage tablis au niveau de l'organisation, des projets ou des individus

    3. Obtenir une valuation des lves de la faon avec laquelle les activits de formation rpondent leurs besoins

    Pratiques Gnriques par Objectifs

    GG 2 Institutionnaliser un Processus Disciplin

    GP 2.1 Etablir une politique organisationnelle

    tablir et maintenir une politique organisationnelle pour la planification et l'excution du processus Programme de Formation en Test.

    Elaboration

    La politique de formation en test spcifie gnralement :

    Les connaissances et les comptences ncessaires pour exercer les fonctions et les rles de test

    Le vecteur de transmission des connaissances et comptences des formations en test

    Les formations en test sont dispenses pour construire une base de connaissances et de comptences pour les tests, pour rpondre aux besoins des projets et pour dvelopper les comptences des individus

    Un groupe de formation interne est mis en place

    Les formations en test sont dveloppes au sein de l'organisation ou obtenues l'extrieur de l'organisation lorsque cela est appropri

    Les formations en test sont galement applicables pour les reprsentants d'entreprise, les ingnieurs logiciels, les intgrateurs et les architectes qui remplissent un rle de test au sein d'un projet

    GP 2.2 Planifier le processus

    tablir et maintenir le plan pour appliquer le processus Programme de Formation en Test.

    Elaboration Ce plan pour la mise en uvre du processus Programme de Formation en Test diffre du plan de formation en test dcrit dans une pratique spcifique de ce domaine de processus. Le plan de cette pratique gnrique devrait aborder la planification globale de l'ensemble des pratiques spcifiques de ce domaine de processus, de ltablissement des besoins stratgiques de formation en test jusqu l'valuation de l'efficacit de l'effort de formation en test. En revanche, le plan de formation en test devrait porter sur la planification priodique de la dlivrance de formations individuelles.

  • TMMi niveau 3 Programme de Formation en Test

    2012 TMMi Foundation. Parution 1.0 Page 103 sur 231

    GP 2.3 Fournir les ressources

    Fournir des ressources adquates pour mettre en place le processus Programme de Formation en Test, en dveloppant les produits dactivits de test, et en fournissant les services du processus.

    Elaboration

    Un budget annuel est disponible pour la formation en test

    Les personnes, par exemple, lquipe de formation de l'organisation, possdant les comptences appropries sont disponibles

    Exemples de personnes (temps plein ou partiel, interne ou externe), et de comptences :

    Experts en test

    Experts de domaine

    Concepteurs de programmes

    Concepteurs de cours

    Instructeurs

    Administrateurs de formations

    Les moyens et les outils appropris sont mis disposition pour dispenser les formations

    Exemples de moyens et d'outils de formation :

    Equipements de salle de formation

    Postes de travail pour la formation

    Modules de formation sur ordinateur

    Modles pour le dveloppement de matriaux de prsentation

    GP 2.4 Attribuer les responsabilits

    Attribuer la responsabilit et l'autorit pour mettre en place le processus Programme de Formation en Test, en dveloppant les produits dactivit, et en fournissant les services du processus Programme de Formation en Test.

    Elaboration

    Un groupe (ou une personne) est dsign comme responsable de l'laboration, de la gestion et de la coordination du programme de formation en test, par exemple, un dpartement/coordinateur organisationnel de formations, les ressources humaines, etc.

    GP 2.5 Former les personnes

    Former les personnes charge de mettre en place ou de soutenir le processus Erreur ! Source du renvoi introuvable. en fonction des besoins.

    Elaboration Exemples de thmes de formation :

    Analyse des besoins en connaissances et comptences

    Conception dun cours

    Techniques/mthodes de dlivrance de formation

    Formation de mise niveau

  • TMMi niveau 3 Programme de Formation en Test

    2012 TMMi Foundation. Parution 1.0 Page 104 sur 231

    GP 2.6 Grer en configuration

    Placer les produits dactivit slectionns du processus Programme de Formation en Test sous un niveau appropri de gestion de configuration.

    Elaboration Exemples de produits dactivits placs sous gestion de configuration :

    Plan de formation en test

    Registres de formation

    Matriaux de formation et artefacts associs

    Formulaires d'valuation

    GP 2.7 Identifier et impliquer les parties prenantes concernes

    Identifier et impliquer les parties prenantes du processus Programme de Formation en Test comme prvu dans le planning.

    Elaboration Exemples d'activits pour limplication des parties prenantes :

    Identifier les besoins de formation en test

    Revoir le plan de formation en test

    Evaluer l'efficacit des formations en test

    GP 2.8 Surveiller et contrler le processus

    Surveiller et de contrler le processus Programme de Formation en Test selon le planning pour mettre en place le processus et prendre les mesures appropries.

    Elaboration Exemples de mesures utilises dans la surveillance et le contrle du processus Programme de Formation en Test :

    Nombre de formations dispenses (par exemple, prvu et rel)

    Prsence effective chaque cours de formation par rapport la participation prvue

    Planning de ralisation des formations

    Planning de dveloppement des cours

    Cots des formations par rapport au budget allou

    Progrs dans le dveloppement et la fourniture de formation par rapport aux besoins documents de formation en test

    GP 2.9 Evaluer la conformit de manire objective

    Evaluer objectivement le respect du processus Programme de Formation en Test et slectionner les produits dactivits selon la description du processus, les normes et les procdures, et traiter les non-conformits.

    Elaboration Exemples de sujets de revue et/ou audit de conformit :

    Processus d'laboration et de rvision du plan de formation

    Processus d'laboration et de rvision des cours de formation

    Dlivrer les formations en test requises

  • TMMi niveau 3 Programme de Formation en Test

    2012 TMMi Foundation. Parution 1.0 Page 105 sur 231

    Plan de formation en test

    Registre des formations en test

    Matriaux de formation et artefacts associs

    Formulaires d'valuation des instructeurs

    GP 2.10 Passer en revue le statut avec la hirarchie

    Passez en revue les activits, ltat et les rsultats du processus Programme de Formation en Test avec la hirarchie et rsoudre les problmes.

    Elaboration Exemples de sujets examiner avec la hirarchie :

    L'efficacit du programme de formation en test

    Les progrs en ce qui concerne les activits de formation en test

    Les cots de formation en test

    La performance des organismes de formation sous-traitants

    GG 3 Institutionnaliser un Processus Ajust Ne s'applique qu'au niveau TMMi 3.

    GP 3.1 Etablir un processus ajust

    Etablir et maintenir la description d'un processus Programme de Formation en Test ajust.

    GP 3.2 Recueillir des informations sur l'amlioration

    Recueillir les expriences lies au processus dcoulant de la planification et de l'excution du processus Programme de Formation en Test pour soutenir l'utilisation future et l'amlioration des processus de l'organisation et des actifs de processus.

    Elaboration Exemples de mesures :

    Nombre de formations dispenses (par exemple, prvu et rel)

    Notes d'valuation post-formation

    Rsultats de l'enqute de qualit sur le programme de formation

  • TMMi niveau 3 Cycle de Vie et Intgration du Test

    2012 TMMi Foundation. Parution 1.0 Page 106 sur 231

    PA 3.3 Cycle de Vie et Intgration du Test

    Intention Lobjectif du domaine de processus Cycle de Vie et Intgration du Test est d'tablir et de maintenir un ensemble utilisable dactifs de processus test organisationnels (par exemple, un cycle de test standard) et de normes d'environnement de travail et d'intgrer et synchroniser le cycle de vie des tests avec le cycle de vie du dveloppement. Un cycle de vie intgr assure une implication prcoce des tests dans un projet. Le but du domaine de processus Cycle de Vie et Intgration du Test est aussi de dfinir une approche cohrente dans l'ensemble des diffrents niveaux de test, en fonction des risques identifis et de la stratgie de test dfinie, et de fournir un plan de test global, bas sur le cycle de vie des tests dfini.

    Notes introductives Une responsabilit importante de lorganisation de test est de dfinir, documenter et maintenir un processus de test standard, conformment la politique et aux objectifs de lorganisation de test. Les actifs de processus organisationnels permettent des performances de processus de test uniformes dans toute l'organisation et fournissent une base pour des gains long terme cumulatifs pour l'organisation. La bibliothque dactifs de processus de test de l'organisation est une collection d'objets maintenue pour une utilisation par les personnes et les projets de l'organisation. La collection dobjets inclut la description des processus de test, la description du cycle de vie des tests, des modles (notamment les modles et les guides pour les livrables de test), des outils de test, des guides de processus dadaptation et une base de donnes de processus de test. La bibliothque dactifs de processus de test de l'organisation aide lamlioration de l'apprentissage organisationnel et des processus en mettant disposition les bonnes pratiques et les retours dexprience travers toute lorganisation.

    Les modles de cycle de vie de test standard dfinissent les principales phases, activits et rsultats attendus pour les diffrents niveaux de tests. Les activits de tests seront ensuite effectues dans les projets en fonction de ces modles. Les normes et les guides sont labors pour les produits (travaux) lis au test. Les modles de cycle de vie de test standards sont aligns avec les modles de cycle de vie de dveloppement pour intgrer les activits de test en termes de phasage, de jalons, de livrables et dactivits. L'intgration du cycle de vie est faite de telle manire que l'implication prcoce du test dans les projets est assure, par exemple, la planification des tests commence pendant la phase de spcification des exigences, les plannings des tests d'intgration et des tests unitaires sont initis au moment de la conception dtaille. Les testeurs passeront en revue les documents de base des tests pour dterminer la testabilit et la planification des dveloppements peut tre influence par l'approche de test. L'ensemble des processus de test standard de l'organisation peut tre adapt aux projets pour crer des processus spcifiques. Les normes d'environnement de travail sont utilises pour guider la cration des environnements de travail du projet.

    Au niveau TMMi 3, la gestion des tests est aborde avec un plan de test matre qui traite de la coordination des tches de test, des responsabilits et de l'approche de test sur les diffrents niveaux de test. Cela vite la redondance inutile ou les omissions de tests entre les diffrents niveaux de test et peut augmenter considrablement l'efficacit et la qualit de lensemble des processus de test. Les informations rsultant de la planification des tests du projet sont documentes dans un plan de test de projet qui coordonne les plans de test de niveau, qui doivent tre crits spcifiquement pour un niveau de test donn. Le plan de test matre dcrit l'application de la stratgie de test pour un projet particulier, y compris les niveaux particuliers prendre en charge et la relation entre ces niveaux. Le plan de test matre doit tre cohrent avec la politique et la stratgie de test, et, dans des domaines spcifiques o il ne l'est pas, doit expliquer les carts et les exceptions. Le plan de test matre viendra complter le plan projet ou le guide oprationnel qui dcrit l'effort global de test dans le cadre du projet ou de lopration dans son ensemble. Le plan de test matre fournit une planification globale des tests et constitue le document de gestion des tests pour lensemble des niveaux de test (au sein d'un projet ou de plusieurs projets). Sur les petits projets ou petites oprations (par exemple, o un seul niveau de test est formalis) le plan de test matre et le plan de test de niveau sont souvent combins en un seul document.

    Champ dapplication Le domaine de processus Cycle de Vie et Intgration du Test couvre toutes les pratiques pour tablir et maintenir un ensemble utilisable dactifs de processus de tests de l'organisation (par exemple, un cycle de test standard) et de normes d'environnement de travail, et pour intgrer et synchroniser le cycle de vie du test avec le cycle de vie du dveloppement. Le domaine de processus Cycle de Vie et Intgration du Test traite galement des pratiques lies au plan de test matre. Le plan de test matre au niveau TMMi 3 dfinit une approche cohrente sur l'ensemble des niveaux de test.

  • TMMi niveau 3 Cycle de Vie et Intgration du Test

    2012 TMMi Foundation. Parution 1.0 Page 107 sur 231

    Rsum des Objectifs et Pratiques Spcifiques SG 1 Etablir les actifs du Processus de Test Organisationnel

    SP 1.1 Etablir des processus de test standard

    SP 1.2 Etablir des descriptions de modles de cycle de vie de test couvrant tous les niveaux de test

    SP 1.3 Etablir des critres et directives dajustement

    SP 1.4 Etablir la base de donnes du processus de test de lorganisation

    SP 1.5 Etablir la bibliothque des actifs du processus de test de lorganisation

    SP 1.6 Etablir les standards denvironnements de travail

    SG 2 Intgrer les Modles de Cycle de Vie de Tests aux Modles de Dveloppement

    SP 2.1 Etablir des modles de cycle de vie intgrs

    SP 2.2 Revoir les modles de cycle de vie intgrs

    SP 2.3 Obtenir des engagements sur le rle du test dans les modles de cycle de vie intgrs

    SG 3 Etablir un Plan de Test Matre

    SP 3.1 Effectuer une valuation des risques produit

    SP 3.2 Etablir l'approche de test

    SP 3.3 Etablir des estimations de test

    SP 3.4 Dfinir l'organisation pour le test

    SP 3.5 Dvelopper le plan de test matre

    SP 3.6 Obtenir un engagement sur le plan de test matre

    Pratiques Spcifiques par Objectif

    SG 1 Etablir les Actifs du Processus de Test Organisationnel Un ensemble d'actifs de processus de test organisationnels est tabli et maintenu.

    SP 1.1 Etablir des processus de test standard

    L'ensemble des processus de test standard de l'organisation est tabli et maintenu.

    De multiples processus de test standards peuvent tre ncessaires pour rpondre aux besoins des diffrents domaines dapplications, niveaux de test, modles de cycle de vie, mthodologies et outils. L'ensemble des processus de test standards de l'organisation se concentre gnralement sur les procds techniques. Cependant, selon le besoin de la direction, des processus organisationnels et de soutien peuvent galement faire partie des processus de test standards. L'ensemble des processus de test de l'organisation devrait couvrir collectivement tous les processus ncessaires l'organisation et aux projets, y compris les processus abords au niveau de maturit 2.

    Exemples de produits dactivit

    1. Ensemble des processus de test standard de lorganisation

    Sous-pratiques

    1. Dcomposer chaque processus de test standard en lments de processus avec le niveau de dtail ncessaire pour comprendre et dcrire les processus

    2. Spcifier les attributs essentiels de chaque lment de processus

    Exemples d'lments essentiels :

    Rles et responsabilits dans le processus

  • TMMi niveau 3 Cycle de Vie et Intgration du Test

    2012 TMMi Foundation. Parution 1.0 Page 108 sur 231

    Normes applicables

    Procdures, mthodes et outils applicables

    Critres d'entre

    Donnes dentres

    Mesures du produit et des processus devant tre collectes

    Points de vrification (par exemple, les revues)

    Donnes de sorties

    Interfaces

    Critres de sortie

    3. Spcifier les relations entre les lments de processus

    Exemples de relations :

    Squence d'lments de processus

    Interfaces entre lments de processus

    Interfaces avec des processus externes au test

    Interdpendances entre lments du processus

    4. Sassurer que l'ensemble des processus de test standard de l'organisation est conforme aux politiques, aux normes et aux modles de l'organisation

    Le respect des normes et des modles applicables est gnralement dmontr par l'laboration d'une cartographie de l'ensemble des processus de test standards de l'organisation par rapport aux normes et modles appropris.

    5. Sassurer que lensemble des processus de test standards de l'organisation rpond aux besoins et objectifs des processus de test de l'organisation de test

    6. Documenter l'ensemble des processus de test standards de l'organisation

    7. Effectuer des revues par les pairs sur l'ensemble des processus de test standards de l'organisation

    8. Rviser l'ensemble des processus de test standards de l'organisation, si ncessaire

    SP 1.2 Etablir des descriptions de modles de cycle de vie de test couvrant tous les niveaux de test

    Des descriptions de modles de cycle de vie (y compris les modles et directives relatifs aux livrables de test) approuvs pour une utilisation dans l'organisation sont tablis et maintenus, assurant la couverture de tous les niveaux de tests identifis.

    Exemples de produits dactivit

    1. Description des modles de cycle de vie de test

    Sous-pratiques

    1. Slectionner les modles de cycle de vie de test sur la base des besoins des projets et de l'organisation

    2. Documenter la description des modles de cycle de vie des tests

    La description dun cycle de vie de test comprend gnralement :

    Stratgie de test, par exemple les niveaux de test et leurs objectifs

    Phases du cycle de vie du test, par exemple, la planification et le contrle, l'analyse et la conception des tests, limplmentation et lexcution des tests, l'valuation des critres de sortie et

  • TMMi niveau 3 Cycle de Vie et Intgration du Test

    2012 TMMi Foundation. Parution 1.0 Page 109 sur 231

    le reporting, les activits de clture du test

    Critres d'entre et de sortie pour chaque phase

    Activits de test par phase

    Responsabilits

    Livrables

    Jalons

    3. Dvelopper des modles et des directives pour les livrables identifis dans les modles de cycle de vie du test

    Exemples de livrables de test mis en uvre au moyen de modles et de directives :

    Plan de test matre

    Plan de test de niveau

    Spcification de conception de test

    Spcification de cas de test

    Spcification de procdure de test

    Journal de test

    Rapport d'incident

    Rapport de synthse du test

    Rapport d'valuation du test

    4. Effectuer des revues par les pairs sur les modles de cycle de vie de test, et des modles et directives de support

    5. Rviser la description des modles de cycle de vie de test, et des modles et directives de support, le cas chant

    SP 1.3 Etablir des critres et directives dajustement

    Les critres et directives dajustement pour l'ensemble des processus de test standards de l'organisation sont tablis et maintenus.

    Exemples de produits dactivit

    1. Critres et directives dajustement pour l'ensemble des processus de test standards de l'organisation

    Les critres et directives dajustement comprennent gnralement :

    Comment l'ensemble des processus de test standard de lorganisation et les actifs de processus de test organisationnels sont utiliss pour crer des processus de test adapts

    Les exigences obligatoires qui doivent tre satisfaites par les processus adapts

    Options pouvant tre exerces et critres de slection parmi les options

    Les procdures qui doivent tre suivies dans l'excution et la documentation de lajustement des processus de test

    Sous-pratiques

    1. Spcifier les critres et procdures de slection pour adapter lensemble des processus de test standards de l'organisation

    Exemples d'actions dadaptation :

    Modifier un modle de cycle de vie de test

  • TMMi niveau 3 Cycle de Vie et Intgration du Test

    2012 TMMi Foundation. Parution 1.0 Page 110 sur 231

    Combiner les lments de diffrents modles de cycle de vie de test

    Modifier des lments du processus de test

    Remplacer des lments du processus de test

    Supprimer des lments du processus de test

    Rorganiser des lments du processus de test

    2. Spcifier les normes pour documenter les processus de test adapts

    3. Spcifier les procdures de soumission et d'approbation de drogations des exigences de l'ensemble des processus de test standard de l'organisation

    4. Documenter les directives dadaptation pour l'ensemble des processus de test standard de l'organisation

    5. Effectuer des revues par les pairs sur les directives dadaptation

    6. Rviser les directives dadaptation tant que ncessaire

    SP 1.4 Etablir la base de donnes du processus de test de lorganisation

    La base de donnes du processus de test de l'organisation est tablie et maintenue.

    Exemples de produits dactivit

    1. Dfinition de l'ensemble commun des lments de processus de test et des donnes de produits dactivit pour l'ensemble des processus de test standard de l'organisation

    2. Rfrentiel des processus de test de l'organisation (ex. : la structure du rfrentiel et l'environnement de support)

    3. Base de donnes des processus de test de lorganisation

    Sous-pratiques

    1. La base de donnes des processus de test est mise en place pour recueillir et rendre disponibles les donnes sur les processus de test et les produits rsultant des activits

    Exemples de processus de test et de donnes de produits dactivit :

    Les estimations de test et les donnes relles, par exemple sur la taille, l'effort et le cot

    Les mesures de la qualit, par exemple, le nombre de dfauts constats par niveau de priorit

    Couverture des revues par les pairs

    Couverture de test

    Mesures de fiabilit

    2. Les donnes saisies dans la base de donnes des processus de test sont revues pour assurer l'intgrit du contenu de la base de donnes

    La base de donnes des processus de test contient ou rfrence galement les donnes de mesure relles et les informations et donnes connexes ncessaires pour comprendre et interprter les donnes de mesure et y accder de manire raisonnable et applicable.

    3. La base de donnes des processus de test est gre et contrle

    L'accs des utilisateurs au contenu de la base de donnes des processus de tests est contrl pour s'assurer de l'exhaustivit, l'intgrit, la scurit et l'exactitude des donnes

    SP 1.5 Etablir la bibliothque des composants du processus de test de lorganisation

    La bibliothque des actifs de processus de test de l'organisation est tablie et maintenue.

    Exemples de produits dactivit

    1. Bibliothque des actifs de processus de test de l'organisation

  • TMMi niveau 3 Cycle de Vie et Intgration du Test

    2012 TMMi Foundation. Parution 1.0 Page 111 sur 231

    2. Catalogue d'lments dans la bibliothque des actifs de processus de test de l'organisation

    Sous-pratiques

    1. Concevoir et mettre en uvre la bibliothque des actifs de processus de test de l'organisation, y compris la structure de la bibliothque et l'environnement de support

    2. Prciser les critres pour inclure des lments dans la bibliothque, par exemple, principalement en fonction de leur lien avec l'ensemble des processus de test standard de l'organisation

    3. Prciser les modalits de stockage et de rcupration des lments

    4. Enregistrer les lments slectionns dans la bibliothque et les cataloguer pour faciliter leur rfrencement et leur rcupration

    Exemples d'lments stocker dans la bibliothque des actifs de processus de test de l'organisation :

    La politique de test et la stratgie de test

    Les descriptions des processus de test dfinis

    Les procdures (par exemple, la procdure d'estimation des tests)

    Les modles

    Les actifs des bonnes pratiques des processus de test

    Les plans de tests termins

    Le matriel de formation

    Les aides aux processus (par exemple, des listes de contrle)

    Les leons apprises documentes (par exemple, les rapports d'valuation des tests)

    5. Rendre les lments disponibles pour une utilisation dans les projets

    6. Examiner priodiquement l'utilisation de chaque lment et utiliser les rsultats pour maintenir le contenu de la bibliothque

    7. Rviser la bibliothque des actifs de processus de test de l'organisation, selon le besoin

    SP 1.6 Etablir les standards denvironnements de travail

    Les standards denvironnements de travail sont tablis et maintenus.

    Exemples de produits dactivit

    1. Normes de lenvironnement de travail

    Exemples de standards d'environnement de travail :

    Procdures pour le fonctionnement et la scurit de l'environnement de travail

    Matriel du poste de travail et logiciels standard

    Logiciel applicatifs standard

    Sous-pratiques

    1. Evaluer les standards d'environnement de travail disponibles dans le commerce et appropris pour l'organisation

    2. Adopter des normes d'environnement de travail existantes et en dvelopper de nouvelles pour combler les lacunes sur la base des besoins et des objectifs des processus de test de l'organisation

  • TMMi niveau 3 Cycle de Vie et Intgration du Test

    2012 TMMi Foundation. Parution 1.0 Page 112 sur 231

    SG 2 Intgrer les Modles de Cycle de Vie de Test aux Modles de Dveloppement Le cycle de vie de test est intgr au cycle de dveloppement en termes de phasage, jalons, livrables et activits, assurant limplication prcoce des tests.

    SP 2.1 Etablir des modles de cycle de vie intgrs

    Les descriptions des modles de cycle de vie de test et de dveloppement intgrs qui sont approuvs pour une utilisation dans l'organisation sont tablies et maintenues.

    Exemples de produits dactivit

    1. Description des modles de cycle de vie intgrs

    Sous-pratiques

    1. Synchroniser les phases des modles de cycle de vie du test avec les phases des modles de cycle de vie du dveloppement

    2. Sassurer que le test est impliqu tt dans le cycle de vie du dveloppement, par exemple, au cours du dveloppement des exigences

    3. Dfinir des dpendances mutuelles entre les activits de test et de dveloppement

    4. Dfinir des dpendances mutuelles entre les livrables et les jalons du cycle de vie du test et du dveloppement

    5. Documenter la description des modles de cycle de vie intgrs

    6. Rviser la description des modles de cycle de vie intgrs, le cas chant

    SP 2.2 Revoir les modles de cycle de vie intgrs

    Les modles de cycle de vie intgrs sont revus avec les parties prenantes afin de promouvoir leur comprhension du rle des tests dans les modles de cycle de vie de test et de dveloppement intgrs.

    Exemples de produits dactivit

    1. Rapport de revue des cycles de vie intgrs

    Sous-pratiques

    1. Organiser des revues avec les parties prenantes pour les aider comprendre le rle des tests dans les modles intgrs de cycle de vie du test et du dveloppement.

    SP 2.3 Obtenir des engagements sur le rle du test dans les modles de cycle de vie intgrs

    Des engagements sont obtenus de la part des parties prenantes qui sont responsables du management, de l'excution et du soutien des activits du projet bases sur les modles de cycle de vie intgrs en ce qui concerne le rle des tests dans ces modles de cycle de vie intgrs.

    Exemples de produits dactivit

    1. Demandes dengagements documentes

    2. Engagements documents

    Sous-pratiques

    1. Identifier le soutien ncessaire et ngocier des engagements avec les parties prenantes

    2. Documenter l'ensemble des engagements de l'organisation, quils soient complets ou partiels

    3. Revoir les engagements internes avec la direction, le cas chant

    4. Revoir les engagements externes avec la direction, le cas chant

  • TMMi niveau 3 Cycle de Vie et Intgration du Test

    2012 TMMi Foundation. Parution 1.0 Page 113 sur 231

    SG 3 Etablir un Plan de Test Matre Un plan de test matre est tabli afin de dfinir une approche de test cohrente travers de multiples niveaux de test et une planification globale du test.

    SP 3.1 Effectuer une valuation des risques produit

    Une valuation des risques produit est ralise afin d'identifier les zones critiques typiques pour le test.

    Exemples de produits dactivit

    1. Liste des risques produit, avec une catgorie et une priorit attribue chaque risque

    Sous-pratiques

    1. Identifier et slectionner les parties prenantes qui doivent contribuer l'valuation des risques produit

    2. Identifier les risques produit gnriques l'aide dinformations des parties prenantes

    3. Documenter le contexte et les effets potentiels du risque produit

    4. Identifier les parties prenantes concernes pour chacun des risques produit

    5. Revoir les risques produit identifis en fonction de laffectation des tests

    6. Analyser les risques produit identifis l'aide des paramtres prdfinis, par exemple, la probabilit et l'impact

    7. Catgoriser et grouper les risques produit selon les catgories de risques dfinies

    8. Prioriser les risques produit en vue de leur rduction

    9. Revoir et obtenir un accord avec les parties prenantes sur l'exhaustivit, la catgorie et le niveau de priorit des risques produit

    10. Rviser les risques produit, le cas chant

    Reportez-vous SG 1 Effectuer une Evaluation des Risques Produit du domaine de processus Planification du Test pour plus de dtails sur les (sous-)pratiques pour effectuer l'valuation des risques produit.

    SP 3.2 Etablir l'approche de test

    L'approche de test est tablie et convenue pour limiter les risques produit identifis et prioriss.

    Exemples de produits dactivit

    1. Approche de test

    2. Liste des points tester et ne pas tester

    3. Liste des fonctionnalits tester et ne pas tester

    4. Ensemble identifi des niveaux de test

    5. Table d'allocation des articles/fonctionnalits/risques produit aux niveaux de test

    6. Critres d'entre par niveau de test

    7. Critres de sortie par niveau de test

    Sous-pratiques

    1. Identifier et documenter les lments et les fonctionnalits tester, et ne pas tester, sur la base des risques produit.

    Notez que le niveau d'agrgation des articles de test et des fonctionnalits de test est susceptible d'tre plus lev lors de la planification de test matre que lors de la planification d'un niveau de test individuel.

    2. Identifier les niveaux de test ncessaires pour attnuer les risques produit

  • TMMi niveau 3 Cycle de Vie et Intgration du Test

    2012 TMMi Foundation. Parution 1.0 Page 114 sur 231

    3. Allouer les lments et les fonctionnalits tester ainsi que les risques produit des niveaux de test identifis

    4. Slectionner les techniques de conception de tests utiliser aux diffrents niveaux de test ; plusieurs techniques de conception de tests sont dfinis pour assurer une couverture de test approprie en fonction des risques produit dfinis

    5. Dfinir l'approche pour revoir les produits dactivits de test

    6. Dfinir l'approche pour le retest et les tests de non-rgression

    7. Identifier les outils de test devant tre utiliss

    8. Identifier les contraintes significatives concernant l'approche de test

    9. Dfinir un ensemble de critres d'entre lis au processus de test et la qualit des produits pour chaque niveau de test identifi

    10. Dfinir un ensemble de critres de sortie lis au processus de test et la qualit des produits pour chaque niveau de test identifi

    11. Aligner l'approche de test avec la stratgie de test dfinie lchelle de l'organisation ou du programme

    12. Identifier toute non-conformit avec la stratgie de test et la raison de la variation

    13. Revoir l'approche de test avec les parties prenantes

    14. Revoir l'approche de test, le cas chant

    Reportez-vous SG 2 Etablir une Approche de Test du domaine de processus Planification des tests pour plus de dtails sur les (sous-)pratiques pour tablir l'approche de test.

    SP 3.3 Etablir des estimations de test

    Des estimations de test bien fondes sont tablies et maintenues pour une utilisation lors des discussions sur l'approche de test avec les parties prenantes et lors de la planification des activits de test.

    Notez que tt dans le cycle de vie du dveloppement, les informations requises peuvent ne pas tre toutes disponibles pour tablir une estimation dfinitive des tests. En consquence, la prcision de l'estimation des tests est limite. Il est important pour le test manager de clarifier avec les parties prenantes que l'estimation des tests devra tre finalise, et ventuellement adapte, plus tard dans le cycle de vie lorsque plus d'informations seront disponibles.

    Exemples de produits dactivit

    1. Structure de dcomposition du travail (WBS)

    2. Modle de cycle de vie du test slectionn

    3. Estimations de l'effort de test

    4. Estimations du cot des tests

    Sous-pratiques

    1. Slectionner un modle de cycle de vie de test dans lensemble des standards de l'organisation sur lequel concentrer l'effort de planification

    2. Etablir une structure de dcomposition du travail de haut niveau base sur l'approche de test dfinie pour dfinir clairement la porte de l'estimation des tests.

    3. Estimer l'effort et le cot des tests pour les produits et les tches dactivits de test sur la base dlments destimation, par exemple, les mtriques de test de la base de donnes des processus de test

    4. Aligner l'effort et le cot estims des tests avec l'effort et le cot estims globaux du projet

    Reportez-vous SG 3 Etablir des Estimations de Test du domaine de processus Planification du Test pour plus de dtails sur les (sous-)pratiques pour tablir des estimations de test.

  • TMMi niveau 3 Cycle de Vie et Intgration du Test

    2012 TMMi Foundation. Parution 1.0 Page 115 sur 231

    SP 3.4 Dfinir l'organisation pour le test

    L'organisation des tests diffrents niveaux est dfinie, y compris les interfaces avec d'autres processus, et, une vision claire de ce qui est attendu par les diffrentes parties concernes est tablie.

    La relation du test avec d'autres processus tels que le dveloppement, la gestion de projet, lassurance qualit et la gestion de la configuration est dtermine et dcrite. Cela comprend les moyens de communication au sein de l'organisation de test, l'autorit pour rsoudre les problmes soulevs par les tests, et l'autorit pour approuver les produits et processus de test. Cela peut inclure une reprsentation visuelle, par exemple, un organigramme.

    Exemples de produits dactivit

    1. Description de l'organisation de test

    Sous-pratiques

    1. Dterminer les rles de test diffrents niveaux de test pour assurer la cohrence entre les diffrents niveaux de test

    2. Dfinir les pouvoirs et les responsabilits pour les diffrents rles de test, produits et processus

    3. Dfinir la structure organisationnelle, par exemple, la relation entre les diffrents rles, les niveaux de test identifis et les autres parties prenantes dans le processus de dveloppement

    4. Dfinir la structure de communication (par exemple, des runions et des rapports), tant au sein du test quavec les parties prenantes externes

    SP 3.5 Dvelopper le plan de test matre

    Le plan de test matre est tabli afin de dfinir une approche de test cohrente travers les multiples niveaux de test.

    Exemples de produits dactivit

    1. Plan de test matre

    Sous-pratiques

    1. Etablir le plan de test matre avec des tapes prdfinies de taille grable pour les niveaux de test identifis sur la base de l'estimation des tests dfinie et du cycle de vie de test slectionn

    2. Aligner le plan de test matre avec le planning global du projet

    3. Prvoir les ressources ncessaires en personnel de test avec les connaissances et les comptences ncessaires pour raliser les tests

    4. Planifier la participation des parties prenantes identifies

    5. Identifier, analyser et documenter les risques projet associs au test

    6. Etablir et maintenir le plan de test matre

    Exemples d'lments d'un plan de test matre [daprs IEEE 829] :

    Identifiant du plan de test

    Introduction gnrale (champ d'application, rfrences, vue d'ensemble du systme et des tests)

    Organisation, y compris les rles et les responsabilits

    Non-conformits avec la stratgie de test et les justifications

    Elments tester (en incluant le niveau de risque) et ne pas tester

    Caractristiques tester (en incluant le niveau de risque) et ne pas tester

    Identification des niveaux de test et des types de tests

    Approche de test (par exemple, techniques de conception de tests) par niveau de test

    Critres dentre et de sortie par niveau de test

  • TMMi niveau 3 Cycle de Vie et Intgration du Test

    2012 TMMi Foundation. Parution 1.0 Page 116 sur 231

    Jalons de test et produits dactivits

    Cycle de vie et tches du test

    Les besoins et les exigences en environnements (y compris l'environnement de bureau)

    Les besoins en personnel et formation

    Limplication des parties prenantes

    Lestimation des tests

    Le planning matre des tests

    Les risques et les contingences du projet de test

    Reportez-vous SG 4 Dvelopper un Plan de Test du domaine de processus Planification du Test pour plus de dtails sur les (sous-)pratiques pour laborer un plan de test matre.

    Reportez-vous au domaine de processus Environnement de Test pour plus d'informations sur les besoins et les exigences environnementaux.

    SP 3.6 Obtenir un engagement sur le plan de test matre

    Des engagements par rapport au plan de test matre sont tablis et maintenus.

    Exemples de produits dactivit

    1. Demandes documentes dengagements

    2. Rapport de revue du plan de test matre

    3. Plan de test matre rvis et rengoci, y compris les changements dans les budgets de test, le planning du test, la liste des risques produit et les accords avec les parties prenantes

    4. Engagements documents

    Sous-pratiques

    1. Organiser des revues avec les parties prenantes pour les aider comprendre les engagements du test

    2. Discuter des diffrences entre les ressources estimes et disponibles avec les parties prenantes

    3. Concilier les diffrences entre les ressources estimes et disponibles

    4. Identifier le soutien ncessaire et ngocier des engagements avec les parties prenantes

    5. Documenter l'ensemble des engagements de l'organisation, la fois complets et partiels

    6. Revoir les engagements internes avec la direction, le cas chant

    7. Revoir les engagements externes avec la direction, le cas chant

    Reportez-vous SG 5 Obtenir un Engagement sur le Plan de test du domaine de processus Planification du Test pour plus de dtails sur les (sous-)pratiques pour obtenir l'engagement sur le plan de test matre.

    Pratiques Gnriques par Objectifs

    GG 2 Institutionnaliser un Processus Disciplin

    GP 2.1 Etablir une politique organisationnelle

    tablir et maintenir une politique organisationnelle pour la planification et l'excution du processus Cycle de Vie et Intgration du Test.

  • TMMi niveau 3 Cycle de Vie et Intgration du Test

    2012 TMMi Foundation. Parution 1.0 Page 117 sur 231

    Elaboration

    La politique pour le cycle de vie et l'intgration des tests spcifie gnralement :

    Un ensemble de processus de test standards pour une utilisation dans l'organisation est tabli et maintenu

    Les actifs de processus de test de lorganisation sont mis disposition dans toute l'organisation

    Un cycle de vie de test standard est dfini pour chaque niveau de test

    Des normes et directives sont disponibles pour les produits de test (dactivit) chaque tape du cycle de vie

    Le cycle de vie du test dfini est intgr au cycle de dveloppement

    Le plan de test matre coordonne les activits de test sur plusieurs niveaux de test

    Les niveaux de test sont rgis par l'intermdiaire d'un plan de test matre

    Le plan de test matre est align avec la stratgie de test lchelle de l'organisation ou du programme

    Le test est impliqu un stade prcoce du dveloppement

    GP 2.2 Planifier le processus

    Etablir et maintenir le planning pour mettre en uvre le processus Cycle de Vie et Intgration du Test.

    Elaboration

    Le plan pour l'tablissement et le maintien des processus de test standard de l'organisation et des actifs de processus de test peut faire partie du (ou tre rfrenc par le) plan d'amlioration des processus de test de l'organisation.

    En rgle gnrale, le plan pour l'tablissement du plan de test matre est inclus dans le plan du projet, qui est dcrit dans le domaine de processus CMMI Planification de Projet.

    GP 2.3 Fournir les ressources

    Fournir les ressources adquates pour mettre en uvre le processus Cycle de Vie et Intgration du Test, laborer les produits dactivits de test, et fournir les services de ce processus.

    Elaboration

    Un gestionnaire technique de test, soutenu par un groupe de processus de test, gre la dfinition des processus de test standard de l'organisation. Le groupe de processus de test est gnralement compos d'un noyau de professionnels du test. Le groupe de processus de test est soutenu par les propritaires des processus de test, un gestionnaire de l'amlioration des processus et les personnes ayant une expertise dans divers tests et autres disciplines.

    Exemples d'autres ressources prvues pour la dfinition et le maintien des processus de test standard de l'organisation :

    Outils de gestion de base de donnes

    Outils de modlisation des processus

    Constructeurs de page Web

    Exemples de ressources pour l'laboration du plan de test matre :

    Pour le plan de test matre il existe une responsabilit documente et approuve pour le test couvrant typiquement les problmes et les attentes concernant les buts et objectifs, les critres de sortie, les lments et les caractristiques tester et ne pas tester, le type de test effectuer, les normes imposes, le cot, les contraintes de planning et de ressources

    Un temps suffisant est allou la gestion des tests pour accomplir les activits du plan de test matre

    Des personnes exprimentes, qui ont une expertise dans le domaine d'application de l'objet de

  • TMMi niveau 3 Cycle de Vie et Intgration du Test

    2012 TMMi Foundation. Parution 1.0 Page 118 sur 231

    test et dautres qui ont une expertise sur le processus de dveloppement sont disponibles pour soutenir le dveloppement du plan de test matre

    Des outils pour soutenir le processus dfini dans le plan de test matre sont disponibles, par exemple, des outils de planification des projets, des outils d'estimation, des outils d'valuation des risques, des outils de gestion des tests et des outils de gestion de configuration.

    GP 2.4 Attribuer les responsabilits

    Attribuer la responsabilit et l'autorit pour mettre en uvre le processus Cycle de Vie et Intgration du Test, dvelopper les produits dactivit de test, et fournir les services de ce processus.

    Elaboration

    Un gestionnaire technique de test, soutenu par un groupe de processus de test, est souvent dsign comme responsable de la gestion de la dfinition des processus de test standard de l'organisation. Le groupe de processus de test est gnralement compos d'un noyau de professionnels du test. Le groupe de processus de test est soutenu par les propritaires des processus de test, un gestionnaire de l'amlioration des processus et les personnes ayant une expertise dans divers tests et autres disciplines.

    Un test manager est gnralement dsign comme responsable de ngocier des engagements et l'laboration du plan de test matre. Le test manager, que ce soit directement ou par dlgation, coordonne le processus dfinir dans le plan de test matre du projet.

    GP 2.5 Former les personnes

    Former les personnes effectuant ou soutenant le processus Cycle de Vie et Intgration du Test en fonction des besoins.

    Elaboration

    Les personnes impliques dans l'tablissement de l'ensemble des actifs organisationnels de processus de test sont formes dans le dveloppement et le maintien des processus.

    Exemples de thmes de formation :

    TMMi, CMMI et d'autres modles de rfrence de processus (de test)

    Planification, gestion et suivi des processus

    Modlisation et dfinition des processus

    Dvelopper un processus standard adaptable

    Elaborer des normes d'environnement de travail

    Ergonomie

    Les Test Managers, et d'autres individus ou groupes impliqus, sont forms la planification des tests matre et aux procdures et techniques connexes.

    Exemples de thmes de formation :

    Principes de planification

    Stratgie de test

    Processus et techniques d'valuation des risques produit et projets

    Dfinir une approche de test

    Modles et standards de plans de test

    Structures organisationnelles

    Estimation des tests et de la planification des tests

    Outils de planification des tests

  • TMMi niveau 3 Cycle de Vie et Intgration du Test

    2012 TMMi Foundation. Parution 1.0 Page 119 sur 231

    GP 2.6 Grer en configuration

    Placer les produits dactivits slectionns du processus Cycle de Vie et Intgration du Test sous le niveau appropri de gestion de la configuration.

    Elaboration Exemples de produits dactivits placs en gestion de configuration :

    Ensemble des processus de test standards de lorganisation

    Description des modles de cycle de vie de test intgrs

    Directives dadaptation pour l'ensemble des processus de test standards de l'organisation

    Le processus de test de l'Organisation et des donnes de mesure de la qualit des produits

    La structure de dcomposition du travail

    Les donnes d'estimation de test

    Les donnes d'valuation des risques du produit

    Le rapport d'examen du plan de test matre

    Le Plan de test matre

    GP 2.7 Identifier et impliquer les parties prenantes concernes

    Identifier et impliquer les parties prenantes du processus Cycle de Vie et Intgration du Test selon la planification.

    Elaboration Exemples dimplication des parties prenantes :

    Revoir lensemble des processus de test standards de l'organisation

    Revoir les modles de cycle de vie intgrs de l'organisation

    Rsoudre les problmes avec les directives dadaptation

    Evaluer les dfinitions de l'ensemble commun des donnes de mesure des processus de test et de la qualit des produits

    Revoir les normes d'environnement de travail

    Slectionner les produits et les composants de produits tester

    Identifier les niveaux et les types de risques du produit et des composants du produit tester en tant impliqu dans une valuation des risques produit

    Apporter une contribution aux estimations de test

    Revoir et rsoudre les problmes sur les risques lis au projet de test

    Sengager explicitement sur les ressources de test ncessaires

    Revoir et approuver le plan de test matre

    GP 2.8 Surveiller et contrler le processus

    Surveiller et contrler le processus Cycle de Vie et Intgration du Test selon le planning afin de mettre en uvre le processus et de prendre les mesures appropries.

    Elaboration Exemples de mesures utilises pour surveiller et contrler le processus Cycle de Vie et Intgration du Test :

    Pourcentage de projets utilisant les lments des processus de test de l'ensemble des processus de test standard de l'organisation

  • TMMi niveau 3 Cycle de Vie et Intgration du Test

    2012 TMMi Foundation. Parution 1.0 Page 120 sur 231

    Nombre de demandes de modification pour chaque lment de processus de test de l'ensemble des processus de test standard de l'organisation

    Nombre de demandes de compensation des membres du personnel en raison de problmes ergonomiques

    Jours ncessaires pour le dveloppement d'un processus de test ou d'un changement de processus de test

    Nombre de rvisions du plan de test matre

    Effort dpens et dlai actuel par rapport l'effort prvu et au dlai planifi dans le plan de test matre

    Nombre darticles de test avec des changements de niveau de risque par rvision du plan de test

    Variations du cot, du planning et de leffort par rvision du plan

    Lexcution du plan de test matre est gnralement surveille et contrle au moyen des pratiques du domaine de processus Suivi et Contrle du Test.

    GP 2.9 Evaluer la conformit de manire objective

    Evaluer la conformit de manire objective du processus Cycle de Vie et Intgration du Test et des produits dactivits slectionns par rapport la description du processus, aux normes et aux procdures, et traiter les non-conformits.

    Elaboration Exemples de sujets de revues et/ou d'audit d'valuation de la conformit :

    Activits pour tablir les actifs de processus de test organisationnels

    Ensemble des processus de test standard de lorganisation

    Description des modles de cycle de vie de test

    Directives d'adaptation pour l'ensemble des processus de test standard de l'organisation

    Donnes des processus de test de lorganisation

    Conformit avec la stratgie de test

    Conformit aux normes (procdures et modles)

    Qualit du plan de test matre

    Approche de test dfinie

    Processus d'valuation des risques produit

    Processus d'estimation des tests

    Activits de revue et de prise dengagements concernant le test

    GP 2.10 Passer en revue le statut avec la hirarchie

    Passez en revue les activits, la situation et les rsultats du processus Cycle de Vie et Intgration du Test avec la hirarchie et traiter les problmes.

    GG 3 Institutionnaliser un Processus Ajust

    GP 3.1 Etablir un processus ajust

    Etablir et maintenir la description d'un processus Cycle de Vie et Intgration du Test ajust.

  • TMMi niveau 3 Cycle de Vie et Intgration du Test

    2012 TMMi Foundation. Parution 1.0 Page 121 sur 231

    GP 3.2 Recueillir des informations sur l'amlioration

    Recueillir les expriences lies au processus dcoulant de la planification et de l'excution du processus Cycle de Vie et Intgration du Test pour soutenir l'utilisation future et l'amlioration des processus de l'organisation et des actifs de processus.

    Elaboration Exemples dindicateurs :

    Intgration des leons apprises la bibliothque des actifs de processus de l'organisation

    Intgration de donnes la base de donnes des processus de test de l'organisation

    Statut des demandes de changement soumises pour modifier les processus standards de l'organisation

    Pourcentage de plans de test matres tablis conformment la procdure et au modle

    Pourcentage de plans de test matres qui ont des rsultats dvaluation des risques produit documents et une approche de test

    Pourcentage de plans de test matres formellement revus et approuvs par la direction

    Effort de planification de test matre

    Prcision de l'estimation des tests

  • TMMi niveau 3 Test Non-Fonctionnel

    2012 TMMi Foundation. Parution 1.0 Page 122 sur 231

    PA 3.4 Test Non-Fonctionnel

    Intention Lobjectif du domaine de processus Test Non-Fonctionnel est d'amliorer la capacit des processus de test inclure des tests non-fonctionnels au cours de la planification, de la conception et de l'excution des tests. Cela se fait en dfinissant une approche de test base sur les risques produit non-fonctionnels identifis, en tablissant des spcifications de tests non-fonctionnels et en excutant un processus d'excution du test structur ax sur les tests non-fonctionnels.

    Notes introductives La qualit des produits cest la satisfaction des besoins des parties prenantes. Ces besoins doivent tre traduits en des exigences fonctionnelles (ce que le produit fait ) et non-fonctionnelles ( comment le produit le fait-il) bien dcrites. Souvent, les exigences non-fonctionnelles sont trs importantes pour la satisfaction du client. Ce domaine de processus porte sur le dveloppement d'une capacit faire des tests non-fonctionnels. Il y a un ensemble dattributs non-fonctionnels principaux qui sont utiliss pour dcrire la qualit des produits ou des systmes logiciels. Ces attributs de qualit peuvent tre valus en utilisant des techniques de tests non-fonctionnels. L'application des diffrentes techniques de test varie en fonction des capacits du testeur, de la connaissance du domaine et des attributs pris en compte.

    Une approche de test doit tre dfinie en fonction du rsultat d'une valuation des risques produit non-fonctionnels. Selon le niveau et le type de risques non-fonctionnels, il est dcid des exigences du produit qui seront testes, dans quelle mesure et comment. Les risques produit non-fonctionnels et l'approche de test sont dfinis en troite collaboration entre les spcialistes du test et les parties prenantes ; les testeurs ne devraient pas prendre ces dcisions seuls.

    Des techniques de test non-fonctionnel sont appliques, ventuellement soutenues par des outils. Des techniques de test sont utilises pour calculer et choisir les conditions de test non-fonctionnel et crer des cas de test partir des exigences non-fonctionnelles et des spcifications de conception. Les cas de test sont ensuite traduits dans les procdures de tests manuels et/ou des scripts de test automatiss. Des donnes de test spcifiques requises pour excuter les tests non-fonctionnels sont cres. Pendant la phase d'excution des tests, les tests non-fonctionnels seront excuts, des incidents dtects et des rapports d'incidents rdigs.

    Champ dApplication Le domaine de processus Test Non-Fonctionnel implique la ralisation dune valuation des risques produit non- fonctionnels et la dfinition d'une approche de test base sur les risques non-fonctionnels identifis. Il aborde galement la phase de prparation des tests pour calculer et slectionner des conditions de test non-fonctionnel et des cas de test, crer des donnes de test spcifiques et excuter des tests non-fonctionnels. Les pratiques de l'environnement de test, qui sont souvent critiques pour les tests non-fonctionnels, ne sont pas abordes dans ce domaine de processus. Elles sont adresses dans le cadre du domaine de processus du niveau TMMi 2 Environnement de Test et doivent maintenant soutenir galement les tests non-fonctionnels.

    Rsum des Objectifs et Pratiques Spcifiques SG 1 Effectuer une Evaluation des Risques Produit Non-fonctionnels

    SP 1.1 Identifier les risques produit non-fonctionnels

    SP 1.2 Analyser les risques produit non-fonctionnels

    SG 2 Etablir une Approche de Test Non-fonctionnel

    SP 2.1 Identifier les caractristiques non-fonctionnelles tester

    SP 2.2 Dfinir l'approche de test non-fonctionnel

    SP 2.3 Dfinir les critres de sortie non-fonctionnels

    SG 3 Effectuer lAnalyse et la Conception des Tests Non-Fonctionnels

    SP 3.1 Identifier et prioriser les conditions de test non-fonctionnel

    SP 3.2 Identifier et prioriser les cas de test non-fonctionnels

  • TMMi niveau 3 Test Non-Fonctionnel

    2012 TMMi Foundation. Parution 1.0 Page 123 sur 231

    SP 3.3 Identifier les donnes de test spcifiques ncessaires

    SP 3.4 Maintenir la traabilit horizontale avec les exigences non-fonctionnelles

    SG 4 Implmenter les Tests Non-Fonctionnels

    SP 4.1 Dvelopper et prioriser les procdures de test non-fonctionnel

    SP 4.2 Crer des donnes de test spcifiques

    SG 5 Excuter les Tests Non-Fonctionnels

    SP 5.1 Excuter les cas de test non-fonctionnels

    SP 5.2 Rapporter les incidents de test non-fonctionnels

    SP 5.3 Ecrire un registre de test

    Pratiques Spcifiques par Objectif

    SG 1 Effectuer une Evaluation des Risques Produit Non-fonctionnels Une valuation des risques produit est ralise afin d'identifier les zones critiques pour les tests non-fonctionnels.

    SP 1.1 Identifier les risques produit non-fonctionnels

    Les risques produit non-fonctionnels sont identifis et documents.

    Exemples de produits dactivit

    1. Risques produits non-fonctionnels identifis

    Sous-pratiques

    1. Identifier et slectionner les parties prenantes qui doivent contribuer l'valuation des risques

    2. Identifier les risques produit non-fonctionnels bass sur des catgories dfinies de risques non-fonctionnelles du produit en utilisant les informations des parties prenantes et les spcifications d'exigences

    Exemples de techniques d'identification des risques :

    Ateliers sur les risques

    Brainstorming

    Entretiens avec des experts

    Listes de contrle

    Leons apprises

    3. Documenter le contexte d'utilisation et les effets potentiels des risques non-fonctionnels

    4. Identifier les parties prenantes concernes pour chaque risque non-fonctionnel

    Notez que dans la pratique, l'identification des risques produit non-fonctionnels peut tre combine avec la SP 1.2 Identifier les risques produit du domaine de processus Planification du Test et/ou avec la SP 3.1 Effectuer une valuation des risques produit du domaine de processus Cycle de Vie et Intgration du Test lors de l'tablissement d'un de plan de test matre.

    SP 1.2 Analyser les risques produit non-fonctionnels

    Les risques produit non-fonctionnels sont valus, classs et hirarchiss en utilisant les catgories et les paramtres prdfinis.

    Exemples de produits dactivit

    1. Liste des risques produit non-fonctionnels, avec une catgorie et la priorit attribue chaque risque

  • TMMi niveau 3 Test Non-Fonctionnel

    2012 TMMi Foundation. Parution 1.0 Page 124 sur 231

    Sous-pratiques

    1. Analyser les risques produit non-fonctionnels identifis l'aide des paramtres prdfinis, par exemple, la probabilit et l'impact

    2. Catgoriser et grouper les risques produit non-fonctionnels selon les catgories de risques dfinies

    Exemples de catgories de risques non-fonctionnels [ISO 9126] :

    Utilisabilit

    Fiabilit

    Rendement

    Maintenabilit

    Portabilit

    3. Prioriser les risques produit non-fonctionnels pour leur rduction

    4. Etablir la traabilit entre les risques produit non-fonctionnels et les exigences non-fonctionnelles afin de s'assurer que la source des risques produit est documente

    5. Gnrer une matrice de traabilit des exigences non-fonctionnelles / risques produit

    6. Revoir et obtenir un accord avec les parties prenantes sur l'exhaustivit, la catgorie et le niveau de priorit des risques produit non-fonctionnels

    7. Rviser les risques produit non-fonctionnels, le cas chant

    Exemples de situations o les risques produit peuvent devoir tre rviss :

    Apparition ou volution dexigences non-fonctionnelles

    Changement de l'approche de dveloppement logiciel

    Leons apprises sur les questions de qualit dans le projet

    Notez que les catgories et les paramtres de risques produit tels que dfinis dans le domaine de processus Planification du Test (SP1.1 Dfinir les catgories et les paramtres de risques produit) sont en grande partie rutiliss et potentiellement aussi renforcs dans cette pratique spcifique et la suivante.

    SG 2 Etablir une Approche de Test Non-fonctionnel Une approche de test pour les tests non-fonctionnels, fonde sur les risques produit non-fonctionnels identifis, est tablie et agre.

    SP 2.1 Identifier les caractristiques non-fonctionnelles tester

    Les caractristiques non-fonctionnelles tester, et ne pas tester, sont identifies sur la base des risques produit non-fonctionnels.

    Exemples de produits dactivit

    1. Liste des caractristiques non-fonctionnelles tester et ne pas tester

    Sous-pratiques

    1. Dcouper les risques produit non-fonctionnels prioriss en des caractristiques non-fonctionnelles tester et ne pas tester

    2. Documenter le niveau de risque et la documentation source (base de test) pour chaque caractristique identifie tester

    SP 2.2 Dfinir l'approche de test non-fonctionnel

    L'approche de test est dfinie pour attnuer les risques produit non-fonctionnels identifis et prioriss.

  • TMMi niveau 3 Test Non-Fonctionnel

    2012 TMMi Foundation. Parution 1.0 Page 125 sur 231

    Exemples de produits dactivit

    1. Approche de test non-fonctionnel (documente dans un plan de test)

    L'approche devrait tre dcrite avec suffisamment de dtails pour soutenir l'identification des principales tches de test et l'estimation du temps ncessaire pour faire chacune delles.

    Sous-pratiques

    1. Slectionner les techniques de test non-fonctionnel utiliser

    Exemples de techniques de test non-fonctionnel slectionner :

    Evaluation heuristique, enqute et questionnaires sur lutilisabilit

    Profils oprationnels pour la fiabilit

    Tests de charge, de stress et de volume pour le rendement

    Notez que les techniques bote-noire, les techniques bote-blanche et les techniques fondes sur l'exprience telles que les tests exploratoires et les listes de contrle peuvent galement tre slectionnes pour tester des attributs de qualit non-fonctionnels spcifiques.

    2. Dfinir lapproche pour revoir les produits dactivit de test

    3. Dfinir l'approche pour un retest non-fonctionnel

    4. Dfinir l'approche pour les tests de rgression non-fonctionnels

    5. Dfinir les outils de test devant tre utiliss

    6. Identifier les contraintes significatives concernant l'approche de test non-fonctionnel, tels que la disponibilit des ressources de test, les caractristiques de l'environnement de test et les dates limites

    7. Aligner l'approche de test non-fonctionnel avec la stratgie de test dfinie lchelle de l'organisation ou du programme

    8. Identifier les zones de non-conformit avec la stratgie de test et leurs justifications

    9. Revoir l'approche de test non-fonctionnel avec les parties prenantes

    10. Rviser l'approche de test non-fonctionnel, le cas chant

    Exemples de situations o l'approche de test non-fonctionnel peut ncessiter une rvision :

    Niveaux de priorit ajouts ou modifis pour les risques produit non-fonctionnels

    Leons apprises sur l'application de l'approche de test non-fonctionnel dans le projet

    SP 2.3 Dfinir les critres de sortie non-fonctionnels

    Les critres de sortie pour les tests non-fonctionnels sont dfinis pour planifier larrt des tests.

    Exemples de produits dactivit

    1. Les critres de sortie non-fonctionnels

    Sous-pratiques

    1. Dfinir un ensemble de critres de sortie lis aux attributs qualit non-fonctionnels du produit tester

    Exemples de critres de sortie lis aux attributs qualit non-fonctionnels des produits :

    Pour la fiabilit : temps moyen entre les dfaillances (MTBF), temps moyen de rparation (MTTR)

    Pour lutilisabilit : satisfaction de l'utilisateur, temps moyen pour effectuer des fonctions

    Pour le rendement : temps moyen de rponse, utilisation de la mmoire

    Pour la maintenabilit : effort moyen pour changer, disponibilit de la documentation

  • TMMi niveau 3 Test Non-Fonctionnel

    2012 TMMi Foundation. Parution 1.0 Page 126 sur 231

    2. Revoir les critres de sortie non-fonctionnels avec les parties prenantes

    Notez que les critres de sortie d'un niveau de test devraient tre aligns sur les critres d'admission du niveau de test suivant.

    Notez que les critres d'entre, de suspension et de reprise ne sont pas explicitement dfinis dans ce domaine de processus au travers des pratiques spcifiques. Les critres qui ont t dfinis dans le cadre du domaine de processus Panification des Tests sont gnralement applicables aux tests non-fonctionnels. Par exemple, les critres d'entre tels que la disponibilit d'un environnement de test, un test d'admission russie et la disponibilit des notes de version de test sont applicables tous les types de tests, la fois fonctionnels et non fonctionnels.

    SG 3 Effectuer lAnalyse et la Conception des Tests Non-Fonctionnels Durant l'analyse et la conception des tests, l'approche de test pour les tests non-fonctionnels est transforme en conditions de test et cas de test concrets.

    SP 3.1 Identifier et prioriser les conditions de test non-fonctionnel

    Les conditions de test sont identifies et hirarchises, fondes sur une analyse des caractristiques non-fonctionnelles telles que spcifies dans la base de test

    Exemples de produits dactivit

    1. Journal des questions sur la base de test

    2. Conditions de test non-fonctionnel

    3. Spcification de conception de tests non-fonctionnels

    Sous-pratiques

    1. Etudier et analyser la base de test (comme les exigences non-fonctionnelles, larchitecture, les spcifications de conception et d'interface)

    2. Discuter des questions relatives la base de test avec le propritaire du document

    3. Driver les conditions de test de la base de test selon l'approche de test non-fonctionnel documente

    4. Prioriser les conditions de test sur la base des risques produit identifis

    5. Documenter les conditions de test dans une spcification de conception des tests base sur la norme de spcification de conception des tests

    Exemples d'lments d'une spcification de conception des tests [daprs IEEE 829] :

    Identifiant de la spcification de conception des tests

    Caractristiques (et/ou articles) tester

    Affinage de lapproche

    Conditions de test

    Critres russite/chec

    6. Revoir les spcifications de conception des tests avec les parties prenantes

    7. Rviser les spcifications de conception des tests et les conditions de test selon le besoin, par exemple, chaque fois que les exigences changent.

    SP 3.2 Identifier et prioriser les cas de tests non-fonctionnels

    Les cas de tests non fonctionnels sont identifis et prioriss pour couvrir les conditions de test dfinies.

    Exemples de produits dactivit

    1. Cas de tests non-fonctionnels

  • TMMi niveau 3 Test Non-Fonctionnel

    2012 TMMi Foundation. Parution 1.0 Page 127 sur 231

    2. Spcification de cas test non-fonctionnels

    Sous-pratiques

    1. Driver des cas de test partir des conditions de test selon lapproche de test non-fonctionnel documente.

    2. Prioriser les cas de test sur la base des risques produit non-fonctionnels identifis

    3. Documenter les cas de tests non-fonctionnels dans une spcification de cas de test base sur la norme de spcification des cas de test

    Exemples d'lments d'une spcification de cas de test [IEEE 829] :

    Identifiant de la spcification de cas de test

    Caractristiques (et/ou articles) tester

    Spcifications d'entre

    Spcifications de sortie

    Besoins en environnements

    Exigences procdurales spciales

    Dpendances avec dautres cas de test

    4. Revoir les spcifications de cas de test avec les parties prenantes

    5. Rviser les spcifications de cas de test, le cas chant

    SP 3.3 Identifier les donnes de test spcifiques ncessaires

    Les donnes de tests spcifiques ncessaires pour soutenir les conditions de test non-fonctionnels et les cas de test sont identifies.

    Exemples de produits dactivit

    1. Spcification des donnes de test

    Sous-pratiques

    1. Identifier et spcifier les donnes de test spcifiques ncessaires pour mettre en uvre et excuter les cas de tests non-fonctionnels

    2. Documenter les donnes de test spcifiques ncessaires, ventuellement dans le cadre de la spcification des cas de test

    SP 3.4 Maintenir la traabilit horizontale avec les exigences non-fonctionnelles

    Assurer la traabilit horizontale des exigences non-fonctionnelles aux conditions de test non-fonctionnel.

    Exemples de produits dactivit

    1. Matrice de traabilit exigences non-fonctionnelles / conditions de test

    Sous-pratiques

    1. Maintenir la traabilit des exigences non-fonctionnelles afin de s'assurer que la source des conditions de test non-fonctionnel est documente

    2. Gnrer une matrice de traabilit exigences non-fonctionnelles / conditions de test

    3. Etablir la matrice de traabilit de telle manire que le suivi de la couverture des exigences non-fonctionnelles soit facilit au cours de l'excution des tests

    SG 4 Implmenter les Tests Non-Fonctionnels Les procdures de test non-fonctionnel sont labores et priorises, et les donnes de test spcifiques ncessaires pour les tests non-fonctionnels sont cres.

  • TMMi niveau 3 Test Non-Fonctionnel

    2012 TMMi Foundation. Parution 1.0 Page 128 sur 231

    SP 4.1 Dvelopper et prioriser les procdures de test non-fonctionnel

    Les procdures de tests non-fonctionnelles sont labores et priorises.

    Exemples de produits dactivit

    1. Spcification de la procdure de test non-fonctionnel

    2. Script de test automatis

    Sous-pratiques

    1. Elaborer des procdures de tests non-fonctionnelles en combinant les cas de tests non-fonctionnels dans un ordre particulier et en incluant toute autre information ncessaire l'excution des tests

    2. Prioriser les procdures de test non-fonctionnel sur la base des risques produit identifis

    3. Documenter les procdures de test non-fonctionnel dans une spcification de procdure de test sur la base de la norme de spcification des procdures de test

    Exemples d'lments d'une spcification de procdure de test [IEEE 829] :

    Identifiant de la spcification de procdure de test

    Objectif

    Exigences particulires (conditions d'excution)

    Etapes de la procdure (actions et vrification de test)

    4. Revoir les spcifications de procdure de test non-fonctionnel avec les parties prenantes

    5. Rviser les spcifications de procdure de test non-fonctionnel, le cas chant

    6. Eventuellement, les procdures de test non-fonctionnel peuvent tre automatises et traduites en scripts de tests automatiss, par exemple pour les tests d'endurance ou les tests de performance

    7. Planifier les procdures de test non-fonctionnel dans le cadre du planning global d'excution des tests

    Reportez-vous au SP 2.4 Planifier l'excution des tests du domaine de processus Conception et Excution des Tests pour la planification de l'excution des procdures de test et des scripts de test.

    SP 4.2 Crer des donnes de test spcifiques

    Des donnes de test spcifiques sont cres pour soutenir les tests non-fonctionnels tels que spcifis lors des activits d'analyse et de conception des tests.

    Exemples de produits dactivit

    1. Donnes de test spcifiques

    Sous-pratiques

    1. Crer des donnes de test spcifiques ncessaires pour effectuer les tests non-fonctionnels comme indiqu dans les procdures de test

    2. Archiver l'ensemble des donnes de test spcifiques pour permettre une restauration de la situation initiale dans le futur

    Reportez-vous au SP 3.2 Grer les donnes de test du domaine de processus Environnement de Test pour la gestion des donnes de test cres.

    SG 5 Excuter les Tests Non-Fonctionnels Les tests non-fonctionnels sont excuts conformment aux procdures de test spcifies prcdemment. Les incidents sont signals et les journaux de test sont crits.

  • TMMi niveau 3 Test Non-Fonctionnel

    2012 TMMi Foundation. Parution 1.0 Page 129 sur 231

    SP 5.1 Excuter les cas de test non-fonctionnels

    Les cas de tests non-fonctionnels sont excuts manuellement l'aide des procdures de test documentes et/ou automatiquement l'aide de scripts de test.

    Exemples de produits dactivit

    1. Les rsultats des tests

    Sous-pratiques

    1. Excuter les cas de test non-fonctionnel en utilisant des procdures de test documentes et/ou des scripts de test

    2. Enregistrer les rsultats rels

    3. Comparer les rsultats rels avec les rsultats attendus

    4. Rpter les activits de test non-fonctionnel la suite d'une action sur un incident trouv en effectuant un retest (test de confirmation)

    5. Effectuer un test de non-rgression non-fonctionnel, selon le besoin.

    Notez que certains tests non-fonctionnels seront mens de manire informelle, sans l'aide de procdures de test dtailles prdfinies, par exemple, une valuation heuristique pour tester l'utilisabilit.

    Notez que l'excution d'un test non-fonctionnel est normalement prcde par l'ensemble des tests dadmission. Se reporter aux pratiques SP 2.3 Spcifier la procdure de test dadmission et SP 3.1 Effectuer un test dadmission du domaine de processus Conception et Excution des Tests pour plus de dtails sur le test d'admission de l'objet du test et la pratique SP 2.4 Effectuer un test d'admission de lenvironnement de test du domaine de processus Environnement de Test pour plus de dtails sur le test d'admission de l'environnement de test.

    SP 5.2 Rapporter les incidents de test non-fonctionnels

    Les diffrences entre les rsultats rels et attendus sont rapports comme des incidents de test non-fonctionnel.

    Exemples de produits dactivit

    1. Rapports d'incidents de test non-fonctionnel

    Sous-pratiques

    1. Enregistrer des incidents de tests non-fonctionnels lorsquune anomalie est observe.

    2. Analyser l'incident de test non-fonctionnel pour de plus amples informations sur le problme

    3. Etablir la cause de l'incident de test non-fonctionnel, par exemple, le systme en cours de test, la documentation des tests, les donnes de test ou une erreur d'excution du test

    4. Attribuer un niveau de priorit et de svrit l'incident de test non-fonctionnel

    5. Signaler officiellement l'incident de test en utilisant un systme de classification des incidents

    Exemples d'lments d'un rapport d'incident de test [IEEE 829] :

    Identifiant du rapport d'incident de test

    Rsum

    Description de l'incident (entres, les rsultats attendus, les rsultats observs, les anomalies, la date et l'heure, l'tape de la procdure de test, l'environnement, les tentatives pour le rpter, les testeurs, les observateurs)

    Niveau de priorit

    Niveau de svrit

    6. Revoir le rapport d'incident de test non-fonctionnel avec les parties prenantes

  • TMMi niveau 3 Test Non-Fonctionnel

    2012 TMMi Foundation. Parution 1.0 Page 130 sur 231

    7. Enregistrer les incidents de test non-fonctionnel dans un rfrentiel central

    Reportez-vous l'objectif SG 4 Grer les Incidents de Test jusqu leur Fermeture du domaine de processus Conception et Excution des Tests pour plus de dtails sur la faon dont les incidents de test sont traits et grs jusqu leur fermeture.

    SP 5.3 Ecrire un registre de test

    Les registres de test sont crits pour fournir un enregistrement chronologique des dtails pertinents sur l'excution des tests non-fonctionnels.

    Exemples de produits dactivit

    1. Registres de test

    Sous-pratiques

    1. Collecter les donnes d'excution des tests

    2. Documenter les donnes d'excution de test par l'intermdiaire d'un registre de test, sur la base de la norme des registres de test

    Exemples d'lments d'un registre de test [IEEE 829] :

    Identifiant du registre de test

    Description (articles tests, l'environnement dans lequel les tests ont t excuts)

    Liste des activits et des vnements (description de l'excution, rsultats des tests, vnements anormaux, identifiants des rapports d'incidents)

    3. Revoir le registre de test avec les parties prenantes

    Pratiques Gnriques par Objectifs

    GG 2 Institutionnaliser un Processus Disciplin

    GP 2.1 Etablir une politique organisationnelle

    tablir et maintenir une politique organisationnelle pour la planification et l'excution du processus Test Non-Fonctionnel.

    Elaboration

    La politique de test non-fonctionnel spcifie gnralement :

    Les attributs de qualit typiques qui sont importants pour l'entreprise et les produits

    Un ensemble d'attributs de qualit importants et pertinents par niveau de test

    Le niveau d'automatisation des tests et le type d'outils ncessaires

    Le systme de classification des incidents utiliser lorsque des incidents de test non-fonctionnel sont consigns et communiqus

    La procdure documente utiliser pour valuer, classer et traiter les incidents de test non-fonctionnel rapports

    GP 2.2 Planifier le processus

    tablir et maintenir le plan pour appliquer le processus Test Non-Fonctionnel.

    Elaboration

    En rgle gnrale, le plan pour la ralisation du processus de test non-fonctionnel est inclus dans le plan de test, qui est dcrit dans le domaine de processus Planification du Test. Les activits de test non-fonctionnel sont explicitement planifies dans le cadre du plan de test.

  • TMMi niveau 3 Test Non-Fonctionnel

    2012 TMMi Foundation. Parution 1.0 Page 131 sur 231

    GP 2.3 Fournir les ressources

    Fournir des ressources adquates pour mettre en place le processus Test Non-Fonctionnel, en dveloppant les produits dactivits de test, et en fournissant les services du processus.

    Elaboration

    Un temps suffisant est fourni pour effectuer les activits de planification, de conception et d'excution des tests non-fonctionnels

    Des personnes exprimentes, qui ont une expertise dans les activits et les outils de test non-fonctionnel sont disponibles

    Des personnes exprimentes, qui ont une expertise dans le domaine d'application de l'objet de test, et dautres qui ont une expertise dans le processus de dveloppement sont disponibles pour soutenir le dveloppement de l'approche de test non-fonctionnel, par exemple, en participant des sances d'analyse des risques produit et la conception des tests non-fonctionnels, ainsi quen participant au revues

    Des outils pour soutenir la conception des tests et processus d'excution non-fonctionnels sont disponibles

    Exemples doutils :

    Outil de surveillance

    Outil de performance

    Outil d'analyse statique

    Outil d'analyse dynamique

    GP 2.4 Attribuer les responsabilits Attribuer la responsabilit et l'autorit pour mettre en place le processus Test Non-Fonctionnel, en dveloppant les produits dactivit, et en fournissant les services du processus Test Non-Fonctionnel.

    GP 2.5 Former les personnes

    Former les personnes charges de mettre en place ou de soutenir le processus Test Non-Fonctionnel en fonction des besoins.

    Elaboration

    Les spcialistes de test, et autres individus ou groupes impliqus dans les tests non-fonctionnels, sont forms aux tests non-fonctionnels et aux procdures, techniques et outils connexes.

    Exemples de thmes de formation :

    Importance des tests non-fonctionnels

    Les attributs de qualit (par exemple, ISO 9126)

    Analyse des risques produit pour les tests non-fonctionnels

    Dfinir une approche de test pour les tests non-fonctionnels

    Techniques de test formelles et informelles pour les tests non-fonctionnels

    Critres de sortie pour les attributs non-fonctionnels

    Outils dassistance

    GP 2.6 Grer en configuration

    Placer les produits dactivit slectionns du processus Test Non-Fonctionnel sous un niveau appropri de gestion de configuration.

  • TMMi niveau 3 Test Non-Fonctionnel

    2012 TMMi Foundation. Parution 1.0 Page 132 sur 231

    Elaboration Exemples de produits dactivits placs sous gestion de configuration :

    Donnes d'valuation des risques produit non-fonctionnels

    Spcifications de conception de tests non-fonctionnels

    Spcifications de cas de tests non-fonctionnels

    Spcifications de procdure de test non-fonctionnels (et/ou scripts de test)

    Registres de test

    GP 2.7 Identifier et impliquer les parties prenantes concernes

    Identifier et impliquer les parties prenantes du processus Test Non-Fonctionnel comme prvu dans le planning.

    Elaboration Exemples d'activits pour limplication des parties prenantes :

    Durant l'valuation des risques produit, identifier les risques non-fonctionnels du produit et des composants du produit tester

    Revoir et approuver les plans de tests et les cas de test non-fonctionnels

    Excuter les tests, par exemple, tests d'utilisabilit par les utilisateurs finaux

    GP 2.8 Surveiller et contrler le processus

    Surveiller et de contrler le processus Test Non-Fonctionnel selon le planning pour mettre en place le processus et prendre les mesures appropries.

    Elaboration Exemples de sujets de revues et/ou daudit pour l'valuation et la conformit :

    Nombre de spcifications de test non-fonctionnel termines

    Nombre de tests non-fonctionnels excuts

    Nombre de risques non-fonctionnels diminus

    Nombre d'incidents non-fonctionnels remarquables (par niveau de priorit)

    GP 2.9 Evaluer la conformit de manire objective

    Evaluer objectivement le respect du processus Test Non-Fonctionnel et slectionner les produits dactivits selon la description du processus, les normes et les procdures, et traiter les non-conformits.

    Elaboration Exemples de sujets de revue et/ou audit de conformit :

    Conformit avec les aspects non-fonctionnels de la stratgie de test

    Approche de test dfinie pour les tests non-fonctionnels

    Processus d'valuation des risques produit non-fonctionnels

    Efficacit et efficience des techniques de conception de tests non-fonctionnels

    Qualit des cas de tests non-fonctionnels

  • TMMi niveau 3 Test Non-Fonctionnel

    2012 TMMi Foundation. Parution 1.0 Page 133 sur 231

    GP 2.10 Passer en revue le statut avec la hirarchie

    Passez en revue les activits, ltat et les rsultats du processus Test Non-Fonctionnel avec la hirarchie et rsoudre les problmes.

    GG 3 Institutionnaliser un Processus Ajust

    GP 3.1 Etablir un processus ajust

    Etablir et maintenir la description d'un processus Test Non-Fonctionnel ajust.

    GP 3.2 Recueillir des informations sur l'amlioration

    Recueillir les expriences lies au processus dcoulant de la planification et de l'excution du processus Test Non-Fonctionnel pour soutenir l'utilisation future et l'amlioration des processus de l'organisation et des actifs de processus.

    Elaboration Exemples de mesures :

    Ratio de l'effort de test non-fonctionnel par rapport aux tests fonctionnels

    Effort de test dpens par attribut non-fonctionnel

    Nombre d'attributs non-fonctionnels tests par projet

    Rapports d'incident pour les attributs non-fonctionnels par ordre de priorit et de svrit

    Couverture atteinte pour les exigences non-fonctionnelles

  • TMMi niveau 3 Revue par les Pairs

    2012 TMMi Foundation. Parution 1.0 Page 134 sur 231

    PA 3.5 Revue par les Pairs

    Intention Lobjectif du domaine de processus Revue de Pairs est de vrifier que les produits dactivit rpondent aux exigences spcifies et de supprimer les dfauts des produits dactivit slectionns prcocement et efficacement. Un effet corollaire important est de dvelopper une meilleure comprhension des produits dactivit et des dfauts qui pourraient tre prvenus.

    Notes introductives Les revues impliquent un examen mthodique des produits dactivit par les pairs pour identifier les dfauts et les endroits o des changements sont ncessaires. Les revues sont effectues avec un petit groupe d'ingnieurs, gnralement entre 2 et 7 personnes. Le produit dactivit examiner pourrait tre un cahier des charges, un document de conception, le code source, la conception des tests, un manuel d'utilisation, ou tout autre type de document. Dans la pratique, il existe de nombreux moyens pour slectionner le groupe de rviseurs. Les rviseurs peuvent tre :

    Spcialistes en revue (assurance qualit ou audit)

    Des personnes du mme projet

    Des personnes invites par l'auteur en raison de leurs connaissances spcifiques

    Des personnes, par exemple des reprsentants daffaire, qui ont un intrt substantiel dans le produit

    Plusieurs types de revues sont dfinis, chacun avec son propre but et objectif. En plus des revues informelles, des types de revues plus formelles telles que les relectures (walkthrough), les revues techniques et les inspections sont utilises [IEEE 1028]. Dans une relecture, lauteur guide un groupe de personnes travers un document et son processus de pense, de sorte que tout le monde comprenne le document de la mme manire et quils parviennent un consensus sur le contenu ou les modifications apporter. Dans une revue technique le groupe discute, aprs une prparation individuelle, le contenu et l'approche (technique) utiliser. Une inspection, le type d'examen le plus formel, est une technique o un document est vrifi la recherche de dfauts par chaque individu et par le groupe, en utilisant des sources et des normes et suivant des rgles prescrites.

    Champ dapplication Le domaine de processus Revue par les Pairs couvre les pratiques pour effectuer des revues par les pairs sur les produits dactivit, par exemple, les testeurs examinent un cahier des charges pour la testabilit. Il comprend galement les pratiques pour tablir lapproche des revues par les pairs au sein d'un projet. Les revues de projet (galement connu sous le nom de revues de direction) sont en dehors du champ de ce domaine de processus. Au niveau de maturit TMMi 3 les revues par les pairs ne sont pas encore pleinement intgres dans le processus dynamique de test, par exemple, dans la stratgie de test, le plan de test et l'approche de test.

    Rsum des Objectifs et Pratiques Spcifiques SG 1 Etablir une Approche de Revue par les Pairs

    SP 1.1 Identifier les produits dactivit revoir

    SP 1.2 Dfinir les critres de revue par les pairs

    SG 2 Effectuer des Revues par les Pairs

    SP 2.1 Conduire des revues par les pairs

    SP 2.2 Revue des documents de la base de test par les testeurs

    SP 2.3 Analyser les donnes des revues par les pairs

    Pratiques Spcifiques par Objectif

    SG 1 Etablir une Approche de Revue par les Pairs Une approche de revue est tablie et agre.

  • TMMi niveau 3 Revue par les Pairs

    2012 TMMi Foundation. Parution 1.0 Page 135 sur 231

    SP 1.1 Identifier les produits dactivit revoir

    Les produits dactivit revoir sont identifis, y compris le type de revue et les participants principaux (parties prenantes) impliquer.

    Exemples de produits dactivit

    1. Liste des produits dactivit revoir

    2. Approche des revues

    3. Registre des revues

    4. Planning des revues par les pairs

    Sous-pratiques

    1. Slectionner des produits dactivit qui feront l'objet d'une revue par les pairs en fonction de la politique de revue par les pairs et des risques produit identifis

    2. Dterminer le ou les type(s) de revue par les pairs effectuer pour les produits dactivit slectionns

    Exemples de types de revue par les pairs [IEEE 1028] :

    Inspection

    Relecture

    Revue technique

    Revue informelle

    Note : il est possible que plusieurs types de revues soient slectionns pour le mme produit dactivit, par exemple, pour les produits dactivit lis des risques produit critiques.

    3. Identifier les acteurs cls qui doivent tre impliqus dans une revue par les pairs

    4. Revoir lapproche de revue avec les parties prenantes

    5. Etablir un planning de revue par les pairs dtaill, y compris les dates de formation aux revues par les pairs et quand le matriel pour les revues par les pairs sera disponible

    6. Obtenir des engagements des parties prenantes cls pour initier lapproche et le planning des revues

    SP 1.2 Dfinir les critres de revue par les pairs

    La prparation des revues par les pairs sur les produits dactivit slectionns est ralise en dfinissant et en maintenant des critres d'entre et de sortie pour les revues par les pairs.

    Exemples de produits dactivit

    1. Critres dentre et de sortie des revues par les pairs

    2. Critres pour exiger une autre revue par les pairs

    Sous-pratiques

    1. Etablir et maintenir des critres d'entre pour les revues par les pairs

    Exemples de critres dentre pour les revues par les pairs :

    Une vrification rapide d'un chantillon du produit par le responsable de la revue (ou un expert) ne rvle pas un grand nombre de dfauts majeurs

    Le document a t nettoy par un vrificateur d'orthographe ou une autre analyse par ordinateur, par exemple, analyse de code statique

    Les rfrences ncessaires la revue sont jour et disponibles

    Tous les documents sources (de niveau suprieur) doivent avoir termin leur propre revue

    L'auteur du document est prpar se joindre la revue et se sent confiant quant la qualit du

  • TMMi niveau 3 Revue par les Pairs

    2012 TMMi Foundation. Parution 1.0 Page 136 sur 231

    document

    Notez que les critres d'entre varient en fonction du type de revue qui sera effectu.

    2. Etablir et maintenir des critres de sortie pour les revues par les pairs

    Exemples de critres de sortie pour les revues par les pairs :

    Nombre de dfauts majeurs trouvs par page

    Temps de prparation observ comme convenu

    Toutes les pages vrifies conformment au plan

    Toutes les questions et points d'action abords

    Densit de dfauts rsiduels estime

    3. Etablir et maintenir des critres pour exiger une autre revue par les pairs

    4. Revoir les critres dfinis avec les parties prenantes

    SG 2 Effectuer des Revues par les Pairs Des revues par les pairs sont effectues sur les produits dactivit slectionns et les donnes de revue par les pairs sont analyses.

    SP 2.1 Conduire des revues par les pairs

    Les produits dactivit slectionns sont valus par des pairs et les problmes sont identifis.

    Exemples de produits dactivit

    1. Formulaire denregistrement de revue par les pairs (dfauts trouvs)

    2. Liste dactions de revue par les pairs

    3. Donnes de revue par les pairs (par exemple, document dans des formulaires de processus)

    4. Rapport de revue par les pairs (par exemple, document dans des formulaires de processus)

    Sous-pratiques

    1. Sassurer que le produit dactivit rpond aux critres dentre de la revue par les pairs avant de le distribuer

    2. Slectionner les participants inviter la revue et dfinir une tche spcifique de revue effectuer pour chacun deux

    3. Distribuer le produit dactivit revoir et les informations associes aux participants suffisamment tt pour permettre aux participants de se prparer adquatement la revue par les pairs

    4. Attribuer des rles de revue par les pairs aux personnes, selon le besoin

    Exemples de rles :

    Modrateur

    Rviseur

    Scribe

    Auteur

    5. Effectuer le rle assign pour la revue par les pairs

    6. Identifier et documenter les dfauts et autres questions sur le produit dactivits

    7. Enregistrer les rsultats de la revue par les pairs, par exemple, sur des formulaires denregistrement

    8. Identifier les actions et communiquer les problmes aux parties prenantes concernes

  • TMMi niveau 3 Revue par les Pairs

    2012 TMMi Foundation. Parution 1.0 Page 137 sur 231

    9. Procder une revue par les pairs supplmentaire si les critres dfinis en indiquent la ncessit

    10. Sassurer que les critres de sortie de la revue par les pairs sont satisfaits

    11. Enregistrer les donnes de la revue par les pairs lis la prparation, le droulement et les rsultats de la revue par les pairs

    Des donnes typiques sont le type de produit, la taille du produit, le type de revue par les pairs, le nombre de rviseurs, le temps de prparation par rviseur, la dure de la runion de revue, le nombre de dfauts (majeurs) constats, etc.

    SP 2.2 Revue des documents de la base de test par les testeurs

    Les documents qui sont utiliss comme base pour les tests sont passs en revue par les testeurs.

    Exemples de produits dactivit

    1. Dfauts de testabilit

    2. Rapport de revue de testabilit

    Sous-pratiques

    1. Les testeurs revoient les documents de la base de test pour la testabilit, par exemple, est-ce que les techniques de conception de tests choisies peuvent tre appliques la base de test

    2. Les dfauts constats lors de la revue des documents de la base de test sont enregistrs et rapports

    3. Les documents de la base de test sont amliors sur la base des dfauts signals par le test

    SP 2.3 Analyser les donnes des revues par les pairs

    Les donnes des revues par les pairs concernant la prparation, la conduite et les rsultats des revues sont analyses.

    Exemples de produits dactivit

    1. Base de donnes des revues par les pairs

    2. Rapport de communication des analyses de revues par les pairs

    Sous-pratiques

    1. Enregistrer les donnes de revues par les pairs pour de futures rfrences et analyses

    2. Protger les donnes de revue afin de s'assurer qu'elles ne sont pas utilises de faon inappropries

    Des exemples de l'utilisation inapproprie des donnes de revues par les pairs comprennent l'utilisation des donnes pour valuer les performances des personnes et l'utilisation de donnes pour attribution.

    3. Analyser les donnes de revue par les pairs

    Exemples de donnes de revue par les pairs qui peuvent tre analyses :

    Dfauts injects durant la phase

    Effort ou niveau de prparation par rapport l'effort ou au niveau attendu

    Effort de revue rel par rapport leffort de revue prvue

    Nombre de dfauts par rapport au nombre prvu

    Types et niveau de svrit des dfauts dtects

    Cause des dfauts

    Impact de la rsolution des dfauts

    4. Communiquer le rsultat des analyses des revues par les pairs aux parties prenantes

  • TMMi niveau 3 Revue par les Pairs

    2012 TMMi Foundation. Parution 1.0 Page 138 sur 231

    Pratiques Gnriques par Objectifs

    GG 2 Institutionnaliser un Processus Disciplin

    GP 2.1 Etablir une politique organisationnelle

    tablir et maintenir une politique organisationnelle pour la planification et l'excution du processus Revue par les Pairs.

    Elaboration

    La politique de revue par les pairs spcifie gnralement :

    Des revues seront appliques pour identifier les dfauts ds le dbut du cycle de dveloppement

    L'organisation identifie un ensemble standard de produits dactivit qui seront soumis revue, y compris les livrables de test

    Chaque projet slectionne les produits dactivit qui seront soumis revue et le ou les type(s) de revue associ(s)

    Les modrateurs de revue par les pairs et les autres participants seront forms leur rle

    Les testeurs devraient participer aux revues de documents de dveloppement pour prendre en compte les problmes de testabilit

    GP 2.2 Planifier le processus

    tablir et maintenir le plan pour appliquer le processus Revue par les Pairs.

    Elaboration

    Au niveau TMMi 3, le plus souvent, les revues par les pairs ne font pas intgralement partie du processus de test ; par consquent, le plan d'excution du processus de revues par les pairs est gnralement inclus dans le plan projet, qui est dcrit dans le domaine de processus Planification du Projet du CMMI. Les ressources, par exemple, les modrateurs, sont explicitement prvues en vue garantir la bonne excution des revues par les pairs.

    A des niveaux TMMi plus levs, les revues par les pairs deviennent une partie intgrante du processus de test et le plan pour excuter le processus de revues par les pairs est inclus dans le plan de test (matre).

    GP 2.3 Fournir les ressources

    Fournir des ressources adquates pour mettre en place le processus Revue par les Pairs, en dveloppant les produits dactivits de test, et en fournissant les services du processus.

    Elaboration

    Des salles de runion sont disponibles pour la runion de revue

    Des modrateurs forms sont disponibles

    Des artefacts de soutien tels que des formulaires de rapport de dfaut et des formulaires de processus de revue pour assister la collecte et la communication des donnes sont disponibles

    Des checklists sont tablies et maintenues, par exemple, sur la testabilit, pour sassurer que les produits dactivit sont examins de manire cohrente

    Exemples d'articles viss par les checklists :

    Conformit aux normes

    Respect des directives de conception

    Exhaustivit

    Exactitude

  • TMMi niveau 3 Revue par les Pairs

    2012 TMMi Foundation. Parution 1.0 Page 139 sur 231

    Testabilit

    Maintenabilit

    Types de dfauts communs

    Les checklists sont modifies au besoin pour traiter les types particuliers de produit dactivit et de revue par les pairs particuliers. Les checklists elles-mmes sont passs en revue par des pairs et des utilisateurs potentiels.

    Des outils pour assister le processus de revue par les pairs sont disponibles, par exemple, outils de communication, outils d'analyse des donnes et outils de processus de revue par les pairs

    GP 2.4 Attribuer les responsabilits

    Attribuer la responsabilit et l'autorit pour mettre en place le processus Revue par les Pairs, en dveloppant les produits dactivit, et en fournissant les services du processus Revue par les Pairs.

    Elaboration

    Des modrateurs sont dsigns pour tre responsable de la coordination du processus de revue par les pairs au sein des projets.

    GP 2.5 Former les personnes

    Former les personnes charges de mettre en place ou de soutenir le processus Revue par les Pairs en fonction des besoins.

    Elaboration

    Les modrateurs de revues par les pairs reoivent une formation sur la faon de conduire les revues par les pairs

    Exemples de thmes de formation pour les modrateurs de revues par les pairs :

    Dvelopper une approche de revues par les pairs

    Types de revues

    Tches et responsabilits des modrateurs de revue par les pairs

    Conduire et faciliter une runion

    Obtenir ladhsion pour les revues

    Mtriques des revues par les pairs

    Les participants aux revues par les pairs reoivent une formation pour leurs rles dans le processus de revue par les pairs

    Exemples de thmes de formation pour les participants aux revues par les pairs :

    Objectifs et bnfices des revues par les pairs

    Types de revues

    Rles et responsabilits des revues par les pairs

    Aperu du processus de revue par les pairs

    Prparation de la revue par les pairs

    Rgles et checklist des documents, par exemple, en ce qui concerne la testabilit

    Runions de revue par les pairs

    GP 2.6 Grer en configuration

    Placer les produits dactivit slectionns du processus Revue par les Pairs sous un niveau appropri de gestion de configuration.

  • TMMi niveau 3 Revue par les Pairs

    2012 TMMi Foundation. Parution 1.0 Page 140 sur 231

    Elaboration Exemples de produits dactivits placs sous gestion de configuration :

    Approche des revues par les pairs

    Formulaires denregistrement et de processus des revues par les pairs

    Donnes (base de donnes) de revue par les pairs

    Matriel de formation de revue par les pairs

    GP 2.7 Identifier et impliquer les parties prenantes concernes

    Identifier et impliquer les parties prenantes du processus Revue par les Pairs comme prvu dans le planning.

    Elaboration

    Slectionner les parties prenantes concernes pour participer aux revues par les pairs parmi les clients, les utilisateurs finaux, les dveloppeurs, les testeurs, les fournisseurs, les commerciaux, la maintenance, ladministratif et toutes les autres personnes qui pourraient tre affectes par, ou pourraient affecter les produits (dactivit).

    GP 2.8 Surveiller et contrler le processus

    Surveiller et de contrler le processus Revue par les Pairs selon le planning pour mettre en place le processus et prendre les mesures appropries.

    Elaboration Exemples de mesures utilises dans la surveillance et le contrle du processus Revue par les Pairs :

    Nombre de revues par les pairs planifies et excutes

    Nombre de produits dactivit examins par rapport au plan

    Nombre et type des dfauts trouvs lors des revues par les pairs

    Planning des activits du processus de revue par les pairs (y compris les activits de formation)

    Effort consacr aux revues par les pairs par rapport au plan

    GP 2.9 Evaluer la conformit de manire objective

    Evaluer objectivement le respect du processus Revue par les Pairs et slectionner les produits dactivits selon la description du processus, les normes et les procdures, et traiter les non-conformits.

    Elaboration Exemples de sujets de revue et/ou audit de conformit :

    Vrifier si les revues par les pairs sont effectues

    Formation pour les modrateurs de revues par les pairs et les autres participants

    Processus suivi lors des revues par les pairs, y compris le respect des critres dfinis

    Le rendement rel sur le suivi des points d'action

    Les rapports de revues par les pairs en ce qui concerne l'exhaustivit et l'exactitude

    Les checklists utilises lors des revues par les pairs

    GP 2.10 Passer en revue le statut avec la hirarchie

    Passez en revue les activits, ltat et les rsultats du processus Revue par les Pairs avec la hirarchie et rsoudre les problmes.

  • TMMi niveau 3 Revue par les Pairs

    2012 TMMi Foundation. Parution 1.0 Page 141 sur 231

    GG 3 Institutionnaliser un Processus Ajust Ne s'applique qu'au niveau TMMi 3.

    GP 3.1 Etablir un processus ajust

    Etablir et maintenir la description d'un processus Revue par les Pairs ajust.

    GP 3.2 Recueillir des informations sur l'amlioration

    Recueillir les expriences lies au processus dcoulant de la planification et de l'excution du processus Revue par les Pairs pour soutenir l'utilisation future et l'amlioration des processus de l'organisation et des actifs de processus.

    Elaboration Exemples de mesures :

    Donnes de revues par les pairs, comme le temps moyen de prparation, le temps total pass en moyenne par revue par les pairs et le nombre moyen de pages.

    Nombre de dfauts constats au moyen de revues par les pairs par phase dans le cycle de dveloppement

    Calcul du retour sur investissement

  • TMMi niveau 4

    TMMi niveau 4 : Gr quantitativement

    2012 TMMi Foundation. Parution 1.0 Page 142 sur 231

    TMMi Niveau 4 : Gr quantitativement La ralisation des objectifs TMMi de niveaux 2 et 3 permet la mise en place d'une infrastructure technique, managriale et humaine capable de raliser des tests approfondis et daccompagner l'amlioration des processus de test. Avec cette infrastructure en place, le test peut devenir un processus gr quantitativement propre encourager une croissance et des accomplissements supplmentaires. Dans les organisations TMMi de niveau 4, le test est un processus soigneusement dfini, adapt et mesurable. Le test est peru comme une valuation ; il se compose de toutes les activits du cycle de vie lies la vrification des produits et des travaux connexes.

    Un programme de mesure du test au niveau de toute l'organisation sera mis en place qui peut tre utilis pour valuer la qualit du processus de test, pour valuer la productivit, et pour suivre les amliorations. Les indicateurs sont intgrs dans le rfrentiel des indicateurs de lorganisme pour aider une prise de dcision factuelle. Un programme de mesure du test permet les prvisions relatives la performance et au cot des tests.

    En ce qui concerne la qualit du produit, la prsence d'un programme de mesure permet une organisation de mettre en uvre un processus d'valuation de la qualit des produits en dfinissant les besoins, les proprits et les indicateurs de la qualit. Les produits sont valus selon des critres quantitatifs pour les attributs de qualit tels que la fiabilit, lutilisabilit et la maintenabilit. La qualit du produit est dfinie en termes quantitatifs et est gre tout au long du cycle de vie en fonction des objectifs dfinis.

    Les revues et des inspections sont considres comme faisant partie du processus de test et sont utilises pour mesurer la qualit du produit tt dans le cycle de vie et contrler les jalons qualit. Les revues par les pairs comme technique de dtection des dfauts sont transformes en une technique de mesure de la qualit des produits en accord avec le domaine de processus Evaluation de la Qualit des Produits.

    Le niveau 4 du TMMi permet galement dtablir une approche coordonne entre les revues par les pairs (tests statiques) et les tests dynamiques et l'utilisation des rsultats et des donnes des revues par les pairs afin de rendre les tests plus efficaces et plus efficients. Les revues par les pairs sont dsormais pleinement intgres avec le processus de test dynamique, par exemple intgres la stratgie de test, au plan de test, et l'approche de test.

    Les domaines de processus au niveau TMMi 4 sont :

    4.1 Mesure du test

    4.2 Evaluation de la Qualit des Produits

    4.3 Revues par les Pairs Avances

    Ces diffrents points sont abords en dtail dans la suite de ce document.

  • TMMi niveau 4 Mesure du Test

    2012 TMMi Foundation. Parution 1.0 Page 143 sur 231

    PA 4.1 Mesure du Test

    Intention Le but de la Mesure du Test est d'identifier, collecter, analyser et appliquer des mesures pour permettre une organisation dvaluer objectivement l'efficacit du processus de test, la productivit de son quipe de test, la qualit du rsultat obtenu et les rsultats de l'amlioration du test. En tant que tel, lorganisation de test doit dvelopper et maintenir une capacit de mesure du test qui sera utilise pour rpondre aux besoins d'information du management.

    Notes introductives La ralisation des objectifs TMMi de niveaux 2 et 3 a eu les avantages de mettre en place une infrastructure technique, managriale et de recrutement capable de raliser des tests approfondis et de soutenir l'amlioration des processus de test. Sur la base de cette infrastructure, un programme formel de mesure du test peut tre mis en place pour permettre dautres avances et d'autres accomplissements.

    La mesure du test est le processus continu d'identification, de collecte et d'analyse des donnes la fois sur le processus de test et sur les produits en cours de dveloppement afin de comprendre et de fournir des informations pour amliorer l'efficacit des processus de test et ventuellement les processus de dveloppement. Les mthodes et les processus de mesure et danalyse pour la collecte, le stockage, l'extraction et la communication des donnes sont spcifis pour permettre une mise en uvre russie d'un programme de mesure du test. Notez qu'un programme de mesure du test a deux domaines d'intervention privilgis : il soutient le processus de test et l'valuation de la qualit des produits et il participe l'amlioration des processus.

    Pour tre efficace, un programme de mesure du test doit tre li aux objectifs de l'entreprise, la politique de test et la stratgie de test [Van Solingen and Berghout]. Les objectifs de l'entreprise sont le point de dpart pour dfinir les objectifs et les indicateurs de la mesure du test. Les objectifs du processus standard de test de lorganisation sont dduits des objectifs de lentreprise. Lorsquil est mis en uvre avec succs, le programme de mesure du test devient une partie intgrante de la culture de test et la mesure devient une pratique adopte et applique par tous les groupes et quipes de test. La mesure du test est le processus continu d'identification, de collecte et d'analyse des donnes afin d'amliorer le processus de test et la qualit du produit. Il doit aider l'organisation amliorer la planification des projets futurs, former ses employs plus efficacement, etc. Exemples de mesures lies des tests : le cot des tests, le nombre de cas de test excuts, les informations sur les dfauts et les mesures sur le produit telles que le temps moyen entre deux pannes.

    Le domaine de processus Mesure du Test comprend les lments suivants :

    - Dfinition des objectifs de la mesure du test de telle sorte qu'ils soient aligns avec les besoins d'information identifis et les objectifs dentreprise

    - Dfinition des techniques de mesure, danalyse et de validation ainsi que des mcanismes de collecte, stockage, rcupration, communication et retour des donnes

    - Mettre en uvre la collecte, le stockage, l'analyse et la communication des donnes

    - Fournir des rsultats objectifs qui peuvent tre utiliss pour prendre des dcisions avises et des actions appropries.

    Il est suggr aux niveaux TMMi infrieurs qu'une organisation devrait commencer recueillir des donnes lies au processus de test, par exemple, les indicateurs de performance de test dans Politique et Stratgie de Test. Il est recommand quune organisation aux niveaux TMMi infrieurs commence assembler des mesures lies aux dfauts dans le cadre dun simple rfrentiel des dfauts. Lors du passage au niveau TMMi 4, une organisation ralisera la ncessit de mesures supplmentaires pour atteindre un niveau de maturit plus lev des processus de test. En prvision de ces besoins, le TMMi prescrit un programme de mesure du test formel comme objectif atteindre au niveau TMMi 4. Pour la plupart des organisations, il peut tre pratique de mettre en uvre un tel programme de mesure du test comme un complment un programme de mesure gnral.

    Au niveau TMMi 4 et suprieur les activits de mesure du test sont ralises au niveau de l'organisation pour rpondre aux besoins dinformations de l'organisation. Cependant, la mesure du test fournira galement un appui aux projets individuels en fournissant des donnes, par exemple, pour permettre une planification et une estimation objectives. Parce que les donnes sont partages largement entre les projets, elles sont souvent stockes dans un rfrentiel de mesure du test l'chelle de lorganisation.

  • TMMi niveau 4 Mesure du Test

    2012 TMMi Foundation. Parution 1.0 Page 144 sur 231

    Champ dApplication Le domaine de processus Mesure du Test aborde les activits de mesure au niveau de l'organisation. Pour les organisations qui ont plusieurs groupes ou quipes de tests, la mesure du test sera effectue de manire identique dans tous les groupes de test comme faisant partie d'un programme de mesure du test global. La Mesure du Test couvre des pratiques telles que la dfinition des objectifs de mesure, la cration du plan de mesure du test, la collecte de donnes, lanalyse des donnes et la prsentation des rsultats. Elle englobera galement les activits de mesure du test de l'organisation qui ont t dfinis aux niveaux TMMi infrieurs, tels que les indicateurs de performance de test (un type spcifique de mesure du test) de la Politique et Stratgie de Test et la pratique gnrique 3.2 Recueillir des informations sur l'amlioration. Ce domaine de processus fournira galement un appui aux activits de mesure pour les autres domaines de processus du niveau TMMi 4 : Evaluation de la Qualit du Produit et Revues par les Pairs Avances. Les activits de mesure au niveau du projet, par exemple le domaine de processus Surveillance et Contrle du Test, resteront au niveau du projet mais seront relies au domaine de processus organisationnel Mesure du Test.

    Rsum des Objectifs et Pratiques Spcifiques SG 1 Alignez les Activits de Mesure du Test et dAnalyse

    SP 1.1 Etablir les objectifs de la mesure du test

    SP 1.2 Spcifier les mesures du test

    SP 1.3 Spcifier les procdures de collecte et de stockage des donnes

    SP 1.4 Spcifier les procdures d'analyse

    SG 2 Fournir les Rsultats de Mesure du Test

    SP 2.1 Recueillir les donnes de mesure du test

    SP 2.2 Analyser les donnes de mesure du test

    SP 2.3 Communiquer les rsultats

    SP 2.4 Stocker les donnes et les rsultats

    Pratiques Spcifiques par Objectif

    SG 1 Alignez les Activits de Mesure du Test et dAnalyse Les objectifs et les activits de la mesure du test sont aligns avec les besoins et les objectifs identifis d'information.

    SP 1.1 Etablir les objectifs de la mesure du test

    Les objectifs de la mesure du test issus des besoins identifis d'information et des objectifs dentreprise sont tablis et maintenus.

    Exemples de produits dactivit

    1. Objectifs de la mesure du test

    2. Matrice de traabilit besoins d'information / objectifs de la mesure du test

    Sous-pratiques

    1. Identifier et slectionner les parties prenantes qui doivent contribuer l'identification des besoins en information

    2. Identifier et documenter les besoins d'information et les objectifs de la mesure du test en utilisant les indications des parties prenantes et d'autres sources

    3. Prioriser les besoins d'information et les objectifs de la mesure du test

    Il peut tre ni possible ni souhaitable de traiter tous les besoins dinformations initialement identifis pour la mesure du test et l'analyse. On peut galement avoir besoin de fixer les priorits dans les limites des ressources disponibles.

  • TMMi niveau 4 Mesure du Test

    2012 TMMi Foundation. Parution 1.0 Page 145 sur 231

    4. Revoir et mettre jour les objectifs de la mesure du test

    Les objectifs de la mesure du test sont revus par le management et les autres parties prenantes, et mis jour si ncessaire. Les parties prenantes ne sont pas uniquement ceux qui ont des besoins d'information, mais devraient galement inclure ceux qui utiliseront les rsultats de la mesure du test et des analyses, voir mme ceux qui fournissent les donnes de la mesure du test.

    5. Assurer la traabilit des objectifs de la mesure du test par rapport aux besoins d'information identifis

    Il doit toujours y avoir une bonne rponse la question : Pourquoi mesurons-nous cela? .

    SP 1.2 Dfinir les mesures du test

    Les mesures de test sont spcifies pour rpondre aux objectifs de la mesure du test.

    Les mesures de test peuvent tre soit directes soit drives . Les donnes des mesures de test directes sont obtenues par mesure directe. Les donnes des mesures de test drives proviennent d'autres donnes, gnralement en combinant deux ou plusieurs mesures de test directes.

    Exemples de produits dactivit

    1. Spcification des mesures de test

    Sous-pratiques

    1. Identifier les mesures de test partir dobjectifs de mesure du test documents

    Exemples de mesures de test couramment utilises :

    Les estimations et les mesures relles de l'effort de test et du cot des tests

    Les estimations et les mesures relles du nombre de cas de test

    Le Nombre de dfauts par gravit et / ou priorit

    Le Nombre total de dfauts

    Le taux de dtection des dfauts

    La densit de dfauts

    La couverture des revues par les pairs

    La couverture structurelle, par exemple, la couverture de code

    La couverture des exigences

    Les mesures de fiabilit, par exemple, le temps moyen de bon fonctionnement (MTBF) et temps moyen de rparation (MTTR)

    La mesure de lavancement, par exemple, le taux d'excution des cas de test par semaine

    2. Documenter les mesures de test, y compris leur objectif de mesure

    3. Prciser les dfinitions oprationnelles en termes prcis et sans ambigut pour les mesures de test identifies

    4. Examiner et mettre jour la spcification des mesures de test

    Ladquation des spcifications proposes pour les mesures de test est revue avec des utilisateurs finaux potentiels et les autres parties prenantes pertinentes et elles sont actualises si ncessaire.

    SP 1.3 Spcifier les procdures de collecte et de stockage des donnes

    Les mthodes de collecte sont explicitement spcifies afin de s'assurer que les bonnes donnes sont collectes correctement. Les procdures de stockage et de rcupration sont spcifies pour garantir que les donnes sont disponibles et accessibles pour une utilisation future.

  • TMMi niveau 4 Mesure du Test

    2012 TMMi Foundation. Parution 1.0 Page 146 sur 231

    Exemples de produits dactivit

    1. Collecte des donnes et procdures de stockage

    2. Outils de collecte des donnes

    Sous-pratiques

    1. Identifier les donnes de mesure qui ne sont pas disponibles actuellement pour les mesures de test identifies

    2. Identifier les sources de donnes existantes

    Les sources de donnes existantes peuvent dj avoir t identifies lors de la spcification des mesures de test.

    3. Spcifier comment collecter et stocker les donnes de chaque mesure requise

    Des spcifications explicites sont faites sur comment, o, quand et par qui les donnes seront recueillies. Les procdures pour collecter des donnes valides sont spcifies.

    Exemples de sujets qui doivent tre inclus dans les procdures de collecte et de stockage :

    Frquence de la collecte

    Etapes dans le processus o les donnes seront collectes

    Dlais et rgles de scurit pour le stockage de donnes

    Responsabilits pour lobtention des donnes et pour le stockage des donnes (y compris la scurit)

    Des liens vers des outils

    4. Crer des mcanismes de collecte de donnes et des directives de processus

    Les mcanismes de collecte de donnes peuvent inclure des formulaires et des modles manuels ou automatiss. Des directives claires et concises sur les procdures correctes sont mises la disposition des personnes en charge du travail.

    Selon les objectifs de la mesure, les mesures de test et les donnes de mesure ncessaires, un systme dtaill de classification des dfauts pourrait tre ncessaire pour rpondre aux besoins des processus de la mesure du test. Reportez-vous au SP 1.1 Etablir les paramtres de slection des dfauts et le systme de classification du domaine de processus Prvention des Dfauts du niveau TMMi 5 pour plus d'informations sur un systme de classification des dfauts.

    5. Permettre la collecte automatique des donnes lorsque cest appropri et faisable

    6. Revoir la collecte des donnes et les procdures de stockage

    Les procdures proposes sont revues pour leur pertinence et leur faisabilit avec ceux qui sont chargs de fournir, collecter et stocker les donnes.

    7. Mettre jour les mesures de test et les objectifs de mesure du test quand cest ncessaire

    Il peut tre ncessaire de revoir les priorits en fonction de la quantit d'effort requis pour obtenir les donnes. Il faut notamment voir si de nouveaux formulaires, de nouveaux outils ou de la formation sont ncessaires pour obtenir les donnes.

    SP 1.4 Spcifier les procdures d'analyse

    Les procdures d'analyse des donnes sont spcifies l'avance pour s'assurer que l'analyse approprie sera effectue et que des donnes de mesure du test fiables seront rapportes pour rpondre aux objectifs de la mesure du test documente (et donc aux besoins en information et aux objectifs sur lesquels ils sont bass).

    Exemples de produits dactivit

    1. Procdures d'analyse des donnes

    2. Outils d'analyse des donnes

  • TMMi niveau 4 Mesure du Test

    2012 TMMi Foundation. Parution 1.0 Page 147 sur 231

    Sous-pratiques

    1. Spcifier l'analyse qui sera mene et les rapports qui seront gnrs

    L'analyse devrait aborder de manire explicite les objectifs documents de la mesure du test. La prsentation des rsultats devrait tre clairement comprhensible par les parties prenantes qui ils sont destins. Il peut tre ncessaire de redfinir les priorits en fonction des ressources disponibles.

    2. Choisir des mthodes et des outils d'analyse de donnes appropris

    Exemples de questions prendre en considration lors de la slection des mthodes et des outils d'analyse de donnes :

    Choix des lments graphiques et autres techniques de prsentation (par exemple, des camemberts, des histogrammes, des graphiques linaires, des diagrammes de dispersion, ou des tables)

    Choix des statistiques descriptives appropries (par exemple, la moyenne arithmtique ou la mdiane)

    Dcisions concernant les critres d'chantillonnage statistique lorsqu'il est impossible ou inutile d'examiner chaque lment de donnes

    Dcisions concernant la faon de traiter l'analyse au cas o des donnes sont manquantes

    Slection doutils d'analyse appropris

    Comment examiner les distributions sur les mesures de test spcifies

    Comment examiner les interrelations entre les mesures de test spcifies

    3. Dfinir les procdures administratives pour l'analyse des donnes et la communication des rsultats

    4. Revoir et mettre jour le contenu et la prsentation proposs pour les procdures d'analyse spcifies et les rapports

    5. Mettre jour les mesures de test et les objectifs de mesure du test lorsque cest ncessaire

    Tout comme la mesure doit dfinir la manire danalyser les donnes, la clarification des critres d'analyse peut affecter la mesure. Les spcifications pour certaines mesures peuvent tre affines en fonction des spcifications tablies pour les procdures d'analyse des donnes. D'autres mesures pourraient s'avrer inutiles, ou un besoin de mesures supplmentaires pourrait apparaitre.

    SG 2 Fournir les Rsultats de Mesure du Test Les rsultats des mesures de test qui couvrent les besoins dinformations et les objectifs identifis sont fournis.

    SP 2.1 Recueillir les donnes de mesures de test

    Les donnes de mesure du test ncessaires l'analyse sont obtenues et vrifies quant leur compltude et leur intgrit.

    Exemples de produits dactivit

    1. Jeu de donnes de mesure du test

    2. Rsultats des tests d'intgrit des donnes

    Sous-pratiques

    1. Recueillir des donnes de mesure du test partir des projets ou dautres sources dans l'organisation

    2. Gnrer les donnes pour les mesures de test drives et calculer leurs valeurs

    3. Effectuer un test d'intgrit des donnes aussi prs de la source de donnes que possible

  • TMMi niveau 4 Mesure du Test

    2012 TMMi Foundation. Parution 1.0 Page 148 sur 231

    Toutes les mesures sont sujettes des erreurs dans la spcification ou l'enregistrement des donnes. Il est toujours prfrable d'identifier ces erreurs et d'identifier les sources de donnes manquantes tt dans le cycle de mesure et d'analyse. Les vrifications peuvent inclure des recherches de donnes manquantes, de valeurs hors limites, de configurations et corrlations de mesures inhabituelles.

    SP 2.2 Analyser les donnes de mesures de test

    Les donnes de mesure du test collectes sont analyses comme prvu et des analyses supplmentaires sont ralises si ncessaire.

    Exemples de produits dactivit

    1. Les rsultats d'analyse

    2. Les projets de rapports de mesure du test

    Sous-pratiques

    1. Procder une analyse initiale, interprter les rsultats et en tirer des conclusions prliminaires

    2. Effectuer des valuations et des analyses supplmentaires selon le besoin et prparer les rsultats pour leur prsentation

    Les rsultats de l'analyse planifie peuvent suggrer (ou exiger) des analyses supplmentaires et imprvues.

    3. Revoir les rsultats prliminaires avec les parties prenantes concernes

    Il convient d'examiner les premires interprtations des rsultats et la manire dont ils sont prsents avant de les diffuser et de les communiquer plus largement. Revoir les premiers rsultats avant leur diffusion peut viter des malentendus inutiles et entraine des amliorations dans l'analyse et la communication des donnes.

    SP 2.3 Communiquer les rsultats

    Les rsultats des activits de mesure du test sont communiqus toutes les parties prenantes concernes.

    Exemples de produits dactivit

    1. Rapports de mesure du test et rsultats d'analyse

    Sous-pratiques

    1. Garder les parties prenantes concernes informes des rsultats de mesure du test rgulirement

    2. Aider les parties prenantes concernes comprendre les rsultats

    Exemples d'actions pour aider la comprhension des rsultats :

    Discuter des rsultats avec les parties prenantes concernes lors de sances de retour dinformations

    Fournir une note fournissant le contexte et des explications

    Informer les utilisateurs sur les rsultats

    Fournir une formation sur l'utilisation approprie et la comprhension des rsultats de mesure du test

    3. Dfinir des actions correctives et d'amlioration bases sur les rsultats de mesure du test analyss

    SP 2.4 Stocker les donnes et les rsultats

    Les donnes de mesure des tests, les spcifications de mesure et les rsultats d'analyse sont stocks et grs.

  • TMMi niveau 4 Mesure du Test

    2012 TMMi Foundation. Parution 1.0 Page 149 sur 231

    Exemples de produits dactivit

    1. Inventaire des donnes de mesure du test stockes, y compris les plans de mesure, les spcifications de mesures, les jeux de donnes qui ont t recueillies et les rapports et prsentations d'analyse

    Sous-pratiques

    1. Revoir les donnes de mesure pour s'assurer de leur exhaustivit, intgrit, exactitude et crdibilit

    2. Stocker les donnes de mesure du test selon les procdures de stockage de donnes

    3. Restreindre l'accs aux donnes aux groupes et personnels appropris

    4. Empcher une utilisation inapproprie des informations stockes, par exemple, par le contrle de l'accs aux donnes de mesure du test

    Pratiques Gnriques par Objectifs

    GG 2 Institutionnaliser un Processus Disciplin

    GP 2.1 Etablir une politique organisationnelle

    Etablir et maintenir une politique organisationnelle pour la planification et l'excution du processus de Mesure du Test.

    Elaboration

    Cette politique tablit les attentes de l'organisation pour l'harmonisation des objectifs et des activits de test et mesure au niveau de l'organisation avec les besoins et les objectifs d'information identifis et pour la fourniture des rsultats de mesure. La politique de mesure du test doit rpondre des questions telles que lobjectif du processus, lobjectif des mesures, qui va les utiliser, combien l'organisation est prte investir dans le processus de mesure du test, quels sont les avantages, quels niveaux de la hirarchie soutiennent le processus, et quel est le niveau de priorit du processus de mesure du test.

    GP 2.2 Planifier le processus

    Etablir et maintenir le plan pour appliquer le processus Mesure du Test.

    Elaboration

    Le plan pour la ralisation du processus de mesure du test peut tre inclus (ou rfrenc par) le plan d'amlioration du processus de test, qui est dcrit dans le domaine de processus Organisation de Test, ou le plan qualit de l'organisation.

    GP 2.3 Fournir les ressources

    Fournir des ressources adquates pour mettre en place le processus Mesure du Test, en dveloppant les produits dactivits de test, et en fournissant les services du processus.

    Elaboration

    Un temps suffisant est fourni pour effectuer les activits de mesure du test

    Le personnel charg des mesures peut tre employ temps plein ou temps partiel. Un groupe charg de la mesure du test (au sein de lorganisation de test) peut ou peut ne pas exister pour soutenir les activits de mesure du test dans plusieurs projets.

    Des outils pour soutenir les activits de mesure du test sont disponibles

    GP 2.4 Assigner les responsabilits

    Attribuer la responsabilit et l'autorit pour mettre en place le processus Mesure du Test, en dveloppant les produits dactivits, et en fournissant les services du processus Mesure du Test.

  • TMMi niveau 4 Mesure du Test

    2012 TMMi Foundation. Parution 1.0 Page 150 sur 231

    GP 2.5 Former les personnes

    Former les personnes charges de mettre en place ou de soutenir le processus Mesure du Test en fonction des besoins.

    Elaboration Exemples de thmes de formation :

    La qualit et les concepts de mesure

    Les techniques statistiques

    Les processus de collecte, d'analyse et de communication des donnes

    Le dveloppement de mesures par objectif (par exemple, Approche par les objectifs)

    Enjeux lis aux personnes - en gnral, les gens n'aiment pas tre mesurs

    GP 2.6 Grer en configuration

    Placer les produits dactivits slectionns du processus Mesure du Test sous un niveau appropri de gestion de configuration.

    Elaboration Exemples de produits dactivits placs sous gestion de configuration :

    Les spcifications des mesures de test directes et drives

    La collecte des donnes et les procdures de stockage

    Les jeux de donnes des mesures de test directes et drives

    Les rsultats des analyses et les rapports

    Les outils d'analyse de donnes

    GP 2.7 Identifier et impliquer les parties prenantes concernes

    Identifier et impliquer les parties prenantes du processus Mesure du Test comme prvu dans le planning.

    Elaboration Exemples d'activits pour limplication des parties prenantes :

    Obtenir des besoins dinformations et des objectifs

    Etablir des procdures

    Evaluer les donnes de mesure du test

    Fournir des informations utiles ceux chargs de fournir les donnes brutes sur lesquelles se basent l'analyse et les rsultats

    GP 2.8 Surveiller et contrler le processus

    Surveiller et contrler le processus Mesure du Test selon le planning dexcution du processus et prendre les mesures appropries.

    Elaboration Exemples de mesures utilises dans la surveillance et le contrle du processus Mesure du Test :

    Pourcentage de projets soumettant des donnes pour tablir les mesures de test

    Pourcentage des objectifs de mesure couverts

    Planning de collecte et danalyse des donnes de mesure

    Nombre de sances de retour dinformation sur les rsultats de la mesure du test organises

  • TMMi niveau 4 Mesure du Test

    2012 TMMi Foundation. Parution 1.0 Page 151 sur 231

    GP 2.9 Evaluer la conformit de manire objective

    Evaluer objectivement le respect du processus Mesure du Test et slectionner les produits dactivits selon la description du processus, les normes et les procdures, et traiter les non-conformits.

    Elaboration Exemples de sujets de revue et/ou audit de conformit :

    Harmoniser la mesure du test et les activits danalyse

    Fournir des rsultats de mesure du test

    Spcifications des mesures de test directes et drives

    Collecte des donnes et procdures de stockage

    Rsultats et rapports danalyse

    GP 2.10 Revoir le statut avec la hirarchie

    Passez en revue les activits, ltat et les rsultats du processus Mesure du Test avec la hirarchie et rsoudre les problmes.

    GG 3 Institutionnaliser un Processus Ajust

    GP 3.1 Etablir un processus ajust

    Etablir et maintenir la description d'un processus Mesure du Test ajust.

    GP 3.2 Recueillir des informations sur l'amlioration

    Recueillir les expriences lies au processus dcoulant de la planification et de lexcution du processus Mesure du Test pour soutenir l'utilisation future et l'amlioration des processus de l'organisation et des actifs de processus.

    Elaboration Exemples de mesures :

    Statut de la crdibilit des donnes

    Rsultats des tests d'intgrit des donnes

    Rapports d'analyse des donnes

    Cot de la formation et des outils de mesure

    Cot de la maintenance de la base des mesures de test

  • TMMi niveau 4

    Evaluation de la Qualit des

    Produits

    2012 TMMi Foundation. Parution 1.0 Page 152 sur 231

    PA 4.2 Evaluation de la Qualit des Produits

    Intention Lobjectif de lEvaluation de la Qualit des Produits est de dvelopper une comprhension quantitative de la qualit des produits et de soutenir ainsi la ralisation des objectifs spcifiques du projet en termes de qualit des produits.

    Notes introductives LEvaluation de la Qualit des Produits implique la dfinition des objectifs quantitatifs du projet en termes de qualit des produits et d'tablir des plans pour atteindre ces objectifs. Il s'agit aussi de dfinir des mtriques de qualit pour l'valuation de la qualit des produits (dactivits). Par la suite, les plans, les produits, les activits et l'tat de la qualit du produit sont contrles et ajustes si ncessaire. L'objectif global est de contribuer satisfaire les besoins et les dsirs des clients et des utilisateurs finaux en termes de qualit des produits.

    Les pratiques de l'Evaluation de la Qualit des Produits s'appuient sur les pratiques des domaines de processus des niveaux de maturit TMMi 2 et 3. Les domaines de processus Conception et Excution des Tests, Suivi et Contrle du Test et Test Non-Fonctionnel tablissent et mettent en uvre des pratiques cls de l'ingnierie et de la mesure des tests au niveau du projet. La Mesure du Test tablit une comprhension quantitative de la capacit du projet atteindre les rsultats souhaits l'aide des processus de test standard de l'organisation.

    Dans ce domaine de processus des objectifs quantitatifs sont tablis pour les produits bass sur les besoins de l'organisation, des clients et des utilisateurs finaux. Pour que ces objectifs soient atteints, l'organisation tablit des stratgies et des plans, et les projets ajustent prcisment leur processus de test pour atteindre les objectifs de qualit.

    Champ dApplication Le domaine de processus Evaluation de la Qualit des Produits couvre les pratiques au niveau du projet pour tablir une comprhension quantitative du produit qui est en cours d'laboration et la ralisation des objectifs de qualit dfinis et mesurables des produits. Les attributs fonctionnels et non-fonctionnels de qualit doivent tre considrs au moment de dfinir les objectifs et les pratiques de ce domaine de processus. LEvaluation de la Qualit des Produits est fortement soutenue par le domaine de processus Mesure du Test qui fournit l'infrastructure de mesure.

    Rsum des Objectifs et Pratiques Spcifiques SG 1 Etablir les Objectifs du Projet pour la Qualit des Produits et leurs Priorits

    SP 1.1 Identifier les besoins de qualit des produits

    SP 1.2 Dfinir les objectifs quantitatifs du projet en termes de qualit des produits

    SP 1.3 Dfinir l'approche pour mesurer le progrs vers les objectifs du projet en termes de qualit des produits

    SG 2 Quantifier et Grer le Progrs vers lAtteinte des Objectifs du Projet en termes de Qualit des Produits

    SP 2.1 Mesurer quantitativement la qualit des produits tout au long du cycle de vie

    SP 2.2 Analyser les mesures de la qualit des produits et les comparer aux objectifs quantitatifs du produit

    Pratiques Spcifiques par Objectif

    SG 1 Etablir les Objectifs du Projet pour la Qualit des Produits et leurs Priorits Un ensemble d'objectifs du projet mesurables et prioriss pour la qualit du produit est tabli et maintenu.

  • TMMi niveau 4

    Evaluation de la Qualit des

    Produits

    2012 TMMi Foundation. Parution 1.0 Page 153 sur 231

    SP 1.1 Identifier les besoins de qualit des produits

    Les besoins du projet en matire de qualit des produits sont identifis et prioriss.

    Exemples de produits dactivit

    1. Besoins du projet en matire de qualit des produits identifis et prioriss

    Sous-pratiques

    1. Revoir les objectifs de l'organisation pour la qualit des produits

    Le but de cette revue est de faire en sorte que les parties prenantes du projet comprennent le contexte plus large dans lequel le projet aura besoin de fonctionner. Les objectifs de ce projet pour la qualit des produits sont dvelopps dans le cadre de ces objectifs organisationnels globaux.

    2. Identifier et slectionner les parties prenantes qui doivent contribuer l'identification des besoins du projet en termes de qualit des produits

    3. Dfinir les besoins de qualit des produits l'aide de la participation des parties prenantes et d'autres sources

    Exemples de faons de recueillir les besoins de qualit des produits :

    Enqutes

    Questionnaires [Pinkster], [Trienekens et Van Veenendaal]

    Groupes de discussion

    Evaluation du produit par les utilisateurs

    Dveloppement des Fonctions Qualit [Hauser et Clausing]

    Brainstorming

    Exemples de sources pour les besoins de qualit des produits :

    Exigences, par exemple, les exigences non-fonctionnelles

    Objectifs de qualit des produits de lorganisation

    Objectifs de qualit des produits des clients

    Objectifs d'affaires

    Etudes de march

    Objectifs de qualit tels que dfinis dans la politique de test

    Processus d'assurance qualit et les rsultats

    Engagements de niveau de service

    4. Analyser et hirarchiser l'ensemble des besoins en termes de qualit des produits identifis

    5. Rsoudre les conflits entre les besoins de qualit des produits (par exemple, si un besoin ne peut tre atteint sans compromettre un autre besoin)

    6. Etablir la traabilit entre les besoins du projet en termes de qualit des produits et leurs sources

    7. Examiner et obtenir un accord avec les parties prenantes sur l'exhaustivit et le niveau de priorit des besoins en termes de qualit des produits

    8. Rviser les besoins en termes de qualit des produits selon le besoin

    Exemples de situations o les besoins en termes de qualit des produits peuvent devoir tre rvises :

    Exigences nouvelles ou modifies

  • TMMi niveau 4

    Evaluation de la Qualit des

    Produits

    2012 TMMi Foundation. Parution 1.0 Page 154 sur 231

    Evolution de la comprhension des besoins en termes de qualit des produits par les clients et les utilisateurs finaux

    Leons apprises au sein du projet sur les questions de qualit des produits

    SP 1.2 Dfinir les objectifs quantitatifs du projet en termes de qualit des produits

    Les objectifs quantitatifs du projet en termes de qualit des produits sont dfinis en fonction des besoins du projet en termes de qualit des produits.

    Exemples de produits dactivit

    1. Objectifs quantitatifs de qualit des produits spcifiques au projet identifis et prioriss

    2. Objectifs quantitatifs intermdiaires de qualit des produits (par exemple, pour chaque phase du cycle de vie)

    Sous-pratiques

    1. Identifier les attributs de la qualit des produits qui sont ncessaires pour rpondre aux besoins du projet en termes de qualit des produits

    Exemples d'attributs de qualit des produits [ISO 9126] :

    Fonctionnalit

    Fiabilit

    Maintenabilit

    Utilisabilit

    Portabilit

    Rendement

    2. Prioriser l'ensemble identifi des attributs qualit du produit en fonction des priorits des besoins en matire de qualit des produits

    3. Dfinir des objectifs produit quantitatifs pour chacun des attributs de qualit des produits slectionns

    Pour soutenir cette sous-pratique les attributs de qualit des produits slectionns sont souvent dcomposs en sous-attributs de qualit des produits. Pour chacun des objectifs de qualit, des valeurs numriques mesurables bases sur les valeurs ncessaires et souhaites sont identifies [Gilb]. Les objectifs de qualit agiront en tant que critres d'acceptation pour le projet.

    4. Evaluer la capacit du processus ajust du projet satisfaire les objectifs de qualit des produits

    5. Dfinir les objectifs quantitatifs intermdiaires de qualit des produits pour chaque phase du cycle de vie et pour les produits dactivit correspondant, le cas chant, pour tre en mesure de suivre les progrs en vue de la ralisation des objectifs du projet en termes de qualit des produits

    Les objectifs de qualit intermdiaires agiront en tant que critres de sortie pour les phases de cycle de vie concernes.

    6. Allouer des objectifs projet de qualit des produits aux sous-traitants, selon les besoins.

    7. Prciser les dfinitions oprationnelles en termes prcis et sans ambigut pour les objectifs de qualit (intermdiaires) des produits identifis

    8. Etablir la traabilit entre les objectifs quantitatifs du projet en termes de qualit des produits et les besoins du projet en termes de qualit des produits

    9. Rviser les objectifs de qualit des produits, le cas chant

  • TMMi niveau 4

    Evaluation de la Qualit des

    Produits

    2012 TMMi Foundation. Parution 1.0 Page 155 sur 231

    SP 1.3 Dfinir l'approche pour mesurer le progrs vers les objectifs du projet en termes de qualit des produits

    L'approche est dfinie pour mesurer le niveau d'accomplissement de l'ensemble dfini des objectifs en matire de qualit des produits.

    Reportez-vous au domaine de processus Mesure du Test pour savoir comment dfinir des mesures.

    Exemples de produits dactivit

    1. Mthode de mesure de la qualit du produit

    2. Dfinitions des techniques de mesure (de test) utiliser

    Sous-pratiques

    1. Slectionner les techniques de mesure (de test) qui seront utilises pour mesurer les progrs en vue de la ralisation des objectifs (intermdiaires) de qualit des produits

    Exemples de techniques de mesure (de test) :

    Revue par les pairs

    Dveloppement dun prototype

    Analyse statique (du code)

    Test dynamique

    Nombre de dfauts dtects durant les tests de dveloppement pour prdire les dfauts trouvs plus tard dans le cycle de vie

    2. Dfinir les tapes dans le cycle de vie, par exemple, les niveaux de test, pour l'application de chacune des techniques choisies pour mesurer la qualit des produits

    3. Spcifier les procdures de collecte et de stockage des donnes

    Reportez-vous au domaine de processus Mesure du Test pour plus d'informations sur les procdures de collecte et de stockage des donnes.

    4. Slectionner les techniques d'analyse utiliser pour analyser les donnes de mesure de la qualit des produits

    5. Dfinir les outils de mesure (de test) qui seront utiliss

    6. Identifier les contraintes significatives concernant l'approche dfinie

    Exemples de contraintes concernant l'approche dfinie :

    Contraintes de qualit des donnes sources

    Contraintes de planification de la mesure des donnes dues des tapes qui se chevauchent dans le cycle de vie

    Techniques de mesure du test et/ou techniques d'analyse de donnes ncessitant des comptences spcifiques

    Contraintes en termes de budget et de ressources

    Contraintes d'environnement de test

    7. Revoir la mthode de mesure de la qualit du produit avec les parties prenantes

    8. Rviser la mthode de mesure de la qualit du produit, le cas chant

    SG 2 Quantifier et Grer le Progrs vers lAtteinte des Objectifs du Projet en termes de Qualit des Produits Le projet est suivi pour dterminer si les objectifs du projet en termes de qualit des produits seront satisfaits, et identifier les actions correctives qui s'imposent.

  • TMMi niveau 4

    Evaluation de la Qualit des

    Produits

    2012 TMMi Foundation. Parution 1.0 Page 156 sur 231

    SP 2.1 Mesurer quantitativement la qualit des produits tout au long du cycle de vie

    La qualit des produits et des produits dactivit dlivrs par le projet est quantitativement mesure tout au long du cycle de vie sur la base de l'approche dfinie.

    Exemples de produits dactivit

    1. Ensembles de donnes de mesure de qualit du produit

    2. Rsultats des tests d'intgrit des donnes de qualit des produits

    Sous-pratiques

    1. Effectuer des mesures de qualit des produits sur les produits dactivit en conformit avec les techniques de mesure (de test) slectionnes et l'approche dfinie des tapes dfinies du cycle de vie

    Exemples de produits dactivits :

    Documentation des exigences

    Documents de conception

    Spcification de l'interface

    Prototypes

    Code

    Composants individuels

    2. Effectuer des mesures de qualit dun produit sur le produit en conformit avec les techniques de mesure (de test) slectionnes et l'approche dfinie

    3. Recueillir des donnes de mesure de la qualit des produits en fonction du besoin

    4. Revoir les donnes de mesure de la qualit des produits pour garantir la qualit

    Exemples d'attributs de qualit des donnes de mesure :

    Exhaustivit

    Intgrit

    Prcision

    Crdibilit

    5. Rviser la mthode de mesure de la qualit des produits et les mesures de qualit des produits, le cas chant

    SP 2.2 Analyser les mesures de la qualit des produits et les comparer aux objectifs quantitatifs du produit

    Les mesures (intermdiaires) de qualit des produits sont analyses et compares aux objectifs (intermdiaires) du projet en termes de qualit des produits sur une base vnementielle et priodique.

    Exemples de produits dactivit

    1. Rsultats d'analyse

    2. Rapport de mesure de la qualit du produit

    3. Rsultats documents de la revue de la qualit des produits, par exemple, les procs-verbaux des runions

    4. Liste des problmes de qualit des produits ncessitant des actions correctives

    Sous-pratiques

    1. Procder une analyse initiale sur les mesures (intermdiaires) de la qualit des produits

  • TMMi niveau 4

    Evaluation de la Qualit des

    Produits

    2012 TMMi Foundation. Parution 1.0 Page 157 sur 231

    Reportez-vous au domaine de processus Mesure du Test pour plus d'informations sur l'analyse des donnes.

    2. Comparer les mesures de la qualit des produits par rapport aux objectifs du projet en termes de qualit des produits, et en tirer des conclusions prliminaires

    Les indicateurs qui indiquent une faible qualit des produits devraient faire l'objet d'un examen plus approfondi

    3. Effectuer des mesures de qualit des produits et des analyses supplmentaires si ncessaire, et prparer les rsultats pour leur communication

    4. Communiquer les rsultats de la mesure de la qualit des produits et le niveau de ralisation des objectifs quantitatifs (intermdiaires) en termes de qualit des produits aux parties prenantes concernes de manire rgulire

    5. Revoir les rsultats des mesures de la qualit des produits et le niveau de ralisation des objectifs quantitatifs (intermdiaires) de la qualit avec les parties prenantes concernes

    6. Identifier et documenter les problmes de qualit significatifs des produits et leurs impacts

    7. Dfinir les actions correctives prendre sur la base des rsultats de mesure analyss de la qualit des produits

    8. Grer les actions correctives jusqu leur terme

    Reportez-vous SG 3 Grer les Actions Correctives jusqu leur Terme du domaine de processus Suivi et Contrle du Test pour plus d'informations sur la gestion des actions correctives jusqu leur terme

    9. Rviser les objectifs de qualit des produits et l'approche de mesure, le cas chant

    Pratiques Gnriques par Objectifs

    GG 2 Institutionnaliser un Processus Disciplin

    GP 2.1 Etablir une politique organisationnelle

    Etablir et maintenir une politique organisationnelle pour la planification et l'excution du processus Evaluation de la Qualit des Produits.

    Elaboration

    La politique d'valuation de la qualit des produits indique gnralement que :

    Les activits d'valuation de la qualit des produits appuient l'engagement de l'organisation amliorer la qualit des produits

    Le projet dfinit et recueille les mesures utilises pour l'valuation de la qualit des produits sur la base des processus (de test) ajusts du projet

    Le projet dfinit des objectifs quantitatifs de qualit pour les produits et suit leurs progrs effectifs

    Les responsabilits pour l'valuation de la qualit des produits sont dfinies et assignes au groupe de test et autres groupes apparents, par exemple, l'assurance de la qualit et/ou la gestion de configuration

    GP 2.2 Planifier le processus

    Etablir et maintenir le plan pour appliquer le processus Evaluation de la Qualit des Produits.

    Elaboration

    En rgle gnrale, le plan pour la ralisation du processus d'valuation de la qualit du produit est inclus dans le plan de test, qui est dcrit dans le domaine de processus TMMi Planification du Test. Les activits pour l'valuation de la qualit des produits, par exemple, la dfinition d'objectifs de qualit des produits et les activits de mesure (de test), sont explicitement prvues dans le cadre du plan. Sinon, le plan pour la ralisation du processus d'valuation de la qualit du produit peut tre dcrit comme faisant partie du plan qualit du projet.

  • TMMi niveau 4

    Evaluation de la Qualit des

    Produits

    2012 TMMi Foundation. Parution 1.0 Page 158 sur 231

    GP 2.3 Fournir les ressources

    Fournir des ressources adquates pour mettre en place le processus Evaluation de la Qualit des Produits, en dveloppant les produits dactivits de test, et en fournissant les services du processus.

    Elaboration

    Un temps suffisant est fourni pour effectuer les activits d'valuation de la qualit des produits

    Des spcialistes de la mesure et des tests non-fonctionnels, par exemple, pour la performance, la scurit ou la fiabilit, peuvent tre ncessaire pour dfinir les objectifs et les mesures de qualit, et slectionner les techniques de mesure (de test). Ils peuvent galement tre ncessaires pour analyser et interprter les donnes recueillies.

    Des outils pour soutenir les activits d'valuation de la qualit des produits sont disponibles

    GP 2.4 Assigner les responsabilits Attribuer la responsabilit et l'autorit pour mettre en place le processus Evaluation de la Qualit des Produits, en dveloppant les produits dactivits, et en fournissant les services du processus Evaluation de la Qualit des Produits.

    Lors de la dfinition des responsabilits pour ce domaine de processus, il convient de prciser quel est le rle et la responsabilit de l'assurance qualit dans ce contexte. Le groupe d'assurance de la qualit, par nature, dfinit les processus et les objectifs de qualit des produits et value la performance du projet dans la ralisation de ces objectifs.

    GP 2.5 Former les personnes

    Former les personnes charges de mettre en place ou de soutenir le processus Evaluation de la Qualit des Produits en fonction des besoins.

    Elaboration Exemples de thmes de formation :

    Comprendre les objectifs et les avantages de la gestion quantitative de la qualit du produit

    Comprendre les mesures de la qualit des produits

    Mthodes pour dfinir, slectionner et collecter les mesures

    Attributs de qualit (par exemple ISO 9126)

    Mthodes et techniques pour obtenir des besoins de qualit des produits

    Techniques de mesure de la qualit du produit

    Outils de mesure

    GP 2.6 Grer en configuration

    Placer les produits dactivits slectionns du processus Evaluation de la Qualit des Produits sous un niveau appropri de gestion de configuration.

    Elaboration Exemples de produits dactivits placs sous gestion de configuration :

    Documentation des besoins en termes de qualit du produit

    Dfinition des objectifs de qualit des produits, des mesures oprationnelles et leurs points de collecte au cours des processus

    Mesures collectes

    GP 2.7 Identifier et impliquer les parties prenantes concernes

    Identifier et impliquer les parties prenantes du processus Evaluation de la Qualit des Produits comme prvu dans le planning.

  • TMMi niveau 4

    Evaluation de la Qualit des

    Produits

    2012 TMMi Foundation. Parution 1.0 Page 159 sur 231

    Elaboration Exemples d'activits pour limplication des parties prenantes :

    Recueillir les besoins en termes de qualit des produits

    Revoir les besoins en matire de qualit des produits, les objectifs de qualit des produits et les mthodes de mesure du test

    Evaluer la qualit des produits en cours de ralisation par rapport aux objectifs de qualit des produits

    Revoir la qualit des produits termins

    GP 2.8 Surveiller et contrler le processus

    Surveiller et contrler le processus Evaluation de la Qualit des Produits selon le planning pour excuter le processus et prendre les mesures appropries.

    Elaboration Exemples de mesures utilises dans la surveillance et le contrle du processus Evaluation de la Qualit des Produits :

    Pourcentage des objectifs de qualit des produits effectivement atteins par les projets

    Pourcentage des objectifs de qualit des produits effectivement mesurs dans les projets

    Planification des activits de collecte, d'analyse et de communication des donnes relatives aux objectifs de qualit des produits

    GP 2.9 Evaluer la conformit de manire objective

    Evaluer objectivement le respect du processus Evaluation de la Qualit des Produits et slectionner les produits dactivits selon la description du processus, les normes et les procdures, et traiter les non-conformits.

    Elaboration Exemples de sujets de revue et/ou audit de conformit :

    Dfinition des objectifs quantitatifs de qualit des produits

    Mesures collectes

    Informations contenues dans le plan de test en ce qui concerne les activits d'valuation de la qualit du produit effectuer

    Processus de mise en place et de suivi des objectifs de qualit des produits

    GP 2.10 Revoir le statut avec la hirarchie

    Passez en revue les activits, ltat et les rsultats du processus Evaluation de la Qualit des Produits avec la hirarchie et rsoudre les problmes.

    GG 3 Institutionnaliser un Processus Ajust

    GP 3.1 Etablir un processus ajust

    Etablir et maintenir la description d'un processus Evaluation de la Qualit des Produits ajust.

    GP 3.2 Recueillir des informations sur l'amlioration

    Recueillir les expriences lies au processus dcoulant de la planification et de lexcution du processus Evaluation de la Qualit des Produits pour soutenir l'utilisation future et l'amlioration des processus de l'organisation et des actifs de processus.

  • TMMi niveau 4

    Evaluation de la Qualit des

    Produits

    2012 TMMi Foundation. Parution 1.0 Page 160 sur 231

    Elaboration Exemples de mesures :

    Cot de la mauvaise qualit

    Cot pour atteindre les objectifs de qualit des produits

  • TMMi niveau 4 Revues Avances

    2012 TMMi Foundation. Parution 1.0 Page 161 sur 231

    PA 4.3 Revues Avances

    Intention Lobjectif des Revues Avances, en s'appuyant sur les pratiques du domaine de processus TMMi de niveau 3 Revues par les Pairs, est de mesurer la qualit du produit tt dans le cycle de vie et de renforcer la stratgie et lapproche de test en alignant les revues par les pairs (tests statiques) avec les test dynamiques.

    Notes introductives La dfinition du test indique clairement que c'est un processus qui englobe l'ensemble des activits du cycle de vie, la fois statiques et dynamiques, concern par la planification, la prparation et l'valuation des produits logiciels et de leurs produits dactivit . Cette vision du test qui provient du modle de test volutif [Gelperin et Hetzel] dfend la position que le test devrait couvrir la fois la validation et la vrification et comprendre la fois des analyses statiques et dynamiques. En accord avec cette vision du test, les revues sont une partie intrinsque du test, servant la fois de vrification, de validation et danalyse statique. Au niveau TMMi 4, ce point de vue est confort par une approche coordonne pour grer les revues par les pairs (tests statiques) et les tests dynamiques. Cela largit le processus de revue par les pairs du niveau TMMi 3, o les revues par les pairs sont effectues mais ne sont pas coordonnes avec les tests dynamiques.

    Les revues par les pairs, en tant que processus isol, sont un moyen efficace pour identifier les dfauts et les risques produit avant que le produit ne soit effectivement construit. Quand les revues par les pairs et les tests dynamiques sont coordonns, les rsultats et les donnes d'valuation prliminaires sont utiliss pour influencer l'approche de test. S'appuyant sur le principe de test de la classification des dfauts [Graham], les types et la quantit de dfauts constats lors des revues peuvent aider slectionner les tests les plus efficaces, et peuvent galement influencer l'approche de test ou mme les objectifs de test. En rgle gnrale, chaque jalon du projet, l'approche de test est rvalue et mise jour. Les donnes des revues par les pairs devraient tre l'un des moteurs de cette mise jour.

    Au niveau TMMi 4, l'organisation se fixe des objectifs quantitatifs pour les produits logiciels et leurs produits dactivit. Les revues par les pairs jouent un rle essentiel dans la ralisation de ces objectifs. Alors qu'au niveau TMMi 3 les revues par les pairs sont principalement effectues pour trouver des dfauts, l'accent est dsormais mis sur la mesure (documentation) de la qualit du produit. S'appuyant sur lexprience de la ralisation de revues par les pairs au niveau TMMi 3, les pratiques de revues sont amliores afin d'inclure des pratiques comme l'chantillonnage, lapplication de critres de sortie, et la prescription de rgles. Afin d'amliorer la fiabilit des mesures, des techniques avances de recherche de dfauts telles que la lecture base sur la perspective [Veenendaal] sont pratiques. Les rsultats de mesure sont galement utiliss par le management (de projet) pour contrler la qualit du produit tt dans le cycle de vie (voir Evaluation de la Qualit des Produits pour plus d'informations sur la mesure et la gestion de la qualit des produits).

    Champ dApplication Le domaine de processus Revues Avances s'appuie sur les pratiques du domaine de processus du niveau TMMi 3 Revues par les Pairs. Il couvre les pratiques pour ltablissement dune approche de test coordonne entre les revues par les pairs et les tests dynamiques et pour l'utilisation des rsultats et des donnes des revues par les pairs pour optimiser l'approche de test. Au niveau TMMi de maturit 4, les revues par les pairs sont pleinement intgres dans le processus de test dynamique, par exemple, en faisant partie de la stratgie de test, du plan de test et de l'approche de test. Le domaine de processus Revues Avances couvre galement les pratiques qui facilitent le passage des revues par les pairs en tant que technique de dtection des dfauts une technique de mesure de la qualit des produits en conformit avec le domaine de processus Evaluation de la Qualit des Produits. Ces pratiques comprennent lchantillonnage de document, la dfinition de rgles, des critres de sortie strictes et la lecture base sur la perspective.

    Rsum des Objectifs et Pratiques Spcifiques SG 1 Coordonner l'Approche des Revues par les Pairs avec l'Approche des Tests Dynamiques

    SP 1.1 Relier les produits dactivit aux lments et fonctionnalits tester

    SP 1.2 Dfinir une approche de test coordonne

    SG 2 Mesurer la Qualit du Produit Tt dans le Cycle de Vie grce aux Revues par les Pairs

  • TMMi niveau 4 Revues Avances

    2012 TMMi Foundation. Parution 1.0 Page 162 sur 231

    SP 2.1 Dfinir des directives de mesure des revues par les pairs

    SP 2.2 Dfinir les critres de revue par les pairs sur la base des objectifs de qualit des produits

    SP 2.3 Mesurer la qualit des produits dactivit en utilisant les revues par les pairs

    SG 3 Ajuster lApproche de Test sur la Base des Rsultats des Revues Tt dans le Cycle de Vie

    SP 3.1 Analyser les rsultats des revues par les pairs

    SP 3.2 Rviser les risques produit le cas chant

    SP 3.3 Rviser l'approche de test le cas chant

    Pratiques Spcifiques par Objectif

    SG 1 Coordonner l'Approche des Revues par les Pairs avec l'Approche des Tests Dynamiques L'approche des revues par les pairs (tests statiques) est aligne et coordonne avec l'approche des tests dynamiques.

    SP 1.1 Relier les produits dactivit aux lments et fonctionnalits tester

    Pour les lments et les fonctions tester, identifis par l'approche de test, les produits dactivits sont identifis.

    Exemples de produits dactivit

    1. Matrice de traabilit bidirectionnelle reliant les lments et fonctionnalits tests aux produits dactivit

    Sous-pratiques

    1. Revoir le rapport d'analyse des risques produit du projet

    Le rapport d'analyse des risques produit du projet, incluant les justifications, est examin pour tablir une comprhension dtaille des risques produit identifis et l'importance des lments et des fonctionnalits tester.

    Reportez-vous SG 1 Effectuer une Evaluation des Risques Produit du domaine de processus Planification du Test pour plus de dtails sur l'analyse des risques produit.

    2. Revoir le dcoupage des produits dactivit tel que dfini dans le plan projet

    Le dcoupage des produits dactivit tel que dfini dans le plan projet est revu pour tablir une comprhension dtaille des produits dactivit du projet identifis et leurs relations avec le produit final et donc aux lments et fonctionnalits tester.

    3. Etablir la traabilit bidirectionnelle entre les lments et les fonctions tester et les produits dactivit

    Les produits dactivit, en tant que candidats pour les revues, sont relis au moyen d'une matrice de traabilit bidirectionnelle aux lments et fonctionnalits tester identifis grce l'analyse des risques produit du projet.

    SP 1.2 Dfinir une approche de test coordonne

    Une approche de test est dfinie qui coordonne les tests statiques et dynamiques.

    Exemples de produits dactivit

    1. Liste des produits dactivit revoir

    2. Approche de test coordonne documente dans un plan de test (matre)

    3. Engagements documents

    Sous-pratiques

    1. Identifier les produits dactivit du projet et les produits dactivit de test revoir

  • TMMi niveau 4 Revues Avances

    2012 TMMi Foundation. Parution 1.0 Page 163 sur 231

    Dans la liste des produits dactivits, ceux qui sont lis des risques levs ou moyens sont slectionns pour tre revus.

    2. Documenter le niveau et le type de risque associ, drivs de l'lment et/ou la fonctionnalit tester, pour chacun des produits dactivit identifis pour tre revus.

    3. Prioriser la liste des produits dactivit revoir sur la base des risques produit lis

    4. Revoir la liste des produits dactivit revoir, en incluant le niveau de priorit et les produits dactivit ne pas revoir avec les parties prenantes

    5. Dfinir le(s) type(s) de revue par produit dactivit, incluant la justification, qui sera applique pour revoir les produits dactivit identifis en fonction du niveau et du type des risques produit associs

    Reportez-vous au domaine de processus Revues par les Paris pour avoir un aperu des diffrents types de revues et d'autres aspects de l'approche de la revue par les pairs.

    6. Revoir l'approche de test dynamique

    L'approche de test dynamique est revue afin de dterminer si le niveau d'effort peut tre rduit en raison de la couverture des risques produit atteint par les tests statiques.

    7. Identifier les contraintes significatives concernant l'approche de test coordonne

    Exemples de contraintes concernant l'approche de test coordonne :

    Revoir la disponibilit des ressources

    Les connaissances et comptences des rviseurs potentiels

    Dlais du projet

    8. Estimer l'effort et les cots requis pour mettre en uvre l'approche de test coordonne

    9. Revoir l'approche de test coordonne avec les parties prenantes

    10. Documenter l'approche de test coordonne dans le cadre d'un plan de test (matre)

    11. Obtenir l'engagement de la hirarchie sur l'approche de test coordonne

    12. Rviser l'approche de test coordonne, le cas chant

    SG 2 Mesurer la Qualit du Produit Tt dans le Cycle de Vie grce aux Revues par les Pairs Au dbut du cycle de vie, la qualit du produit est mesure en fonction de critres au moyen de revues par les pairs.

    SP 2.1 Dfinir des directives de mesure des revues par les pairs

    Des rgles pour faire des revues par les pairs une pratique de mesure sont dfinies et documentes.

    Exemples de produits dactivit

    1. Listes de contrle des rgles et de la revue

    2. Directives d'chantillonnage

    3. Procdures de lecture bases sur la perspective

    Sous-pratiques

    1. Dfinir et documenter les listes de contrle des rgles et des revues

    Les rgles prvoient un ensemble d'exigences gnriques concernant le contenu et le format d'un type de document. L'ensemble de rgles fournit une base pour la dfinition des critres de revues par les pairs et pour mesurer objectivement la qualit du document. Les checklists sont un ensemble de questions spcifiques conues pour aider les rviseurs trouver plus de dfauts, et, en particulier, les dfauts les plus importants en vrifiant l'ensemble de rgles dfinies. Les

  • TMMi niveau 4 Revues Avances

    2012 TMMi Foundation. Parution 1.0 Page 164 sur 231

    questions checklists interprtent des rgles spcifiques et sont dfinies, de prfrence, par rle de rviseur [Gilb et Graham].

    2. Dfinir et documenter les directives d'chantillonnage

    Pour mesurer la qualit d'un produit dactivit, il n'est ni ncessaire ni efficace d'examiner chaque page d'un document. L'chantillonnage est une mthode prouve pour tre capable de mesurer avec prcision la qualit du produit. Avec l'chantillonnage, seul un nombre limit de pages du document sont revues. Les dfauts, objectivement dfinis comme une violation d'une rgle, sont utiliss pour fournir une mesure de qualit telle que le nombre de dfauts par page. Si un chantillon valide est choisi, la mesure de la qualit de l'chantillon peut tre utilise comme une mesure de qualit pour l'ensemble du document.

    Exemples de points qui doivent tre abords dans les directives d'chantillonnage :

    Taille de l'chantillon

    Reprsentativit de l'chantillon

    Actions dcoulant des rsultats de la revue par chantillonnage telles que la communication des dfauts trouvs

    Taux de contrle (nombre de pages revues par heure)

    3. Dfinir et documenter les procdures de lecture base sur la perspective

    L'utilisation d'un processus dfini et systmatique pour la dtection de dfauts individuels (connu comme technique de lecture) permet aux rviseurs de mieux se concentrer sur les aspects importants du document revu. Plus important encore, en rendant le processus d'examen explicite, les techniques de lecture permettent aux revues dtre adaptes au fil du temps, afin de mieux rpondre aux besoins de l'organisation. Par exemple, si un type particulier de dfaut est toujours manqu par les rviseurs, une procdure pour savoir comment identifier ce type de dfaut devrait tre dveloppe et applique par au moins un des rviseurs dans le futur. Lutilisation de techniques de lecture permet aussi dtre moins dpendant des personnes et fournit des rsultats de revues et des mesures de qualit des produits plus reproductibles. [Veenendaal]

    4. Revoir les directives de mesure des revues par les pairs (rgles, listes de contrle, directives d'chantillonnage et procdures de lectures bases sur la perspective) avec les parties prenantes concernes

    5. Optimiser les directives de mesure des revues par les pairs en se basant sur les expriences pratiques

    SP 2.2 Dfinir les critres de revue par les pairs sur la base des objectifs de qualit des produits

    Les critres de revue par les pairs, particulirement les critres quantitatifs de sortie, sont dfinis en fonction des objectifs (intermdiaires) du projet en termes de qualit des produits.

    Exemples de produits dactivit

    1. Les critres de sortie quantitatifs spcifiques au projet

    Sous-pratiques

    1. Revoir les objectifs (intermdiaires) du projet en termes de qualit des produits

    Les besoins et les objectifs du projet en termes de qualit produit sont revus pour tablir une comprhension dtaille des objectifs identifis du projet en termes de qualit des produits et leurs priorits.

    Reportez-vous SG 1 Etablir les Objectifs du Projet en termes de Qualit des Produits et leurs Priorits du domaine de processus Evaluation de la Qualit des Produits pour plus de dtails sur les objectifs de qualit des produits.

    2. Dfinir des critres de sortie quantitatifs pour les revues par les pairs sur la base des objectifs (intermdiaires) du projet en termes de qualit des produits

  • TMMi niveau 4 Revues Avances

    2012 TMMi Foundation. Parution 1.0 Page 165 sur 231

    Reportez-vous au SP 1.2 Dfinir les critres de revue par les pairs du domaine de processus Revues par les Pairs pour plus de dtails sur les critres de sortie des revues par les pairs.

    3. Revoir les critres de sortie quantitatifs avec les parties prenantes

    4. Adapter les directives de revue par les pairs de l'organisation en fonction des objectifs du projet en termes de qualit des produits et des critres de sortie des revues par les pairs

    Les directives de mesure des revues par les pairs de l'organisation ne devraient tre utilises dans un projet spcifique, que si les directives sont pertinentes pour le projet. Les objectifs et les exigences du projet dterminent l'applicabilit des directives. Par exemple, les rgles et les checklists concernant la maintenabilit et la documentation peuvent tre sans intrt pour certains types de projets, tels que des produits jetables, les conversions de donnes ou les migrations.

    SP 2.3 Mesurer la qualit des produits dactivit en utilisant les revues par les pairs

    La qualit des produits dactivit est mesure au dbut du cycle de vie en utilisant les revues par les pairs.

    Exemples de produits dactivit

    1. Formulaire denregistrement des revues par les pairs (dfauts trouvs)

    2. Liste d'actions des revues par les pairs

    3. Donnes des revues par les pairs

    4. Rapports des revues par les pairs

    Sous-pratiques

    1. Mener des revues par les pairs sur les produits dactivit slectionns en suivant les directives de mesure

    Reportez-vous SG 2 Mener des Revues par les Pairs du domaine de processus Revue par les Pairs pour plus de dtails sur l'excution de revues par les pairs.

    2. Analyser les donnes et les rsultats des revues par les pairs

    3. Comparer les rsultats de la revue par les pairs aux critres de sortie dfinis

    4. Identifier les mesures prendre et communiquer les questions et les rsultats aux parties prenantes concernes

    5. Enregistrer les donnes des revues par les pairs

    SG 3 Ajuster lApproche de Test sur la Base des Rsultats des Revues Tt dans le Cycle de Vie Sur la base des rsultats des revues par les pairs menes en dbut de cycle de vie, l'approche de test est ajuste comme il convient.

    SP 3.1 Analyser les rsultats des revues par les pairs

    Les donnes de mesure collectes lors des revues par les pairs sur la qualit des produits dactivit sont analyses comme prvu.

    Exemples de produits dactivit

    1. Rsultats d'analyse des mesures de revues par les pairs

    2. Rapports de mesure de revues par les pairs sur la qualit des produits dactivit

    Sous-pratiques

    1. Mener une analyse sur les mesures de revues par les pairs en termes de qualit des produits dactivit

    2. Comparer les rsultats de l'analyse des revues par les pairs aux critres de sortie dfinis et aux risques produit et en tirer des conclusions prliminaires

  • TMMi niveau 4 Revues Avances

    2012 TMMi Foundation. Parution 1.0 Page 166 sur 231

    3. Procder des mesures et des analyses de revues par les pairs supplmentaires suivant le besoin et prparer les rsultats pour leur communication

    4. Garder les parties prenantes concernes rgulirement informes des rsultats de mesure des revues par les pairs en matire de qualit des produits dactivit

    5. Aider les parties prenantes comprendre les rsultats

    SP 3.2 Rviser les risques produit le cas chant

    Sur la base des donnes de mesure des revues par les pairs sur la qualit des produits dactivit, les risques produit sont rvalus et re-prioriss en utilisant des catgories et des paramtres prdfinis.

    Exemples de produits dactivit

    1. Liste des risques produit mise jour, avec une catgorie et une priorit attribues chaque risque (incluant une justification documente)

    Sous-pratiques

    1. Identifier les nouveaux risques produit pour lesquels un niveau de risque ou un type de risque devrait tre attribu

    En utilisant les donnes de mesure des revues par les pairs sur la qualit des produits dactivit et sur la base dinformations telles que le nombre de dfauts et le type de dfauts, on peut associer un niveau de risque produit plus lev ou moins lev certaines parties du produit. Cela concerne notamment la probabilit dtre sujet aux dfauts. De nouveaux risques produit peuvent galement tre identifis en utilisant les donnes des revues par les pairs sur la qualit des produits dactivit.

    Le processus de test est plus efficace lorsquon se concentre sur lamlioration des tests en utilisant les informations les plus rcentes sur la qualit des produits.

    2. Analyser les risques produit identifis l'aide des paramtres prdfinis, par exemple, la probabilit et la gravit

    Notez que les risques produit nouvellement identifis et les risques produit prcdemment identifis sont tous soumis l'analyse.

    3. (Re-)classer et (re-)grouper les risques produit selon les catgories de risques dfinies

    4. (Re-)prioriser les risques produit pour la prvention des risques

    5. Documenter les raisons des mises jour de la liste des risques produit du projet

    6. Revoir et obtenir laccord des parties prenantes quant l'exhaustivit, la catgorie et le niveau de priorit des risques produit rviss

    7. Revoir l'ensemble des risques produit sur la base des donnes de mesure des revues par les pairs aux diffrentes tapes du projet et sur une base vnementielle

    SP 3.3 Rviser l'approche de test le cas chant

    Sur la base des risques produit identifis, l'approche de test coordonne est rvise et approuve selon le besoin.

    Exemples de produits dactivit

    1. Approche de test dynamique mise jour

    Sous-pratiques

    1. Revoir la liste des points tester (y compris le niveau de risque) et ne pas tester sur la base de l'ensemble rvis des risques produit

    2. Revoir la liste des fonctionnalits tester (y compris le niveau de risque) et ne pas tester sur la base de l'ensemble rvis des risques produit

    3. Revoir la liste rvise des lments et des fonctionnalits tester et ne pas tester avec les parties prenantes

  • TMMi niveau 4 Revues Avances

    2012 TMMi Foundation. Parution 1.0 Page 167 sur 231

    4. Revoir l'approche de test coordonne, le cas chant

    L'approche de test coordonne, qui inclut la fois l'approche de test dynamique (fonctionnelle et non fonctionnelle) et l'approche des revues par les pairs est revisite et mise jour, le cas chant, sur la base de la liste rvise des lments et des caractristiques tester, et ne pas tester.

    Reportez-vous SG 2 Etablir une approche de test du domaine de processus Planification du Test, et SG 2 Etablir une approche de test non fonctionnel du domaine de processus Test Non-Fonctionnel pour plus de dtails sur la dfinition d'une approche de test. Reportez-vous SG 1 Etablir une approche de revue par les pairs du domaine de processus Revues par les Pairs pour plus de dtails sur la dfinition d'une approche de revue par les pairs.

    5. Documenter l'approche de test coordonne rvise dans le cadre dun plan de test (matre)

    6. Revoir et obtenir l'engagement des parties prenantes concernant l'approche de test coordonne rvise

    Pratiques Gnriques par Objectifs

    GG 2 Institutionnaliser un Processus Disciplin

    GP 2.1 Etablir une politique organisationnelle

    Etablir et maintenir une politique organisationnelle pour la planification et l'excution du processus Revues Avances.

    Elaboration

    La politique des revues avances indique gnralement que :

    Des revues seront menes pour mesurer la qualit du produit au dbut du cycle de dveloppement

    Les revues font partie du processus de test et devraient faire partie de l'approche de test, du plan de test et des rapports de test du projet

    Les revues par les pairs sont menes par des modrateurs forms

    Les donnes de mesure des revues sont collectes et utilises pour amliorer l'approche de test dynamique, amliorer le processus de revue, et prvoir la qualit du produit

    GP 2.2 Planifier le processus

    Etablir et maintenir le plan pour appliquer le processus Revues Avances.

    Elaboration

    Au niveau TMMi 4, les revues par les pairs sont une partie intgrante du processus de test. Le plan pour la ralisation du processus Revues Avances est inclus dans le plan de test (matre).

    GP 2.3 Fournir les ressources

    Fournir des ressources adquates pour mettre en place le processus Revues Avances, en dveloppant les produits dactivits de test, et en fournissant les services du processus.

    Elaboration

    Un temps suffisant est fourni pour effectuer les activits de revues avances

    Des modrateurs de revue forms sont disponibles

    Des salles de runion sont disponibles pour des runions de revue

    Des artefacts de soutien tels que des formulaires denregistrement de dfauts et des formulaires de processus de revue pour aider la collecte, lanalyse et la communication des donnes sont disponibles

  • TMMi niveau 4 Revues Avances

    2012 TMMi Foundation. Parution 1.0 Page 168 sur 231

    Les rgles et les listes de contrle, les procdures de lecture et les directives d'chantillonnage sont tablies et maintenues

    Des outils pour appuyer le processus Revues Avances sont disponibles, par exemple, des outils denregistrement des dfauts, des outils de communication, des outils de mesure et des outils de gestion des revues par les pairs

    GP 2.4 Assigner les responsabilits

    Attribuer la responsabilit et l'autorit pour mettre en place le processus Revues Avances, en dveloppant les produits dactivits, et en fournissant les services du processus Revues Avances.

    Elaboration

    Depuis le niveau TMMi 4, les revues par les pairs font partie du processus de test, des gestionnaires de test sont dsigns pour tre responsable de la coordination du processus de revues avances au sein des projets.

    Des modrateurs de revues soutiendront le Test Manager et seront dsigns pour coordonner les revues par les pairs individuelles servant valuer la qualit des produits dactivit.

    GP 2.5 Former les personnes

    Former les personnes charges de mettre en place ou de soutenir le processus Revues Avances en fonction des besoins.

    Elaboration Exemples de thmes de formation :

    Evaluation des risques produit

    Dfinir une approche de test coordonne

    Types de revues

    Dfinir des critres de sortie quantitatifs de revues par les pairs

    Rgles et checklists de documents

    Les pratiques d'chantillonnage

    La lecture base sur la perspective

    Processus de collecte, danalyse et de communication des donnes

    GP 2.6 Grer en configuration

    Placer les produits dactivits slectionns du processus Revues Avances sous un niveau appropri de gestion de configuration.

    Elaboration Exemples de produits dactivits placs sous gestion de configuration :

    Approche de test coordonne

    Rapport de revue de lapproche de test coordonne

    Plan de test

    Revue par les pairs des (base de) donnes

    Donnes de mesure des revues par les pairs

    Rsultats et rapports de lanalyse des mesures des revues par les pairs

    Matriel de formation des revues avances

    Donnes d'valuation des risques produit

  • TMMi niveau 4 Revues Avances

    2012 TMMi Foundation. Parution 1.0 Page 169 sur 231

    GP 2.7 Identifier et impliquer les parties prenantes concernes

    Identifier et impliquer les parties prenantes du processus Revues Avances comme prvu dans le planning.

    Elaboration

    Slectionnez les parties prenantes concernes parmi les clients, les utilisateurs finaux, les dveloppeurs, les testeurs, les fournisseurs, les commerciaux, la maintenance, lencadrement et les autres personnes qui pourraient tre affectes, ou pourraient affecter les produits (dactivit) pour participer aux revues avances.

    Exemples d'activits pour limplication des parties prenantes :

    Slectionner les produits dactivit revoir

    Rserver explicitement les ressources ncessaires

    Revoir et approuver l'approche de test coordonne

    Raliser des revues par les pairs

    Evaluer les donnes de mesure des revues par les pairs

    GP 2.8 Surveiller et contrler le processus

    Surveiller et contrler le processus Revues Avances selon le planning pour excuter le processus et prendre les mesures appropries.

    Elaboration Exemples de mesures utilises dans la surveillance et le contrle du processus Revues Avances :

    Effort rel consomm par rapport l'effort prvu pour les revues par les pairs et les tests dynamiques

    Nombre de revues par les pairs planifies et excutes

    Nombre de produits dactivit mesurs sur leur qualit par rapport au nombre planifi

    Nombre de rvisions du plan de test

    Nombre de risques produit nouveaux ou modifis par rvision

    Nombre dlments de test affects par les changements du niveau de risque chaque rvision

    GP 2.9 Evaluer la conformit de manire objective

    Evaluer objectivement le respect du processus Revues Avances et slectionner les produits dactivits selon la description du processus, les normes et les procdures, et traiter les non-conformits.

    Elaboration Exemples de sujets de revue et/ou audit de conformit :

    Prsence d'une approche de test coordonne dans le plan de test

    Conformit des revues par les pairs ralises par rapport aux directives de mesure

    Efficacit des directives de mesure des revues par les pairs

    Utilisation des rsultats des revues par les pairs pour revoir la liste des risques produit

    Efficacit des mises jour du plan de test bases sur le rsultat des revues par les pairs

  • TMMi niveau 4 Revues Avances

    2012 TMMi Foundation. Parution 1.0 Page 170 sur 231

    GP 2.10 Revoir le statut avec la hirarchie

    Passez en revue les activits, ltat et les rsultats du processus Revues Avances avec la hirarchie et rsoudre les problmes.

    Elaboration Exemples d'activits, de statuts et de rsultats du processus Revues Avances qui peuvent tre examines avec la hirarchie :

    Nombre de projets avec une approche de test coordonne

    Nombre de revues par les pairs planifies et excutes

    Rsultats des revues effectues

    Donnes de mesure des revues effectues, par exemple, efficacit et rendement de l'limination des dfauts logiciels

    GG 3 Institutionnaliser un Processus Ajust

    GP 3.1 Etablir un processus ajust

    Etablir et maintenir la description d'un processus Revues Avances ajust.

    GP 3.2 Recueillir des informations sur l'amlioration

    Recueillir les expriences lies au processus dcoulant de la planification et de lexcution du processus Revues Avances pour soutenir l'utilisation future et l'amlioration des processus de l'organisation et des actifs de processus.

    Elaboration Exemples de mesures :

    Couverture des revues par les pairs

    Densit de dfauts (par page) dans les documents mesurs au moyen de revues par les pairs

    Pourcentage de plans de test qui intgrent une approche de revue par les pairs

    Pourcentage des revues par les pairs effectues en utilisant des techniques de lecture base sur la perspective

    Nombre de risques produit revus sur la base des rsultats des revues par les pairs

    Nombre de plans de test et dapproches de test mis jour sur la base des rsultats des revues par les pairs

  • TMMi niveau 5 TMMi Niveau 5 : En Optimisation

    2012 TMMi Foundation. Parution 1.0 Page 171 sur 231

    TMMi Niveau 5 : En Optimisation La ralisation de tous les objectifs prcdents d'amlioration des tests des niveaux 1 4 du TMMi a cr une infrastructure organisationnelle pour le test qui prend en charge un processus compltement dfini et mesur. Au niveau de maturit TMMi 5, une organisation est capable d'amliorer continuellement ses processus en sappuyant sur une comprhension quantitative de processus contrls statistiquement. Lamlioration de la performance des processus de test est ralise grce un processus incrmental et innovateur et des amliorations technologiques. Les mthodes et les techniques de test sont optimises et il y a une attention continue porte la mise au point prcise et l'amlioration des processus. Un processus de test optimis, tel que dfini par le TMMi est un processus qui est :

    - Gr, dfini, mesur et efficace.

    - Statistiquement contrl et prdictible.

    - Ax sur la prvention des dfauts.

    - Bas sur l'automatisation tant que cela est considr comme une utilisation efficace des ressources.

    - En mesure daider au transfert de technologie de l'industrie l'organisation.

    - En mesure de permettre la rutilisation des actifs de test.

    - Ax sur le changement des processus pour permettre une amlioration continue.

    Pour soutenir l'amlioration continue de l'infrastructure des processus de test, et pour identifier, planifier et mettre en uvre lamlioration des tests, un groupe charg de lamlioration permanente des processus de test est officiellement cr et est compos de membres qui ont reu une formation spcialise pour augmenter le niveau des comptences et des connaissances ncessaires la russite du groupe. Dans de nombreuses organisations ce groupe est appel un Groupe Processus de Test. La mise en place dun Groupe Processus de Test commence officiellement au niveau TMMi 3 lorsque l'organisation des tests est introduite. Aux niveaux TMMi 4 et 5, les responsabilits augmentent avec lintroduction de pratiques de niveau plus lev, par exemple, l'identification dactifs de tests (processus) et le dveloppement et la maintenance dune bibliothque dactifs de tests (processus).

    Le domaine de processus Prvention des Dfauts est tabli pour identifier et analyser les causes les plus frquentes de dfauts dans l'ensemble du cycle de dveloppement et pour dfinir des actions permettant de prvenir la reproduction de dfauts similaires. Les valeurs aberrantes dans le test de la performance des processus, tels qu'identifis dans le cadre du processus de contrle de la qualit, sont analyss afin de s'attaquer leurs causes dans le cadre de la Prvention des Dfauts.

    Le processus de test est maintenant statistiquement gr au moyen du domaine de processus Contrle de la Qualit. L'chantillonnage statistique, la mesure des niveaux de confiance, de la fiabilit et de la cohrence contrlent le processus de test. Le processus de test est caractris par des mesures de qualit bases sur l'chantillonnage.

    Au niveau TMMi 5, le domaine de processus Optimisation du Processus de Test introduit des mcanismes pour affiner et amliorer le test de faon continue. Il existe une procdure tablie pour identifier les amliorations de processus ainsi que pour slectionner et valuer les nouvelles technologies de test. Les outils sont une aide au processus de test autant que possible lors de la conception des tests, l'excution des tests, les tests de rgression, la gestion des cas de test, la collecte et l'analyse des dfauts, etc. La rutilisation des processus et des artefacts de test est galement une pratique tablie dans lorganisation, avec laide dune bibliothque dactifs de test (processus).

    Les trois domaines de processus au niveau TMMi 5, Prvention des Dfauts, Contrle de la Qualit et Optimisation du Processus de Test concourent tous l'amlioration continue des processus. En fait, les trois domaines de processus sont troitement lis. Par exemple, la Prvention des Dfauts participe au Contrle de la Qualit en analysant les valeurs aberrantes dans la mesure de la performance des processus et en tablissant des pratiques pour l'analyse de la causalit des dfauts et la prvention de la reproduction des dfauts. Le Contrle de Qualit contribue l'Optimisation du Processus de Test, et l'Optimisation du Processus de Test participe la fois la Prvention des Dfauts et au Contrle de la Qualit, par exemple en mettant en uvre les propositions d'amlioration de test. Tous ces domaines de processus sappuient, au final, sur les pratiques qui ont t acquises lorsque les domaines de processus de niveau infrieur ont t mis en uvre. Au niveau TMMi 5, le test est un processus dont le but est de prvenir les dfauts.

    Les domaines de processus au niveau TMMi 5 sont:

  • TMMi niveau 5 TMMi Niveau 5 : En Optimisation

    2012 TMMi Foundation. Parution 1.0 Page 172 sur 231

    5.1 Prvention des Dfauts

    5.2 Contrle de la Qualit

    5.3 Optimisation du Processus de Test

    Ces diffrents points sont abords en dtail dans la suite de ce document.

  • TMMi niveau 5 Prvention des Dfauts

    2012 TMMi Foundation. Parution 1.0 Page 173 sur 231

    PA 5.1 Prvention des Dfauts

    Intention Lobjectif de la Prvention des Dfauts est d'identifier et analyser les causes courantes de dfauts dans le cycle de dveloppement et de dfinir des actions pour prvenir lapparition de dfauts similaires dans le futur.

    Notes introductives En accord avec le modle de test volutif [Gelperin et Hetzel], le test au niveau TMMi 5 achve son volution dun processus ax sur la dtection un processus ax sur la prvention. En accord avec cette vision du test, les tests se concentrent sur la prvention des anomalies qui, autrement, auraient t introduites plutt que simplement sur leur dtection pendant les activits de test. La Prvention des Dfauts implique lanalyse les dfauts qui ont t rencontrs dans le pass, l'identification des causes et la prise des mesures spcifiques pour prvenir l'apparition de ces types de dfauts dans le futur. La slection des dfauts analyser devrait tre base sur divers facteurs, notamment les risques. Leffort devrait tre concentr sur les domaines dans lesquels la prvention des dfauts a le plus de valeur ajoute (gnralement en termes de rduction des cots ou des risques) et/ou dans lesquels les dfauts sont les plus critiques. On devrait prendre en compte la fois les types de dfauts existants et les nouveaux types de dfauts tels que des dfauts qui sont nouveaux pour l'organisation, mais sont connus dans l'industrie. Les activits de Prvention des Dfauts sont aussi un mcanisme pour la diffusion des leons apprises travers l'organisation, par exemple, travers les projets.

    La prvention des dfauts amliore la qualit et la productivit en empchant l'introduction de dfauts dans un produit. Les donnes de l'industrie montrent que le recours la dtection de dfauts aprs qu'ils aient t introduits n'est gnralement pas rentable [Boehm]. Il est gnralement plus rentable de prvenir lintgration des dfauts par l'intgration des pratiques de Prvention des Dfauts dans chaque phase du projet. Au niveau TMMi 5, une organisation saura ce qui est plus rentable : la prvention ou la dtection d'un certain type de dfaut. De nombreux modles d'amlioration des processus mettent l'accent sur l'utilisation de l'analyse causale comme un moyen d'amliorer continuellement la maturit du processus. Exemples de mthodes d'analyse causale : runions d'analyse causale spcifiques, utilisation doutils tels que l'analyse de larbre des dfaillances et le diagramme de causes effet, des rtrospectives sur les projets, l'analyse causale lors des revues formelles, et l'utilisation de classifications standards des dfauts.

    La Prvention des Dfauts est un mcanisme pour valuer le processus de dveloppement complet et identifier les amliorations les plus efficaces en matire de qualit des produits. Dans le cadre des pratiques de Prvention des Dfauts, les tendances sont analyses pour suivre les types de dfauts qui ont t rencontrs et o ils ont t introduits, et pour identifier les dfauts qui sont les plus susceptibles de se reproduire. Un processus de mesure (de test) est dj en place ayant t introduit au niveau 4. Les mesures disponibles peuvent tre utilises, bien que de nouvelles mesures pourraient tre ncessaires pour analyser les effets des changements de processus. Bases sur la comprhension des processus de dveloppement et de test standard dfinis par l'organisation et la faon dont ils sont mis en uvre, les causes des dfauts et les consquences des dfauts pour les activits futures sont dtermines. Des actions spcifiques sont dfinies et prises pour prvenir une rapparition des dfauts identifis. La Prvention des Dfauts est une partie essentielle d'un processus de test mature. Les dfauts constats au cours du dveloppement, des tests ou mme pendant la production doivent tre systmatiquement analyss, prioriss et des mesures doivent tre prises pour empcher quils ne se produisent l'avenir. L'organisme de test coordonne les activits de Prvention des Dfauts. Cela devrait se faire en troite coopration avec d'autres disciplines, par exemple, lingnierie des exigences, des systmes et/ou le dveloppement de logiciels, car les actions d'amlioration affecteront souvent d'autres disciplines.

    Champ dApplication Le domaine de processus Prvention des Dfauts aborde les pratiques pour identifier et analyser les causes frquentes de dfauts, et dfinir des actions spcifiques pour liminer les causes frquentes de ces types de dfauts l'avenir, tant au sein du projet et quailleurs dans l'organisation. Tous les dfauts, quils soient trouvs au cours des dveloppements, des tests ou sur le terrain, sont couverts par ce domaine de processus. Les dfauts de processus qui ont abouti des valeurs aberrantes et qui ne rpondent pas la performance attendue des processus entrent galement dans le champ d'application. Puisque la Prvention des Dfauts a besoin de donnes de mesure et de processus de mesure, la Prvention des Dfauts s'appuie sur les mthodes de mesure du niveau TMMi 4 et les donnes de mesure disponibles concernant le dveloppement, les tests et la qualit du produit.

  • TMMi niveau 5 Prvention des Dfauts

    2012 TMMi Foundation. Parution 1.0 Page 174 sur 231

    Rsum des Objectifs et Pratiques Spcifiques SG 1 Dterminer les Causes Frquentes de Dfauts

    SP 1.1 Dfinir des paramtres de slection des dfauts et un systme de classification des dfauts

    SP 1.2 Slectionner les dfauts analyser

    SP 1.3 Analyser les causes des dfauts slectionns

    SG 2 Prioriser et Dfinir des Actions pour Eliminer Systmatiquement les Causes Racines des Dfauts

    SP 2.1 Proposer des solutions pour liminer les causes racines frquentes

    SP 2.2 Dfinir des propositions daction et soumettre des propositions d'amlioration

    Pratiques Spcifiques par Objectif

    SG 1 Dterminer les Causes Frquentes de Dfauts Les causes frquentes et racines des dfauts slectionns sont systmatiquement dtermines.

    SP 1.1 Dfinir des paramtres de slection des dfauts et un systme de classification des dfauts

    Les paramtres de slection pour les dfauts analyser et un systme dtaill de classification des dfauts sont dfinis.

    Exemples de produits dactivit

    1. Paramtres de slection des dfauts

    2. Systme de classification des dfauts

    Sous-pratiques

    1. Dterminer les paramtres de slection des dfauts

    La slection des dfauts devrait tre base sur divers facteurs, notamment les risques. Une attention particulire doit tre accorde aux domaines dans lesquels la prvention des dfauts la plus grande valeur ajoute et/ou dans lesquels les dfauts sont les plus critiques.

    Exemples de paramtres de slection de dfauts :

    Les dommages potentiels qu'un dfaut de ce type peut provoquer

    La frquence de l'occurrence des dfauts

    L'effort qu'il faut pour corriger le dfaut

    Une estimation de l'effort qu'il faut pour viter que le dfaut ne se reproduire

    Les cots de correction du dfaut

    La mesure dans laquelle le dfaut a un impact ngatif sur la performance des processus

    2. Revoir les paramtres de slection de dfauts dfinis avec les parties prenantes concerns

    3. Dfinir un systme dtaill de classification des dfauts

    Un classement par dfaut commun permet d'obtenir des statistiques concernant les domaines d'amlioration analyser dans l'organisation. Les dfauts analyser seront issus de toutes les phases du cycle de vie, y compris la maintenance et l'exploitation. Des normes telles que [IEEE 1044] permettent une classification commune des anomalies conduisant une meilleure comprhension des tapes du projet o les dfauts sont introduits, les activits du projet pendant lesquelles les erreurs sont dtectes, le cot de correction des dfauts, le cot des dfaillances, et ltape o le dfaut a t dtect par rapport ltape o il aurait d tre trouv (aussi connu comme la fuite de dfaut) [ISTQB ITP].

  • TMMi niveau 5 Prvention des Dfauts

    2012 TMMi Foundation. Parution 1.0 Page 175 sur 231

    IEEE 1044 distingue quatre phases dans le cycle de vie de l'incident/dfaut :

    Dtection - Lorsque l'incident est dtect

    Investigation - Chaque incident est analys afin d'identifier toutes les problmes relatifs connus et les solutions proposes

    Action - Un plan d'action est labor sur la base de linvestigation (rsoudre, re-tester)

    Classement - Une fois que toutes les mesures ncessaires sont termines, l'incident doit tre cltur

    Dans chaque phase un nombre d'attributs ont t dfinis par la norme qui peuvent tre utiliss pour la classification. IEEE 1044 fournit des listes exhaustives de classifications et des lments de donnes, telles que :

    Pendant la dtection les classifications suivantes (y compris les lments de donnes) sont fournies : activit de projet, phase, cause suspecte, rptabilit, systme, tat du produit, etc.

    Au cours de linvestigation, les classifications suivantes (y compris les lments de donnes) sont fournies : cause relle, source du dfaut, type de dfaut, etc.

    Notez que le systme de classification des dfauts introduit doit maintenant tre applique pendant les activits denregistrement des dfauts tels que SP 3.3 Signaler les incidents de test (domaine de processus Conception et Excution des Tests) et SP 5.2 Signaler des incidents de test non-fonctionnels (domaine de processus Test Non-Fonctionnel). Notez quun Systme de Classification des Dfauts peut tre dfinie en PA 2.4 Conception et Excution des Tests qui peut tre rutiliss dans cette sous-pratique.

    4. Revoir le systme de classification des dfauts dfinis avec les parties prenantes concerns.

    SP 1.2 Slectionner les dfauts analyser

    Les dfauts sont slectionns partir du rfrentiel de dfauts pour une analyse dtaille.

    Exemples de produits dactivit

    1. Dfauts choisis pour une analyse approfondie (y compris la justification)

    Sous-pratiques

    1. Identifier et slectionner les parties prenantes qui doivent contribuer au processus de slection des dfauts

    Les participants peuvent tre choisis parmi les chargs daffaires, les dveloppeurs, la maintenance, la gestion du service, le support applicatif, le test et les tierces parties concernes. Les participants peuvent galement tre une quipe standard sous l'gide du Groupe de Processus de Test, complte avec des participants ad hoc pour des dfauts particuliers.

    2. Raliser la sance de lancement

    Les objectifs de la sance de lancement sont :

    Expliquer le processus qui sera suivi au cours de la runion de slection des dfauts

    Prendre des dispositions concrtes sur la prparation, le temps et le lieu de la runion

    Expliquer les paramtres de slection et le systme de classification

    Si tous les participants ont de l'exprience dans le processus de slection des dfauts, la sance de lancement peut tre optionnelle.

    3. Se prparer la slection des dfauts

    Exemples d'activits mener au cours de la prparation slection des dfauts :

    Etablir une liste exhaustive de tous les dfauts. Les rapports de dfauts peuvent provenir des tests statiques, des tests dynamiques, de l'utilisation relle en production et de valeurs aberrantes dans performance des processus.

    Faire une premire slection partir du rfrentiel de dfauts. Au cours de cette activit, les

  • TMMi niveau 5 Prvention des Dfauts

    2012 TMMi Foundation. Parution 1.0 Page 176 sur 231

    dfauts qui ont une faible probabilit d'tre choisi, par exemple des dfauts mineurs, sont supprims de la liste. Les dfauts qui adhrent aux paramtres de slection des dfauts sont identifis.

    Effectuer une analyse initiale sur les dfauts, par exemple, pour identifier les types de dfauts qui sont trs prsent, en utilisant des techniques telles que des analyses et des histogrammes de Pareto.

    4. Les parties prenantes dcident quels dfauts (ou types de dfauts) seront analyses en dtail. Les paramtres de slection des dfauts et les autres informations prpares sont utiliss pour prendre cette dcision. Une attention particulire devrait tre accorde la fois aux types de dfauts existants ainsi quaux nouveaux types de dfauts.

    SP 1.3 Analyser les causes des dfauts slectionns

    Procder l'analyse causale des dfauts slectionns pour dterminer leurs causes racines et identifier les causes frquentes.

    Exemples de produits dactivit

    1. Les causes racines des dfauts slectionns

    2. Les causes frquentes de dfauts

    Sous-pratiques

    1. Analyser les dfauts slectionns pour dterminer leur cause racine

    Les causes racines sont chercher dans l'activit spcifique durant la phase de dveloppement ou de test o le dfaut a t inject. La cause racine des dfauts est dtermine en utilisant des mthodes spcifiques. Selon le nombre de dfauts, il peut tre judicieux de commencer par grouper les dfauts, par exemple, par type, avant d'identifier leurs causes racines.

    Exemples de mthodes pour dterminer les causes racines [ISTQB ITP] :

    Diagrammes de causes effet

    Diagrammes en artes de poisson dIshikawa

    Analyse par arbre de dfaillance

    Analyse des processus

    Utilisation de classifications de dfaut standards [IEEE 1044]

    Listes de contrle

    AMDE (Analyse des Modes de Dfaillance et de leurs Effets)

    Analyse de linteraction entre le matriel et le logiciel

    2. Dterminer les causes frquentes des dfauts slectionns

    Les dfauts slectionns sont regroups en fonction de leurs causes racines.

    Exemples de catgories de causes frquentes :

    Le Processus

    Les personnes (comptences et connaissances)

    Lorganisation (du projet)

    La Communication

    L'architecture

    La technologie, par exemple, les outils, l'environnement de test

  • TMMi niveau 5 Prvention des Dfauts

    2012 TMMi Foundation. Parution 1.0 Page 177 sur 231

    SG 2 Prioriser et Dfinir des Actions pour Eliminer Systmatiquement les Causes Racines des Dfauts Des actions sont dfinies et priorise pour traiter systmatiquement les causes racines et frquentes de dfauts.

    SP 2.1 Proposer des solutions pour liminer les causes racines frquentes

    Des solutions sont proposes pour liminer les causes racines.

    Exemples de produits dactivit

    1. Les solutions possibles

    2. Les groupes de causes communes / profondes de dfauts

    Sous-pratiques

    1. Regrouper les causes les plus frquentes qui peuvent ventuellement tre corriges par une ou plusieurs solutions communes

    Par exemple, les causes frquentes peuvent tre regroupes par phase de dveloppement, technologie, cycle de dveloppement, ou discipline.

    2. Dterminer le(s) type(s) de solutions qui sont les plus susceptibles de corriger la cause frquente

    Exemples de types de solutions :

    Les processus

    Les normes de produits dactivit

    Les directives pour les exigences

    L'architecture

    La formation

    Le recrutement

    Le coaching

    La structure organisationnelle

    Les activits de communication et de collaboration

    La gratification des employs

    La revue des activits

    La stratgie de test et/ou lapproche de test

    Les mthodes et techniques

    Les checklists

    Les normes de codage

    Les outils

    3. Dfinir des solutions

    Dfinir les solutions pour la cause frquente sur la base des types identifis de solutions.

    Eventuellement, des mthodes, outils et techniques appropris sont slectionns comme une partie de la solution. Les mthodes, outils et techniques peuvent aider l'organisation dfinir des solutions cohrentes qui empchent que les dfauts ne se reproduisent. Les mthodes, outils et techniques peuvent fournir des solutions qui ne sont pas encore utilises ou connues par l'organisation.

    Il est galement possible que les bonnes pratiques de l'organisation fassent partie de la solution. Les bonnes pratiques appliques dans un projet spcifique ou une partie spcifique de

  • TMMi niveau 5 Prvention des Dfauts

    2012 TMMi Foundation. Parution 1.0 Page 178 sur 231

    l'organisation peuvent aider l'organisation dfinir des solutions cohrentes qui empchent que les dfauts ne se reproduisent.

    4. Valider les solutions proposes

    Valider les solutions proposes pour dterminer si les solutions prviennent la rapparition des dfauts slectionns.

    Exemples de techniques appliques pour valider les solutions proposes :

    Prototype

    Pas pas

    Revue technique

    Simulation (manuelle)

    5. Prioriser les solutions proposes

    Les critres de priorisation des solutions proposes sont les suivants :

    Contribution l'entreprise

    Mesure dans laquelle elle contribue liminer les causes les plus frquentes

    Impact et cot de la mise en uvre de la solution pour l'organisation

    Consquences de ne pas traiter les dfauts

    Impact attendu sur la qualit

    SP 2.2 Dfinir des propositions d'action et soumettre des propositions d'amlioration

    Des propositions d'actions qui traitent les solutions proposes sont dfinies et prsentes comme des propositions d'amlioration.

    Exemples de produits dactivit

    1. Propositions d'actions mises au point

    2. Donnes enregistres

    3. Propositions d'amlioration soumises

    Sous-pratiques

    1. Elaborer des propositions d'action

    Exemples d'informations fournies dans une proposition d'action [CMMI] :

    Personne responsable de sa mise en uvre

    Description des lments affects

    Personne(s) informer de son statut

    Prochaine date de rvision du statut

    Justification des dcisions cls

    Description des activits de mise en uvre

    Cot estim de ne pas rgler le problme, par exemple les cots pour identifier et corriger le dfaut quand il se produira nouveau

    2. Examiner les propositions d'action avec les parties prenantes concernes

    Les propositions d'action peuvent tre revues afin d'valuer la rduction prvue des risques de l'entreprise et/ou des risques techniques, la faisabilit et l'impact sur l'organisation.

    3. Enregistrer des donnes

  • TMMi niveau 5 Prvention des Dfauts

    2012 TMMi Foundation. Parution 1.0 Page 179 sur 231

    Les donnes sont enregistres de sorte que d'autres projets et d'autres parties de l'organisation puissent mettre en uvre la solution dfinie.

    Exemples de donnes d'information enregistrer :

    Donnes sur les dfauts et autres problmes qui ont t analyss

    Justification des dcisions

    Solutions proposes par priorit

    Actions dfinies

    Solutions dfinies

    Donnes des pilotes ou des tests

    Evaluation post-projet

    Amliorations de la solution

    Cot des activits d'analyse et de rsolution

    Mesures de changements de la performance

    4. Soumettre une proposition d'action comme proposition d'amlioration

    Les propositions d'action et les donnes enregistres sont remises l'quipe d'amlioration des processus pour leur mise en uvre. Les propositions d'amlioration concernant le processus de test sont remises au Groupe de Processus de Test, les propositions d'amlioration concernant d'autres domaines sont remises au groupe d'amlioration ou responsable (senior) en charge des domaines concerns.

    5. Suivre les propositions d'amlioration

    Les progrs de la mise en uvre des propositions d'amlioration doivent tre surveills. Si les progrs ne sont pas en ligne avec les attentes, les parties prenantes concernes doivent tre informes.

    Pratiques Gnriques par Objectifs

    GG 2 Institutionnaliser un Processus Disciplin

    GP 2.1 Etablir une politique organisationnelle

    Etablir et maintenir une politique organisationnelle pour la planification et l'excution du processus Prvention des Dfauts.

    Elaboration

    La politique de prvention des dfauts spcifie gnralement les lments suivants :

    Les objectifs de l'organisation pour la prvention des dfauts

    Les principaux indicateurs suivre concernant les progrs raliss par rapport aux objectifs dfinis

    Les attentes de l'organisation pour identifier et traiter systmatiquement les causes racines des dfauts et autres problmes

    Les engagements long terme pour le financement, la fourniture de personnel et autres ressources pour la Prvention des Dfauts

    Les activits de Prvention des Dfauts doivent tre mises en uvre travers toute l'organisation pour amliorer les processus et les produits

    Les activits de Prvention des Dfauts doivent tre coordonnes par un Groupe de Processus de Test ou une quipe d'amlioration des processus.

  • TMMi niveau 5 Prvention des Dfauts

    2012 TMMi Foundation. Parution 1.0 Page 180 sur 231

    GP 2.2 Planifier le processus Etablir et maintenir le plan pour appliquer le processus Prvention des Dfauts.

    Elaboration

    Les activits de prvention des dfauts, par exemple, les activits pour identifier et traiter les causes racines et frquentes, sont explicitement prvues et planifies un niveau organisationnel inter-projets.

    GP 2.3 Fournir les ressources Fournir des ressources adquates pour mettre en place le processus Prvention des Dfauts, en dveloppant les produits dactivits de test, et en fournissant les services du processus.

    Elaboration

    Un temps et des outils appropris sont ncessaires pour raliser les activits de prvention des dfauts.

    Exemples d'outils qui soutiennent les activits de prvention des dfauts :

    Systmes de base de donnes pour saisir et extraire des donnes historiques

    Progiciels d'analyse statistique

    Outils, mthodes et techniques d'analyse (par exemple, diagrammes en artes de poisson dIshikawa, analyse de Pareto, histogrammes, graphe de causes effet, outils de modlisation des processus)

    GP 2.4 Assigner les responsabilits Attribuer la responsabilit et l'autorit pour mettre en place le processus Prvention des Dfauts, en dveloppant les produits dactivits, et en fournissant les services du processus Prvention des Dfauts.

    Elaboration

    Les responsabilits en matire de Prvention des Dfauts sont dfinies et gnralement affectes une quipe d'analyse de la prvention des dfauts, ventuellement sous l'gide d'un Groupe de Processus de Test. Une quipe d'analyse de la prvention des dfauts se compose gnralement de reprsentants des domaines suivants :

    Management

    Dveloppement

    Assurance qualit

    Amlioration des processus

    Test

    GP 2.5 Former les personnes

    Former les personnes charges de mettre en place ou de soutenir le processus Prvention des Dfauts en fonction des besoins.

    Elaboration Exemples de thmes de formation :

    Techniques de prvention des dfauts tels que les diagrammes de causes effet, les diagrammes en artes de poisson dIshikawa, l'analyse de Pareto, l'analyse par arbre de dfaillances et l'analyse des processus

    Paramtres de slection de dfauts

    Systmes de classification des dfauts

  • TMMi niveau 5 Prvention des Dfauts

    2012 TMMi Foundation. Parution 1.0 Page 181 sur 231

    Conduite dune analyse des causes racines

    GP 2.6 Grer en configuration Placer les produits dactivits slectionns du processus Prvention des Dfauts sous un niveau appropri de gestion de configuration.

    Elaboration Exemples de produits dactivits placs sous gestion de configuration :

    Paramtres de slection des dfauts

    Dfauts slectionns

    Causes racines et causes frquentes identifies

    Dossiers d'analyse causale

    Solutions proposes

    Propositions d'action

    GP 2.7 Identifier et impliquer les parties prenantes concernes Identifier et impliquer les parties prenantes du processus Prvention des Dfauts comme prvu dans le planning.

    Elaboration Exemples d'activits pour limplication des parties prenantes :

    Dfinir des paramtres de slection de dfauts

    Dfinir les systmes de classification des dfauts

    Slectionner des dfauts pour l'analyse

    Procder une analyse causale

    Valider les solutions proposes

    Dfinir des propositions d'action

    GP 2.8 Surveiller et contrler le processus

    Surveiller et contrler le processus Prvention des Dfauts selon le planning pour excuter le processus et prendre les mesures appropries.

    Elaboration Exemples de mesures utilises dans la surveillance et le contrle du processus Prvention des Dfauts :

    Cots des activits de prvention des dfauts

    Nombre de dfauts analyss

    Nombre de causes racines identifies

    Nombre de propositions d'actions en cours et pour combien de temps

    Nombre de propositions d'action soumises

    GP 2.9 Evaluer la conformit de manire objective

    Evaluer objectivement le respect du processus Prvention des Dfauts et slectionner les produits dactivits selon la description du processus, les normes et les procdures, et traiter les non-conformits.

  • TMMi niveau 5 Prvention des Dfauts

    2012 TMMi Foundation. Parution 1.0 Page 182 sur 231

    Elaboration Exemples de sujets de revue et/ou audit de conformit :

    Slection des dfauts l'aide des paramtres de slection

    Analyse des dfauts l'aide des paramtres de slection

    Dtermination de la cause des dfauts

    Analyse de la cause des dfauts

    Dtermination des solutions

    Soumission des propositions d'action

    Mise en uvre des propositions d'action

    GP 2.10 Revoir le statut avec la hirarchie

    Passez en revue les activits, ltat et les rsultats du processus Prvention des Dfauts avec la hirarchie et rsoudre les problmes.

    Exemples de questions aborder avec la hirarchie :

    Statut des activits de prvention des dfauts

    Causes frquentes et racines dtermines

    Rsultats des activits de prvention des dfauts, par exemple, propositions d'amlioration soumises

    Effort et autres ressources dpenses par rapport au plan

    GG 3 Institutionnaliser un Processus Ajust

    GP 3.1 Etablir un processus ajust

    Etablir et maintenir la description d'un processus Prvention des Dfauts ajust.

    GP 3.2 Recueillir des informations sur l'amlioration

    Recueillir les expriences lies au processus dcoulant de la planification et de lexcution du processus Prvention des Dfauts pour soutenir l'utilisation future et l'amlioration des processus de l'organisation et des actifs de processus.

    Elaboration Exemples de mesures :

    Cot des fragilits, et rsultats de la mise en uvre des propositions d'action

    Nombre et type des dfauts observs par stade de dveloppement

    Nombre et caractristiques des dfauts injects chaque stade de dveloppement

  • TMMi niveau 5 Contrle de la Qualit

    2012 TMMi Foundation. Parution 1.0 Page 183 sur 231

    PA 5.2 Contrle de la Qualit

    Intention Lobjectif du Contrle de la Qualit est de grer et de contrler le processus de test statistiquement. A ce niveau, la performance des processus de test est entirement prvisible et stable dans des limites acceptables. Le test au niveau des projets est effectu en utilisant des mthodes statistiques bases sur des chantillons reprsentatifs afin de prdire la qualit du produit et rendre le test plus efficace.

    Notes introductives Le Contrle de la Qualit est constitu de procdures et de pratiques employes pour s'assurer quun produit dactivit ou livrable est conforme aux normes ou aux exigences. Plus gnralement, les procdures et les pratiques de Contrle de la Qualit peuvent galement tre appliques aux processus de cration du produit, crant ainsi une boucle de rtroaction en ligne avec l'approche axe sur la prvention et l'optimisation du niveau TMMi 5. Au niveau TMMi 5, les organisations utilisent le Contrle de la Qualit pour conduire le processus de test.

    Le processus Contrle de la Qualit est soutenu par des techniques et des mthodologies statistiques. La base du processus de Contrle de la Qualit est une vision du processus de test comme une srie d'tapes, dont chacune est un processus en lui-mme avec un ensemble d'entres et de sorties. Idalement, la sortie de chaque tape est dtermine par des rgles, des procdures et/ou des normes qui dictent comment il doit tre excut. Concrtement l'issue d'une tape peut tre diffrente de celle attendue. Les diffrences sont causes par des variations. Les variations peuvent tre dues une erreur humaine, des influences extrieures au processus, des vnements imprvisibles tels que des dysfonctionnements matriels/logiciels et ainsi de suite. S'il y a beaucoup de variations imprvues impactant l'tape du processus, le processus sera instable, imprvisible et hors de contrle. Quand un processus est imprvisible, on ne peut pas compter dessus pour donner des rsultats de qualit.

    Une organisation qui contrle ses processus quantitativement sera capable de : Dterminer la stabilit du processus Identifier la performance des processus dans les limites dfinies Identifier les processus imprvisibles Identifier les opportunits d'amlioration des processus existants Identifier les processus les plus performants

    Le contrle de la qualit dun processus implique ltablissement dobjectifs pour la performance du processus de test standard, qui est dfini dans le domaine de processus Cycle de Vie et Intgration du Test. Ces objectifs devraient tre bass sur la politique de test dfinie. Comme dj indiqu dans le domaine de processus Cycle de Vie et Intgration du Test, de multiples processus de test standard peuvent tre prsents pour rpondre aux besoins des diffrents domaines d'application, niveaux de test, modles de cycle de vie, mthodologies et outils en usage dans l'organisation. Sur la base des mesures effectues sur la performance des processus de test des projets, une analyse est ralise et des ajustements sont apports pour maintenir la performance du processus de test dans des limites acceptables. Lorsque la performance du processus de test est stabilise dans des limites acceptables, le processus de test, les mesures associes et les limites acceptables pour les mesures sont tablies comme base de rfrence et utiliss pour contrler la performance des processus de test statistiquement. Laptitude dun processus de test, cest dire la performance dun processus de test qu'un nouveau projet peut s'attendre atteindre, issue des processus de test standard de l'organisation est dsormais bien comprise et connue. En consquence, les carts par rapport ces attentes peuvent tre enregistrs trs tt et continuellement dans un projet pour s'assurer que le projet reste dans les limites acceptables. Laptitude du processus de test peut tre utilise pour tablir des objectifs quantitatifs clairs de performance des processus de test pour le projet.

    Le contrle de la qualit du produit s'appuie sur les profils oprationnels [Musa] et les modles d'utilisation du produit dans son environnement cible pour tirer des conclusions statistiques valides issues d'un chantillon reprsentatif de cas de test. Cette approche, particulirement utile au niveau du test systme, utilise des mthodes d'analyse statistique pour prdire la qualit du produit sur la base de ces chantillons reprsentatifs. En d'autres termes, lorsque vous testez un sous-ensemble de tous les usages possibles, reprsente par le profil d'utilisation ou oprationnel, les rsultats des tests peuvent servir de base des conclusions sur la performance globale du produit. Au niveau TMMi 5, une organisation est en mesure de quantifier les niveaux de confiance et la fiabilit parce que l'infrastructure a t mise en place afin de reflter les oprations ou les chemins les plus frquemment demands par un profil oprationnel en utilisant les donnes historiques. En utilisant les donnes de test partir de tests statistiques, des modles tels que les modles de croissance de fiabilit sont construits pour prdire le niveau de confiance et la fiabilit du systme. Le niveau de confiance, gnralement exprime en pourcentage,

  • TMMi niveau 5 Contrle de la Qualit

    2012 TMMi Foundation. Parution 1.0 Page 184 sur 231

    fournit des informations quant la probabilit que le produit soit exempt de dfauts. La fiabilit est dfinie comme la probabilit qu'il n'y ait aucun dfaut dans le produit qui causera une dfaillance du systme. Le niveau de confiance et la fiabilit sont gnralement utiliss comme critres de sortie lors de lexcution des tests statistiques. Au niveau TMMi 5 ces facteurs sont utiliss en combinaison et sont gnralement les principaux facteurs pour dterminer quand arrter le test.

    Notez que prendre en charge le contrle de la qualit des produits et les tests statistiques ncessite un grand savoir-faire des techniques statistiques telles que la modlisation, la modlisation de l'utilisation, les statistiques, le test et les mesures. Les spcialistes doivent tre slectionns et forms pour devenir des leaders dans ce domaine du test.

    Champ dApplication Le domaine de processus Contrle de la Qualit aborde les pratiques pour l'tablissement d'un processus de test statistiquement contrle (contrle de la qualit du processus) et les tests bass sur des mthodes et des techniques statistiques (contrle de la qualit du produit). Le contrle de la qualit des processus s'appuie fortement sur les pratiques de mesure mis en uvre dans le domaine de processus Mesure du Test du niveau TMMi 4. Le contrle de la qualit du produit s'appuie sur les pratiques dployes dans le domaine de processus Evaluation de la Qualit du Produit du niveau TMMi 4. Les deux types de contrle de la qualit font appel des donnes de mesure disponibles concernant le processus de test et la qualit du produit des domaines de processus du niveau TMMi 4.

    Rsum des Objectifs et Pratiques Spcifiques SG 1 Etablir un Processus de Test Statistiquement Contrl

    SP 1.1 Etablir des objectifs de performances du processus de test

    SP 1.2 Etablir des mesures de performance du processus de test

    SP 1.3 Etablir des rfrences de performance du processus de test

    SP 1.4 Appliquer des mthodes statistiques pour comprendre les variations

    SP 1.5 Surveiller la performance des processus de test slectionns

    SG 2 Raliser le Test en utilisant des Mthodes Statistiques

    SP 2.1 Dvelopper des profils oprationnels

    SP 2.2 Gnrer et excuter des cas de test slectionns statistiquement

    SP 2.3 Utiliser les donnes de tests statistiques pour prendre des dcisions darrt des tests

    Pratiques Spcifiques par Objectif

    SG 1 Etablir un processus de test statistiquement contrl Un processus de test statistiquement contrl est tabli, dans lequel les rfrences qui caractrisent la performance prvu des processus de test standard de l'organisation sont tablies et maintenues.

    SP 1.1 Etablir des objectifs de performances du processus de test

    tablir et maintenir des objectifs quantitatifs pour la performance du processus de test.

    Notez que cette pratique spcifique est corrle et s'appuie sur SP 1.1 Etablir des objectifs de mesure du test du domaine de processus Mesure du Test au niveau TMMi 4.

    Exemples de produits dactivit

    1. Liste des processus de test identifis pour l'analyse de la performance du processus de test

    2. Objectifs quantitatifs pour la performance de test de l'organisation

    Sous-pratiques

    1. Etudier les besoins et les objectifs de l'entreprise en matire de qualit des produits et performance des processus de test

  • TMMi niveau 5 Contrle de la Qualit

    2012 TMMi Foundation. Parution 1.0 Page 185 sur 231

    2. Etudier la politique de test en fonction des objectifs de test dfinis et des indicateurs de performance

    Reportez-vous au domaine de processus Politique et Stratgie de Test pour plus d'informations sur les besoins et les objectifs oprationnels, les objectifs du test et les indicateurs de performance du test.

    Slectionnez explicitement les processus de test partir de lensemble des processus de test standard de lorganisation qui doivent tre inclus dans l'ensemble des processus de test statistiquement contrls.

    En gnral, il ne sera pas possible, utile ou conomiquement justifiable d'appliquer des techniques de gestion statistiques tous les processus de lensemble des processus de test standards de l'organisation. La slection des processus de test est base sur les besoins et les objectifs de l'organisation et des projets.

    3. Dfinir les objectifs quantitatifs de l'organisation pour la performance des processus de test, en coopration avec les parties prenantes concernes

    Les objectifs peuvent tre tablis directement pour la mesure des processus de test (par exemple, l'effort test et l'efficacit de l'limination des dfauts), ou indirectement pour les mesures de qualit des produits (par exemple, fiabilit) qui sont le rsultat du processus de test.

    4. Dfinir les priorits des objectifs quantitatifs de l'organisation pour la performance des processus de test, en coopration avec les parties concernes, par exemple, les clients et les utilisateurs finaux

    5. Rsoudre les conflits entre les objectifs de performance des processus de test (par exemple, si un objectif ne peut tre atteint sans compromettre un autre objectif)

    6. Rviser les objectifs quantitatifs de l'organisation pour la performance du processus de test si ncessaire

    Exemples de situations o les objectifs quantitatifs de l'organisation pour la performance des processus de test peuvent avoir besoin d'tre rviss :

    Sur la base des conclusions et recommandations issues des valuations de processus de tests rgulires. (Reportez-vous au domaine de processus Organisation des Tests au niveau TMMi 3 pour plus d'informations sur l'valuation des processus de test. Notez qu'au niveau TMMi 5 les valuations de processus de test, la fois formelles et informelles, sont gnralement effectues plus frquemment.)

    Lorsque les objectifs oprationnels de l'organisation changent

    Lorsque les processus (de test) de l'organisation changent

    Lorsque le rendement rel du processus de test diffre de manire significative des objectifs

    SP 1.2 Etablir des mesures de performance du processus de test

    Etablir et maintenir les dfinitions des mesures qui doivent tre inclues dans les analyses de la performance des processus de test de l'organisation.

    Reportez-vous au domaine de processus Mesure du Test du niveau TMMi 4 pour plus d'informations sur la slection et l'tablissement des mesures, en particulier SP1.2 Spcifier les mesures de test.

    Exemples de produits dactivit

    1. Dfinitions des mesures slectionnes concernant la performance du processus de test

    Sous-pratiques

    1. Choisir des mesures qui fournissent une vision approprie de la performance du processus de test de l'organisation

    Le cas chant, des mesures intermdiaires chaque phase du cycle de vie peuvent tre ncessaires pour suivre tt les progrs vers la ralisation des objectifs.

    2. Identifier les mesures qui sont appropries pour la gestion statistique, par exemple, celles qui sont contrlables

  • TMMi niveau 5 Contrle de la Qualit

    2012 TMMi Foundation. Parution 1.0 Page 186 sur 231

    3. Passez en revue l'ensemble des mesures de la performance des processus de test pour la gestion statistique

    4. Intgrer les mesures slectionnes dans lensemble des mesures de test standards de l'organisation

    5. Rviser l'ensemble des mesures de la performance du processus de test selon le besoin

    SP 1.3 Etablir des rfrences de performance du processus de test

    Etablir et maintenir les rfrences de la performance des processus de test de l'organisation.

    Les rfrences de la performance des processus de test de l'organisation sont une mesure de la performance des tests pour lensemble des processus de test standard de l'organisation diffrents niveaux de dtail, selon le besoin. Il peut y avoir plusieurs rfrences de la performance des processus de test pour caractriser les performances du test de sous-groupes de l'organisation, par exemple, par domaines applicatifs, complexit, taille des projets et modles de cycle de vie.

    Exemples de produits dactivit

    1. Les donnes de rfrence sur la performance des processus de test

    Sous-pratiques

    1. Recueillir et analyser les mesures des projets

    Reportez-vous au domaine de processus Mesure du Test pour plus d'informations sur la collecte et l'analyse des donnes.

    2. Etablir et maintenir les rfrences de la performance des processus de test de l'organisation partir des mesures collectes et des analyses

    Les rfrences de la performance des processus de test (comprenant ventuellement les tolrances minimales et maximales) sont obtenues en analysant les mesures recueillies pour tablir une distribution et une gamme de rsultats qui caractrisent la performance attendue pour les processus de test slectionnes lorsqu'ils sont utiliss sur un projet spcifique de l'organisation.

    3. Revoir la validit et obtenir un accord avec les parties prenantes concernes sur les rfrences de la performance des processus de test

    4. Rendre les rfrences de la performance des processus de test disponibles dans toute l'organisation

    Les rfrences de la performance des processus de test sont utilises par les projets pour estimer les limites suprieures et infrieures de la performance des processus de test. (Reportez-vous au SP 1.4 Appliquer des mthodes statistiques pour comprendre les variations pour plus d'informations sur les limites suprieures et infrieures de la performance des processus de test.)

    5. Rviser l'ensemble des rfrences de la performance des processus de test, le cas chant

    Exemples de cas o les rfrences de la performance des processus de test de l'organisation peuvent avoir besoin d'tre rvises :

    Lorsque les objectifs de l'organisation changent

    Lorsque les processus (de test) de l'organisation changent

    Lorsque la performance relle du processus de test diffre sensiblement des rfrences

    SP 1.4 Appliquer des mthodes statistiques pour comprendre les variations

    Etablir et maintenir une comprhension des variations de la performance des processus de test slectionns en utilisant les mesures slectionnes.

    Comprendre la variation constate, en partie, par la collecte et l'analyse des mesures de sorte que les causes (communes) de variation puissent tre identifies et traites pour obtenir une performance prvisible.

  • TMMi niveau 5 Contrle de la Qualit

    2012 TMMi Foundation. Parution 1.0 Page 187 sur 231

    Exemples de produits dactivit

    1. Mesures collectes

    2. Limites suprieures et infrieures de la performance des processus de test pour chaque attribut mesur de chaque processus de test slectionn

    3. Performance du processus de test par rapport aux limites suprieures et infrieures de la performance du processus de test pour chaque attribut mesur de chaque processus de test slectionne

    Sous-pratiques

    1. Etablir des limites suprieures et infrieures exprimentales (limites de contrle) pour la performance des processus de test en utilisant les donnes historiques appropries

    Les limites d'un attribut sont la plage normale dans laquelle la variation se produit. Tous les processus montrent une certaine variation des mesures chaque fois qu'ils sont excuts. En gnral, les limites de contrle (limites suprieures et infrieures) sont fixes 2 ou 3 sigma. Les limites de contrle peuvent galement tre fixes 1 sigma, qui est l'intervalle le plus restrictif. Les limites de contrle aident le Groupe de Processus de Test sparer les signaux du bruit. La variation des points de donnes l'intrieur des limites de contrle est due au bruit dans le processus (cause frquente ou variations normales).

    2. Recueillir les donnes, telles que dfinies par les mesures slectionnes, sur les processus de test en cours dexcution

    Les donnes sont collectes et valides partir de projets de toute l'organisation selon les procdures choisies. Les donnes sont stockes dans la base de donnes des mesures de test.

    3. Calculer les limites de la performance du processus de test pour chaque attribut mesur

    Exemples o les limites sont calcules :

    Graphes de contrle

    Histogrammes

    Graphes dexcution

    Intervalles de confiance

    Intervalles de prvision

    4. Identifier les causes de variation

    Les critres permettant de dtecter les causes de variations sont bass sur des thories statistiques, par exemple, les limites de contrle 3-sigma, l'exprience ou la justification conomique. Une activit importante lors de l'identification des causes de variation est de dterminer si une variation du processus est cause par des circonstances particulires (une cause assignable ou spcifique) qui peuvent tre relies un moment ou un emplacement spcifique, ou par la variation inhrente la nature du processus lui-mme (cause frquente ou naturelle). En gnral, il est recommand de rsoudre les causes assignables en premier lieu, puisque celles-ci peuvent diminuer en partie des causes frquentes.

    5. Analyser la cause de la variation du processus de test pour dterminer la raison de lapparition de l'anomalie

    Exemples de techniques pour analyser les raisons lorigine des variations :

    Diagrammes de cause effet (artes de poisson)

    Expriences ddies

    Graphes de contrle (appliqus l'entre ou aux sous-processus de test)

    Dcomposition en sous-groupes

    Notez que certaines anomalies peuvent tre simplement des extrmes de la distribution sous-jacente plutt que des problmes.

  • TMMi niveau 5 Contrle de la Qualit

    2012 TMMi Foundation. Parution 1.0 Page 188 sur 231

    Reportez-vous au domaine de processus Prvention des Dfauts pour plus d'informations sur l'analyse de la cause dune anomalie.

    6. Dterminer quelles mesures correctives doivent tre prises lorsque les causes de variations sont identifies

    Reportez-vous au domaine de processus Optimisation du Processus de Test pour plus d'informations au sujet de la mise en place de mesures correctives.

    7. Recalculer les limites suprieures et infrieures pour chaque attribut mesur des processus de test slectionns, selon le besoin.

    8. Enregistrer des donnes de gestion statistiques dans le rfrentiel de mesures de l'organisation

    Reportez-vous au domaine de processus Mesure du Test pour plus d'informations sur la gestion et le stockage des donnes, les dfinitions de la mesure, et les rsultats

    SP 1.5 Surveiller la performance des processus de test slectionns

    Surveiller la performance des processus de test slectionns pour dterminer leur capacit satisfaire leurs objectifs de performances et pour identifier les actions correctives ncessaires.

    Le but de cette pratique spcifique est de dterminer statistiquement le comportement prvu du processus et d'valuer la probabilit que le processus atteigne ses objectifs de performance.

    Exemples de produits dactivit

    1. Capacit du processus pour chaque processus de test

    2. Limites de la performance du processus de test pour chaque processus de test slectionn par rapport ses objectifs tablis

    3. Pour chaque processus de test, documentation des actions ncessaires pour combler les lacunes en termes daptitude du processus

    Sous-pratiques

    1. Comparer les objectifs de performance du processus de test aux limites des attributs mesurs

    Cette comparaison fournit une valuation de la capacit du processus de test pour chaque attribut mesur d'un processus de test.

    2. Vrifier rgulirement la performance de chaque processus de test slectionn, sa capacit tre gr statistiquement et valuer les progrs accomplis en vue de la ralisation des objectifs de performance du processus de test

    3. Identifier et documenter les lacunes en termes daptitude des processus de test

    4. Dterminer et documenter les actions ncessaires pour traiter les lacunes en termes daptitude des processus de test

    SG 2 Raliser le Test en utilisant des Mthodes Statistiques Les tests sont conus et excuts en utilisant des mthodes statistiques bases sur des profils oprationnels ou d'utilisation.

    SP 2.1 Dvelopper des profils oprationnels

    Les profils oprationnels (ou modles d'utilisation) sont tablis tt dans le cycle de dveloppement pour permettre den dduire un chantillonnage statistiquement correct de cas de test.

    Exemples de produits dactivit

    1. Profil oprationnel du systme tester

    Sous-pratiques

    1. Dvelopper le profil client

    Un client est la personne, le groupe ou lorganisation qui acquiert le produit en cours de dveloppement. Un groupe de clients est l'ensemble des clients qui utiliseront le produit de la

  • TMMi niveau 5 Contrle de la Qualit

    2012 TMMi Foundation. Parution 1.0 Page 189 sur 231

    mme faon. Le profil client est l'ensemble des groupes de clients et leur distribution au sein du profil.

    2. Dvelopper le profil utilisateur

    Le profil utilisateur est un ensemble complet de groupes d'utilisateurs (l'ensemble des utilisateurs rels qui utiliseront le systme de la mme faon) et leur distribution au sein du profil.

    3. Dvelopper le profil modes du systme

    Le profil modes du systme est lensemble des modes du systme (un ensemble de fonctions ou doprations groupes afin d'analyser le comportement d'excution) et leurs probabilits d'occurrence associes.

    4. Dvelopper le profil fonctionnel

    Le profil fonctionnel fournit (par mode du systme) une vue quantitative de l'utilisation de chacune des diffrentes fonctions du systme.

    5. Dvelopper le profil oprationnel

    Une opration reprsente une tche accomplie par un systme. Une srie dtapes doit tre effectue pour l'laboration du profil oprationnel final en utilisant les informations des profils dj dvelopps, y compris les suivantes [Musa] :

    - Division de l'excution en tapes

    - Identification de lespace dentre (une liste complte des variables d'entre)

    - Partitionnement de l'espace d'entre suivant les oprations

    - Dtermination de la probabilit d'occurrence des oprations

    6. Revoir le profil oprationnel avec les parties prenantes

    7. Rviser le profil oprationnel, le cas chant

    SP 2.2 Gnrer et excuter des cas de test slectionns statistiquement

    Les cas de test sont gnrs partir d'chantillons de l'utilisation du produit statistiquement slectionns, puis excuts.

    Exemples de produits dactivit

    1. Cas de test

    2. Rsultats des tests

    3. Enregistrement dune observation reprsentative

    Sous-pratiques

    1. Slectionner des chantillons d'utilisation du produit sur la base des modles d'utilisation ou profils oprationnels dvelopps

    2. Gnrer les cas de test partir des chantillons dutilisation slectionns qui sont caractristiques de l'utilisation oprationnelle du produit

    Les cas de test gnrs reflteront des probabilits dans le modle d'utilisation ou profil oprationnel et reprsentent un chantillon de l'espace d'entre en fonction des profils d'utilisation

    3. Revoir les cas de tests avec les parties prenantes

    4. Excuter les cas de test et enregistrer les rsultats rels

    5. Surveiller que la couverture de test est reprsentative de l'utilisation relle

    Lactivit de test utilisera des outils et des mesures pour dterminer si le test est reprsentatif de l'utilisation relle. Ce n'est que lorsque lorganisation de test est convaincue que les tests sont suffisants pour simuler le fonctionnement attendu sur le terrain, quelle pourra utiliser les rsultats des tests avec d'autres donnes pour prendre des dcisions concernant larrt des tests.

    6. Rviser les cas de test, selon le besoin, lorsque la couverture de test de l'utilisation relle n'est pas suffisante

  • TMMi niveau 5 Contrle de la Qualit

    2012 TMMi Foundation. Parution 1.0 Page 190 sur 231

    7. Analyser et tirer des conclusions statistiques partir des rsultats de test

    Dans cette sous-pratique, l'chantillon statistique est utilis pour tirer des conclusions sur l'ensemble de la population des clients et des usages. Cela se fait normalement l'aide de modles de fiabilit. Questions typiques traiter :

    - Avec quelle rapidit la qualit du produit samliore ?

    - Le test peut-il tre ralis en respectant les contraintes lies au projet et aux ressources de test ?

    SP 2.3 Utiliser les donnes de tests statistiques pour prendre des dcisions darrt des tests

    Des estimations sont faites quant la fiabilit du produit, et au niveau de confiance concernant la qualit du produit. Ces estimations constituent la base pour la prise de dcision darrt des tests.

    Exemples de produits dactivit

    1. Dfinition des niveaux de gravit des dfaillances

    2. Objectifs de fiabilit et de confiance

    3. Mesures de fiabilit et de confiance

    4. Rsultats de revue documents, par exemple, les procs-verbaux de la sance de revue

    Sous-pratiques

    1. Etablir les niveaux de gravit des dfaillances

    Il est important d'identifier les diffrents niveaux ou classes de dfaillances et d'examiner comment ils doivent tre traits lors de la mesure de la fiabilit du produit. En rgle gnrale, des exigences de fiabilit sont tablies pour chaque niveau de dfaillance.

    2. Dfinir des objectifs quantitatifs de fiabilit qui seront utiliss comme critres de sortie et pour prendre des dcisions darrt des tests

    Exemples de types d'objectifs de fiabilit :

    Fiabilit, exprime, par exemple, en des termes de temps moyen entre pannes (MTBF), temps moyen de rparation (MTTR) ou temps moyen avant panne (MTTF)

    Disponibilit

    Restaurabilit

    Fidlit

    Niveau de confiance (dans ce cas les niveaux de confiance sont utiliss comme un objectif de fiabilit, la technique de l'ensemencement de dfaut sera gnralement applique dans le cadre du processus de test statistique).

    3. Revoir les objectifs de fiabilit avec les parties prenantes

    4. Slectionner un modle de croissance de fiabilit appropri

    Exemples de types de modles de croissance de fiabilit [Musa et Ackerman] :

    Le modle statique, le plus adapt aux logiciels figs avec un profil oprationnel stable

    Le modle basique, utile pour la modlisation des occurrences de dfaillances pour les logiciels tests et dbogus continuellement

    Le modle poisson logarithmique, le plus adapt quand on part du principe que certains dfauts sont plus susceptibles de provoquer des dfaillances, et qu'en moyenne, l'amlioration de de la densit de dfaillances chaque correction dcrot exponentiellement mesure que les corrections sont faites.

    5. Collecter des donnes statistiques sur les dfaillances et le temps d'excution du programme

  • TMMi niveau 5 Contrle de la Qualit

    2012 TMMi Foundation. Parution 1.0 Page 191 sur 231

    6. Calculer et estimer les mesures de fiabilit par lutilisation du modle de croissance de fiabilit en ajustant le modle aux donnes collectes

    7. Revoir avec les parties prenantes le statut en ce qui concerne les objectifs de fiabilit

    8. Documenter le rsultat des revues, les actions et les dcisions d'arrt des tests

    Pratiques Gnriques par Objectifs

    GG 2 Institutionnaliser un Processus Disciplin

    GP 2.1 Etablir une politique organisationnelle

    Etablir et maintenir une politique organisationnelle pour la planification et l'excution du processus Contrle de la Qualit.

    Elaboration

    La politique nonce les objectifs organisationnels et les attentes pour la mise en place des rfrences de la performance des processus de test pour l'ensemble des processus standards de test de l'organisation et la gestion statistique des processus de test slectionns.

    La politique de Contrle de la Qualit spcifie gnralement :

    Les mesures de la performance des processus de test du projet sont analyses pour tablir et maintenir une rfrence de laptitude du processus de test pour le processus de test standard de l'organisation

    La rfrence de laptitude du processus de test pour le processus de test standard de l'organisation est utilise par les projets lors de la dfinition de leurs objectifs de performance du processus de test.

    Le test est effectu statistiquement en fonction des profils oprationnels dans le but de mesurer la fiabilit du produit.

    GP 2.2 Planifier le processus

    Etablir et maintenir le plan pour appliquer le processus Contrle de la Qualit.

    Elaboration

    En rgle gnrale, le plan d'excution des activits du processus de contrle de la qualit est inclus dans ou rfrenc par le plan d'amlioration du processus de test de l'organisation, qui est dcrit dans le domaine de processus Organisation des Tests, ou peut tre document dans un plan distinct qui dcrit uniquement le processus de contrle de la qualit.

    Les activits pour raliser des tests statistiques sont gnralement incluses dans le plan de test. Le plan de test portera sur les activits telles que l'laboration/modification du profil oprationnel, l'excution des tests, et la collecte, le catalogage et l'analyse des donnes de fiabilit.

    GP 2.3 Fournir les ressources

    Fournir des ressources adquates pour mettre en place le processus Contrle de la Qualit des Produits, en dveloppant les produits dactivits de test, et en fournissant les services du processus.

    Elaboration

    Un temps suffisant est prvu pour dvelopper un profil oprationnel et raliser les activits de test statistique

    Une expertise spcifique dans les statistiques et le contrle statistique des processus peut tre ncessaire pour tablir les rfrences de la performance des processus de lensemble des processus de test standards de l'organisation et pour dfinir les techniques de gestion statistiques pour les processus de test slectionns

    Une expertise spcifique dans les statistiques peut galement tre ncessaire pour analyser et interprter les mesures destines la gestion statistique

  • TMMi niveau 5 Contrle de la Qualit

    2012 TMMi Foundation. Parution 1.0 Page 192 sur 231

    Un programme de mesure du test existe l'chelle de lorganisation

    Des outils pour soutenir le processus Contrle de la Qualit sont disponibles

    Exemples doutils :

    Outils de gestion de bases de donnes

    Outils de modlisation des processus

    Progiciels d'analyse statistique

    Outils de gestion des incidents

    Outils de mesure de la couverture

    Progiciels de contrle statistique de processus et de la qualit

    Outils de mesure de la fiabilit

    GP 2.4 Assigner les responsabilits

    Attribuer la responsabilit et l'autorit pour mettre en place le processus Contrle de la Qualit, en dveloppant les produits dactivits, et en fournissant les services du processus Evaluation de la Qualit des Produits.

    Elaboration

    De nombreux groupes doivent travailler ensemble pour atteindre les objectifs de contrle de la qualit du processus de test. Un Groupe de Processus de Test est suggr pour chapeauter l'quipe de contrle des processus. Les membres de l'quipe peuvent tre choisis parmi les diffrentes units fonctionnelles, par exemple, du dveloppement, du test et de lassurance qualit. La direction et le personnel devraient participer.

    GP 2.5 Former les personnes

    Former les personnes charges de mettre en place ou de soutenir le processus Contrle de la Qualit en fonction des besoins.

    Elaboration Exemples de thmes de formation :

    Modlisation et analyse des processus

    Slection, dfinition, collecte et validation des donnes de mesure des processus

    Contrle statistique des processus

    Mthodes et techniques statistiques (par exemple, les diagrammes de contrle, diagrammes de dispersion et analyses de Pareto)

    Le test statistique

    Modles dutilisation et profils oprationnels

    Gestion de la fiabilit (par exemple, les modles de fiabilit, les mesures et les modles de croissance de la fiabilit)

    GP 2.6 Grer en configuration

    Placer les produits dactivits slectionns du processus Contrle de la Qualit sous un niveau appropri de gestion de configuration.

    Elaboration Exemples de produits dactivits placs sous gestion de configuration :

    Les objectifs de performance des processus de test de l'organisation

    La dfinition des mesures de la performance des processus de test slectionns, y compris

  • TMMi niveau 5 Contrle de la Qualit

    2012 TMMi Foundation. Parution 1.0 Page 193 sur 231

    les points de collecte dans les processus et comment l'intgrit des mesures sera dtermine

    Les donnes de rfrence sur la performance du processus de test de l'organisation

    Les mesures recueillies partir de projets

    Les profils oprationnels

    Ensemble de cas de test gnrs

    GP 2.7 Identifier et impliquer les parties prenantes concernes

    Identifier et impliquer les parties prenantes du processus Contrle de la Qualit comme prvu dans le planning.

    Elaboration Exemples d'activits pour limplication des parties prenantes :

    Etablir les objectifs de performance des processus de test de l'organisation et leurs priorits

    Revoir et rsoudre les problmes concernant les objectifs de performance des processus de test de l'organisation

    Estimation de la performance des processus de test slectionns

    Identification des mesures correctives prendre

    Dfinition des profils oprationnels

    Revue des rsultats du test

    Prendre des dcisions darrt des tests

    GP 2.8 Surveiller et contrler le processus

    Surveiller et contrler le processus Contrle de la Qualit selon le planning pour excuter le processus et prendre les mesures appropries.

    Elaboration Exemples de mesures utilises dans la surveillance et le contrle du processus Contrle de la Qualit :

    Tendances de la performance du processus de test de l'organisation en ce qui concerne les changements dans les produits dactivits et les attributs de la tche (par exemple, l'effort de test, les dlais et la qualit du produit)

    Profil des processus de test sous gestion statistique (par exemple, le nombre de processus grer statistiquement, le nombre actuellement grs statistiquement, et le nombre qui sont statistiquement stables)

    Nombre de causes de variation identifies et rsolues

    Dans quelle mesure les tests actuels sont devenus une bonne reprsentation de l'utilisation prvue

    Tendances de fiabilit

    GP 2.9 Evaluer la conformit de manire objective

    Evaluer objectivement le respect du processus Contrle de la Qualit et slectionner les produits dactivits selon la description du processus, les normes et les procdures, et traiter les non-conformits.

    Elaboration Exemples de sujets de revue et/ou audit de conformit :

    Etablissement des rfrences de la performance des processus de test

  • TMMi niveau 5 Contrle de la Qualit

    2012 TMMi Foundation. Parution 1.0 Page 194 sur 231

    Objectifs de performances des processus de test de l'organisation

    Dfinition des mesures slectionnes de la performance des processus de test

    Gestion statistique des processus de test slectionns

    Les mesures collectes

    L'efficacit et l'efficience des tests statistiques

    GP 2.10 Revoir le statut avec la hirarchie

    Passez en revue les activits, ltat et les rsultats du processus Contrle de la Qualit avec la hirarchie et rsoudre les problmes.

    GG 3 Institutionnaliser un Processus Ajust

    GP 3.1 Etablir un processus ajust

    Etablir et maintenir la description d'un processus Contrle de la Qualit ajust.

    GP 3.2 Recueillir des informations sur l'amlioration

    Recueillir les expriences lies au processus dcoulant de la planification et de lexcution du processus Contrle de la Qualit pour soutenir l'utilisation future et l'amlioration des processus de l'organisation et des actifs de processus.

    Elaboration Exemples de mesures :

    Limites suprieures et infrieures pour la densit de dfauts

    Effort de revue en tant que pourcentage de l'effort total de dveloppement

    Effort de test en tant que pourcentage de l'effort total de dveloppement

    Couverture atteinte

    Efficacit des tests statistiques, par exemple, en utilisant le Pourcentage de Dtection des Dfauts (DDP)

  • TMMi niveau 5 Optimisation du Processus de Test

    2012 TMMi Foundation. Parution 1.0 Page 195 sur 231

    PA 5.3 Optimisation du Processus de Test

    Intention Lobjectif de l'Optimisation du Processus de Test est d'amliorer en permanence les processus de tests utiliss dans l'organisation et d'identifier les nouvelles technologies de test (par exemple, des outils de test ou des mthodes de test) qui peuvent tre appropries et les intgrer dans l'organisation d'une manire ordonne. LOptimisation du Processus de Test prend galement en charge la rutilisation des actifs de test travers l'organisation. Les amliorations soutiennent la qualit des produits de l'organisation et les objectifs de performance des processus de test drivs des objectifs stratgiques de l'organisation.

    Notes introductives Au plus haut niveau du TMMi, le processus de test est soumis l'amlioration continue travers les projets et travers toute l'organisation. Le processus de test est quantifi et peut tre affin pour que la croissance de la capacit devienne un processus continu. Une infrastructure organisationnelle existe pour soutenir cette croissance continue. Cette infrastructure, qui se compose de directives, de normes, de matriels de formation, doutils et de structures organisationnelles, a t mis en place grce des processus de ralisation d'objectifs qui constituent la hirarchie TMMi. LOptimisation du Processus de Test consiste essentiellement dans le dveloppement d'un systme pour amliorer en permanence les tests. Optimiser le processus de test implique :

    - La mise en place des procdures d'valuation et d'amlioration des processus de test avec lassignation de responsabilits dencadrement

    - Lidentification des pratiques de test qui sont faibles et de celles qui sont fortes et la suggestion des domaines pour l'extraction des actifs de processus et la rutilisation

    - Le dploiement damliorations incrmentales et novatrices qui amliorent de faon mesurable les processus et les technologies de test de l'organisation

    - La slection et la mise en place des meilleures pratiques pour l'organisation

    - Lvaluation permanente des nouveaux outils et technologies lis aux tests pour sadapter

    - Le soutien du transfert de technologies et de connaissances

    - La rutilisation des actifs de test de haute qualit

    L'amlioration continue du processus de test implique l'identification, l'valuation et la mise en uvre proactive et systmatique de lamlioration des processus de test standard de l'organisation et des processus dfinis pour les projets sur une base continue. Les activits d'amlioration des processus de test sont galement souvent ncessaires en raison d'un environnement changeant, par exemple, le contexte de l'entreprise, l'environnement de test lui-mme ou un nouveau cycle de dveloppement. Tout ceci est ralis avec le soutien de la hirarchie. Des programmes de formation et d'incitation sont mis en place pour permettre et encourager tout le monde dans l'organisation participer aux activits d'amlioration des processus de test. Les possibilits d'amlioration des tests sont identifies et values concernant le retour potentiel sur investissement pour l'organisation en utilisant les objectifs de lorganisation comme point de rfrence. Des pilotes sont raliss pour valuer, mesurer et valider les changements de processus de test avant qu'ils ne soient intgrs dans le processus standard de l'organisation.

    Pour soutenir lOptimisation du Processus de Test, l'organisation a en gnral cr un groupe, par exemple, un Groupe de Processus de Test, qui fonctionne par projets pour prsenter et valuer l'efficacit des nouvelles technologies de test (par exemple, des outils de test, des mthodes de test et des environnements de test) et pour grer les changements apports aux techniques de test existantes. Un accent particulier est mis sur les changements technologiques qui sont susceptibles d'amliorer la capacit des processus de test standard de l'organisation (comme tabli dans le processus Cycle de Vie et Intgration du Test). En maintenant une veille sur les innovations technologiques lies aux tests et en les valuant et testant systmatiquement, l'organisation slectionne les technologies de test appropries pour amliorer la qualit de ses produits et la productivit de ses activits de tests. Des pilotes sont effectus pour valuer des technologies de test nouvelles et non prouves avant qu'elles ne soient intgres la pratique standard.

    Les organisations ralisent maintenant pleinement que les processus de test et les articles de tests sont tous les deux des actifs de lorganisation et que ceux de grande qualit doivent tre documents et stocks dans un rfrentiel de processus, dans un format qui est modifiable pour une rutilisation dans des projets futurs. Un tel rfrentiel, qui peut avoir dj t tabli dans un format moins mature au niveau TMMi 3, est souvent appel une bibliothque d'actifs de processus de test. Au niveau TMMi 3 une rutilisation informelle de certains articles de test

  • TMMi niveau 5 Optimisation du Processus de Test

    2012 TMMi Foundation. Parution 1.0 Page 196 sur 231

    travers des projets peut dj tre pratique, mais la rutilisation des ressources de test devient un objectif majeur au niveau TMMi 5. Notez que la rutilisation des processus de test dans ce contexte signifie l'utilisation d'une description dun processus de test pour crer une autre description de processus de test.

    Champ dApplication Le domaine de processus Optimisation du Processus de Test aborde les pratiques permettant d'identifier en continue l'amlioration des processus de test, dvaluer et slectionner de nouvelles technologies de test et de les dployer dans les processus de test standard de l'organisation, en intgrant la planification, la cration, le suivi, l'valuation et la mesure des actions d'amlioration du test. Il couvre galement la rutilisation des ressources de test de haute qualit dans toute l'organisation. Ce domaine de processus complte et tend les processus et les pratiques dfinies par les domaines de processus Organisation des Tests et Cycle de Vie et Intgration du Test du niveau TMMi 3.

    Rsum des Objectifs et Pratiques Spcifiques SG 1 Slectionner des Amliorations du Processus de Test

    SP 1.1 Recueillir et analyser des propositions damlioration du processus de test

    SP 1.2 Mettre lessai des propositions damlioration du processus de test

    SP 1.3 Slectionner des propositions damlioration du processus de test dployer

    SG 2 Evaluer de Nouvelles Technologies de Test afin de Dterminer leur Impact sur le Processus de Test

    SP 2.1 Identifier et analyser les nouvelles technologies de test

    SP 2.2 Mettre lessai de nouvelles technologies de test

    SP 2.3 Slectionner de nouvelles technologies de test pour dploiement

    SG 3 Dployer des Amliorations de Test

    SP 3.1 Planifier le dploiement

    SP 3.2 Grer le dploiement

    SP 3.3 Mesurer les effets de lamlioration

    SG 4 Etablir la Rutilisation dActifs du Processus de Test de Haute Qualit

    SP 4.1 Identifier les actifs de test rutilisables

    SP 4.2 Slectionner les actifs de test ajouter la bibliothque de rutilisation

    SP 4.3 Dployer des actifs de tests rutilisables

    SP 4.4 Utiliser des actifs de test rutilisables dans les projets

    Pratiques Spcifiques par Objectif

    SG 1 Slectionner des Amliorations du Processus de Test Les amliorations des processus de test sont slectionnes pour contribuer latteinte des objectifs en termes de qualit des produits et de performance des processus de test.

    SP 1.1 Recueillir et analyser des propositions damlioration du processus de test

    Recueillir et analyser en continue des propositions pour l'amlioration du processus de test standard de l'organisation.

    La pratique spcifique, Recueillir et analyser des propositions damlioration du processus de test, analyse les propositions qui sont collectes en interne. Reportez-vous au SP 2.1 Identifier et analyser les nouvelles technologies de test pour une pratique spcifique qui recherche activement des technologies de test nouvelles et innovantes en externe.

  • TMMi niveau 5 Optimisation du Processus de Test

    2012 TMMi Foundation. Parution 1.0 Page 197 sur 231

    Exemples de produits dactivit

    1. Propositions d'amlioration des processus de test analyses

    2. Liste des propositions d'amlioration des processus de test mettre lessai

    Sous-pratiques

    1. Recueillir les propositions d'amlioration des processus de test

    Une proposition d'amlioration des processus de test est un document regroupant les propositions amlioration pour un processus de test spcifique.

    Exemples de sources de propositions d'amlioration des processus de test :

    Les conclusions et recommandations des valuations de processus de tests priodiques (se rfrer au domaine de processus Organisation des Tests du niveau TMMi 3 pour plus d'informations sur l'valuation des processus de test. Notez qu'au niveau TMMi 5 les valuations de processus de test, formelles et informelles, sont gnralement effectues plus frquemment.

    Lanalyse des donnes concernant les problmes des utilisateurs finaux ainsi que leur satisfaction

    Lanalyse des donnes sur la qualit des produits et la performance du processus de test par rapport aux objectifs

    L'analyse des donnes pour dterminer les causes frquentes de dfauts, par exemple, grce la Prvention des Dfauts

    Les donnes de produits oprationnels

    L'efficacit et lefficience mesures des activits du processus de test

    La documentation des retours dexprience (par exemple, les rapports d'valuation des tests)

    Les ides spontanes des responsables et de lquipe

    Des runions de rtrospective sur les projets

    Les valuations d'outils de test (des outils de test sont rgulirement valus en ce qui concerne latteinte de leurs objectifs.)

    Reportez-vous au domaine de processus Organisation des Tests pour de plus amples renseignements au sujet des propositions d'amlioration des processus de test.

    2. Analyser les cots et les bnfices des propositions d'amlioration des processus de test selon le besoin

    Les propositions d'amlioration des processus de test qui n'ont pas un retour sur investissement attendu positif sont rejetes.

    Exemples de critres pour valuer les cots et les bnfices :

    Contribution latteinte des objectifs de l'organisation en termes de qualit des produits et de performance des processus de test

    Effet sur l'attnuation des risques des projets de test et des risques produit identifis

    Capacit ragir rapidement aux volutions du contexte

    Effet sur les processus (de test) et les actifs associs

    Cot de la dfinition et de la collecte des donnes qui contribuent la mesure et l'analyse de la proposition damlioration du processus de test

    Le temps prvu pour atteindre les rsultats suite la mise en uvre de la proposition

    3. Analyser les risques projets des propositions d'amlioration des processus de test

    Exemples de facteurs de risque qui affectent le dploiement des amliorations de processus :

  • TMMi niveau 5 Optimisation du Processus de Test

    2012 TMMi Foundation. Parution 1.0 Page 198 sur 231

    Complexit de l'amlioration

    Comptences des utilisateurs potentiels

    Changements multiples dans le mme temps

    Image peu claire des attentes

    Manque de bnfices et de russites visibles court terme

    Impact si la proposition n'est pas, ou pas entirement, mise en uvre

    4. Estimer le cot, l'effort et le calendrier requis pour le dploiement de chaque proposition d'amlioration des processus

    5. Identifier les propositions d'amlioration des processus mettre lessai avec un projet pilote avant le dploiement lchelle de l'organisation

    Certaines alternatives au projet pilote sont considres comme appropries par exemple, des expriences contrles, des simulations, des tudes de cas.

    6. Documenter les rsultats de l'valuation de chaque proposition d'amlioration des processus

    SP 1.2 Mettre lessai des propositions damlioration du processus de test

    Raliser des pilotes des amliorations des processus de test pour slectionner celles mettre en uvre.

    Les pilotes sont effectus pour valuer les changements majeurs nouveaux et non prouvs avant qu'ils ne soient dploys lchelle de l'organisation, le cas chant.

    Exemples de produits dactivit

    1. Rapports d'valuation des pilotes

    Sous-pratiques

    1. Planifier les pilotes des amliorations de processus de test

    2. Dfinir les objectifs des pilotes et les critres d'valuation des rsultats

    3. Revoir les plans pilotes et obtenir l'accord des parties prenantes

    4. Encadrer et soutenir les personnes effectuant les pilotes

    5. Effectuer chaque pilote dans un environnement qui est suffisamment reprsentatif de l'environnement dans lequel l'amlioration du processus de test sera finalement dploye

    6. Suivre les pilotes par rapport leurs plans

    7. Examiner et documenter les rsultats de chaque pilote

    Revoir et documenter les rsultats du projet pilote implique gnralement :

    - Dcider de mettre fin au projet pilote, re-planifier et continuer le pilote, ou procder au dploiement de l'amlioration du processus de test

    - Mettre jour les dispositions de la proposition d'amlioration des processus de test associ au pilote

    - Identifier et mettre jour de nouvelles propositions d'amlioration des processus de test, le cas chant

    - Identifier et documenter les retours dexprience et les problmes rencontrs durant le projet pilote

    SP 1.3 Slectionner des propositions d'amlioration du processus de test dployer

    Slectionner des propositions d'amlioration des processus de test dployer dans l'organisation.

  • TMMi niveau 5 Optimisation du Processus de Test

    2012 TMMi Foundation. Parution 1.0 Page 199 sur 231

    Une slection des propositions d'amlioration des processus de test est faite pour leur dploiement au sein de l'organisation sur la base de critres quantifiables drivs des objectifs de performance des processus de test de l'organisation.

    Exemples de produits dactivit

    1. Propositions d'amlioration des processus de test slectionnes pour le dploiement

    2. Documentation des rsultats de la procdure de slection (y compris les raisons des dcisions prises)

    Sous-pratiques

    1. Prioriser les amliorations de processus de test candidats au dploiement

    La priorit est base sur une valuation du retour sur investissement estim au regard des objectifs de performance du processus de test.

    Reportez-vous au domaine de processus Contrle de la Qualit pour plus d'informations sur les objectifs de performance du processus de test.

    Exemples de critres utiliser lors de l'tablissement des priorits :

    Contribution la ralisation des objectifs de performance de test

    Alignement avec le modle de maturit (par exemple, en essayant d'obtenir formellement un niveau de maturit)

    Visibilit de la proposition d'amlioration

    Cot de la proposition d'amlioration

    Facilit de mise en uvre de la proposition d'amlioration

    Acceptation prvue des propositions d'amlioration (au dbut, certaines peuvent entraner une rsistance importante)

    Attnuation des risques due la mise en uvre de la proposition d'amlioration

    2. Slectionner les amliorations de processus de test dployer

    La slection des amliorations de processus de test est base sur leurs priorits et les ressources disponibles.

    3. Dterminer l'approche pour chaque amlioration du processus de test qui sera dploye

    Exemples de sujets aborder dans le cadre de l'approche du dploiement :

    Les actifs organisationnels du processus de test touchs

    La totalit ou une partie des projets de l'organisation

    La totalit ou une partie des applications de l'organisation

    4. Documenter les rsultats de la procdure de slection

    SG 2 Evaluer de Nouvelles Technologies de Test afin de Dterminer leur Impact sur le Processus de Test De nouvelles technologies de test tels que des outils, des mthodes, des techniques ou des innovations techniques sont identifies, slectionnes et values afin de dterminer leur effet sur les processus de test standard de l'organisation.

    SP 2.1 Identifier et analyser les nouvelles technologies de test

    Identifier et analyser en permanence les technologies de test nouvelles et innovantes, par exemple, de nouveaux outils ou de nouvelles mthodes de test, qui pourraient accrotre la qualit et la performance des processus de test standard de l'organisation.

  • TMMi niveau 5 Optimisation du Processus de Test

    2012 TMMi Foundation. Parution 1.0 Page 200 sur 231

    La pratique spcifique, SP 1.1 Recueillir et analyser les amliorations des processus de test, analyse les propositions qui sont collectes en interne. Le but de la pratique spcifique SP 2.1 est de rechercher activement en externe des technologies de test nouvelles et innovantes.

    Exemples de produits dactivit

    1. Nouvelles technologie de test candidates

    2. Nouvelles technologies de test analyses

    3. Propositions d'amlioration de test

    4. Liste des technologies de test mettre lessai

    Sous-pratiques

    1. Etudier en continue les technologies de test nouvelles et innovantes

    Exemples d'activits dinvestigation :

    Maintenir systmatiquement une connaissance des travaux ou volutions techniques de pointe, par exemple, en participant des confrences, en assistant des webinaires et en tudiant la littrature

    Rechercher priodiquement les technologies de test nouvelles et innovantes disponibles dans le commerce

    Etudier les nouvelles normes de test pour leur applicabilit dans l'organisation

    Revoir systmatiquement les processus, les outils et les mthodes de test utiliss en externe, en les comparants ceux utiliss au sein de l'organisation

    Comparer la performance des processus de test par rapport aux donnes de performance de l'industrie

    Examiner les exemples d'amliorations des processus de test qui ont t adoptes avec succs ailleurs

    Participer des groupes d'intrts spcialiss dans le test

    Collaborer avec d'autres initiatives d'amlioration dans l'organisation pour trouver des opportunits qui pourraient tre bnfiques pour le test galement

    2. Analyser les potentielles technologies de test nouvelles et innovantes, par exemple, de nouveaux outils ou de nouvelles mthodes de test, afin de comprendre leurs effets sur des lments du processus de test et de prdire leur influence sur le processus

    Dans le cadre de l'analyse, il faut prendre en compte les contraintes, la priorisation des fonctionnalits disponibles, les questions matrielles/logicielles, les informations sur les fournisseurs, la prsentation des fournisseurs, et l'intgration avec les technologies et les processus existants.

    3. Analyser les cots et les bnfices des nouvelles technologies de test potentiels

    Les propositions d'amlioration des processus de test qui n'ont pas un retour sur investissement attendu positif sont rejetes. Un critre important est la contribution attendue de la nouvelle technologie de test l'atteinte des objectifs de l'organisation en termes de qualit des produits et de performance du processus de test.

    Les cots court terme et rcurrents long terme (maintenance) devraient tre pris en compte ainsi que le respect de la nouvelle technologie de test envers la politique de test.

    Dans le cadre de cette sous-pratique, des solutions alternatives, par exemple, un changement du processus de test, qui fournit les mmes avantages, mais des cots moindres, sont galement pris en compte.

    4. Crer une proposition d'amlioration pour les nouvelles technologies de test qui pourrait aboutir l'amlioration de la mthode de travail de l'organisation

    Dans le cadre de la proposition d'amlioration, estimer le cot, l'effort et le calendrier requis pour le dploiement de la nouvelle technologie de test.

  • TMMi niveau 5 Optimisation du Processus de Test

    2012 TMMi Foundation. Parution 1.0 Page 201 sur 231

    5. Identifier les nouvelles technologies de test qui doivent tre mises l'essai avec un projet pilote avant le dploiement lchelle de l'organisation

    Certaines alternatives au projet pilote sont considres, par exemple, des expriences contrles, des simulations, des tudes de cas.

    6. Documenter les rsultats de l'valuation de chaque nouvelle technologie de test

    SP 2.2 Mettre lessai de nouvelles technologies de test

    Mettre lessai de nouvelles technologies de test afin de slectionner celles mettre en uvre.

    Des pilotes sont effectus pour valuer les technologies de test nouvelles et non prouves, en particulier celles qui ont un impact important avant qu'elles ne soient dployes lchelle de l'organisation.

    Exemples de produits dactivit

    1. Rapports d'valuation des pilotes

    Sous-pratiques

    1. Planifier les mises lessai des nouvelles technologies de test

    2. Dfinir les objectifs et les critres d'valuation du rsultat des pilotes

    3. Revoir les plans pilotes et obtenir l'accord des parties prenantes

    4. Encadrer et soutenir les personnes effectuant les pilotes

    Lencadrement et le soutien peuvent tre raliss par des consultants de test internes, ventuellement avec l'aide d'un fournisseur externe.

    5. Effectuez chaque pilote dans un environnement qui est suffisamment reprsentatif de l'environnement dans lequel la nouvelle technologie de test sera dploye

    Autoriser des ressources supplmentaires pour le projet pilote, si ncessaire.

    6. Suivre les pilotes par rapport leurs plans

    7. Revoir et documenter le rsultat des projets pilotes

    Reportez-vous au SP 1.2 Mettre lessai des propositions damlioration du processus de test pour plus de dtails sur cette sous-pratique.

    SP 2.3 Slectionner de nouvelles technologies de test pour dploiement

    Slectionner de nouvelles technologies de test pour dploiement dans toute l'organisation.

    Une slection est faite des nouvelles technologies de test pour leur dploiement travers l'organisation sur la base de critres quantifiables drivs des objectifs de performance des processus de test de l'organisation.

    Exemples de produits dactivit

    1. Les nouvelles technologies de test slectionnes pour le dploiement

    2. Documentation des rsultats de la procdure de slection

    Sous-pratiques

    1. Prioriser les nouvelles technologies de test candidates pour le dploiement

    La priorit est base sur une valuation du retour sur investissement estim au regard des objectifs de performance du processus de test.

    Reportez-vous au domaine de processus Contrle de la Qualit pour plus d'informations sur les objectifs de performance du processus de test.

    Exemples de critres qui seront utiliss lors de l'tablissement des priorits :

    Contribution la ralisation des objectifs de performance du test

    Alignement avec le modle de maturit (par exemple, en essayant d'obtenir formellement un

  • TMMi niveau 5 Optimisation du Processus de Test

    2012 TMMi Foundation. Parution 1.0 Page 202 sur 231

    niveau de maturit)

    Visibilit des technologies de test

    Cot des technologies de test

    Facilit de mise en uvre des technologies de test

    Acceptation prvue des technologies de test (au dbut, certaines peuvent entraner une rsistance importante)

    Attnuation des risques due la mise en uvre des technologies de test

    2. Slectionner les technologies de test qui seront dployes

    La slection des nouvelles technologies de test est base sur leurs priorits et les ressources disponibles.

    3. Dterminer l'approche de chaque nouvelle technologie de test qui sera dploye

    Exemples de sujets aborder dans le cadre de l'approche de dploiement :

    Les actifs du processus de test organisationnel touchs

    La totalit ou une partie des projets de l'organisation

    La totalit ou une partie des applications de l'organisation

    Le dploiement incrmental ou unique; noter que, en gnral une approche progressive est prfrable

    Exhaustivit du conseil et du soutien aux projets et aux groupes organisationnels

    4. Documenter les rsultats de la procdure de slection

    SG 3 Dployer des Amliorations de Test Les amliorations des processus de test et les nouvelles technologies de test slectionnes sont dployes dans toute l'organisation afin d'amliorer le processus de test.

    Leurs bnfices sont mesurs et des informations sur les nouvelles innovations sont diffuses dans toute l'organisation.

    SP 3.1 Planifier le dploiement

    Etablir et maintenir les plans de dploiement des amliorations des processus de test et des technologies de test slectionnes.

    Cette pratique spcifique traite de la planification du dploiement damliorations individuelles des processus de test et des technologies de test. La pratique gnrique GP 2.2 Planifier le Processus rpond une planification globale qui couvre toutes les pratiques de ce domaine de processus.

    Exemples de produits dactivit

    1. Plan(s) de dploiement

    Sous-pratiques

    1. Dterminer les changements ncessaires pour dployer chaque amlioration des processus de test et des technologies de test

    Exemples de changements ncessaires pour dployer chaque amlioration dun processus de test et dune technologie de test :

    Descriptions, normes et procdures de processus de test

    Environnements de test

    Dveloppement de l'ducation, de la formation et des comptences

    Engagements existants de la hirarchie

  • TMMi niveau 5 Optimisation du Processus de Test

    2012 TMMi Foundation. Parution 1.0 Page 203 sur 231

    Les activits de test en vigueur dans les projets

    2. Identifier les approches pour rsoudre les problmes potentiels de dployer chaque processus de test et de tester l'amlioration de la technologie

    Lors de la dfinition du plan, lquilibre entre changements et stabilit de l'organisation et des projets doit tre soigneusement pes. Le modle de cycle de vie utilis (par exemple squentiel, itratif, agile) influencera la frquence du cycle des changements de processus qui sera acceptable pour les projets.

    3. Dterminer les activits de conduite du changement qui sont ncessaires pour dployer avec succs les amliorations de test

    Exemples d'activits de conduite du changement :

    Prsentation aux parties prenantes

    Lancement avec toutes les parties concernes

    Sessions de discussion

    Publications, par exemple, des fins d'information et sur les succs obtenus

    Prix de reconnaissance

    4. Etablir des mesures et des objectifs pour dterminer la valeur de chaque amlioration des processus de test et des technologies de test par rapport aux objectifs de performance de test de l'organisation

    Exemples de mesures permettant de dterminer la valeur dune amlioration d'un processus de test et dune technologie de test :

    Retour sur investissement

    Dlai de retour sur investissement

    Mesure de lamlioration de la qualit du produit

    Mesure de lamlioration de la performance du processus de test du projet

    Nombre et type des risques projets et des risques produit attnus

    Reportez-vous au domaine de processus Mesure du Test pour de plus amples renseignements sur l'tablissement de mesures et sur le processus de mesure et d'analyse.

    5. Documenter le plan de dploiement de chaque amlioration des processus de test et des technologies de test

    6. Revoir et obtenir un accord avec les parties prenantes sur le plan de dploiement de chaque amlioration des processus de test et des technologies de test

    7. Rviser le plan pour le dploiement de chaque amlioration des processus de test et des technologies de test, si ncessaire

    SP 3.2 Grer le dploiement

    Grer le dploiement des amliorations des processus de test et des technologies de test slectionnes.

    Exemples de produits dactivit

    1. Matriel de formation (mis jour)

    2. Rsultats documents d'activits de dploiement

    3. Mesures, objectifs, priorits et plan de dploiement rviss de lamlioration du processus de test ou de la technologie de test

  • TMMi niveau 5 Optimisation du Processus de Test

    2012 TMMi Foundation. Parution 1.0 Page 204 sur 231

    Sous-pratiques

    1. Surveiller la mise en place des amliorations du processus de test et des technologies de test l'aide du plan de dploiement

    2. Coordonner le dploiement des amliorations du processus de test et des technologies de test au sein de l'organisation et au sein des projets

    Dans le cadre des activits de coordination, l'quipe de dploiement est constitue, qui comprend gnralement un sponsor de la hirarchie

    3. Intgrer les amliorations du processus de test et des technologies de test dans les actifs des processus de test organisationnel, selon le besoin

    Reportez-vous au domaine de processus Cycle de Vie et Intgration du Test du niveau TMMi 3 pour plus d'informations sur les actifs de processus de test de l'organisation.

    4. Fournir du conseil, le cas chant, pour soutenir le dploiement des amliorations du processus de test et des technologies de test

    5. Fournir du matriel de formation (mis jour) et effectuer les formations prvues

    Reportez-vous au domaine de processus Programme de Formation en Test du niveau TMMi 3 pour plus d'informations sur la formation et le matriel de formation.

    6. Faire la promotion des succs enregistrs au cours du dploiement l'intrieur et l'extrieur de lorganisation de test, pour maintenir lquipe motive et implique et pour rduire les rsistances

    7. Sassurer que le dploiement de toutes les amliorations du processus de test et des technologies de test est termin

    8. Dterminer si la capacit du processus de test concern atteindre les objectifs de performance des processus de test est ngativement affecte par lamlioration du processus de test ou des technologies de test, et prendre des mesures correctives si ncessaire

    9. Documenter et revoir les rsultats du dploiement des amliorations du processus de test et des technologies de test

    Documenter et revoir les rsultats du dploiement des amliorations du processus de test et des technologies de test implique :

    - Lidentification et la documentation des retours dexprience et des problmes rencontrs lors du dploiement

    - Lidentification et la documentation de nouvelles propositions d'amlioration des processus de test et des technologies de test

    - La rvision des mesures, objectifs, priorits et plan de dploiement de lamlioration du processus de test ou des technologies de test

    SP 3.3 Mesurer les effets de lamlioration

    Mesurer l'effet des amliorations de processus de test et de technologies de test dployes.

    Reportez-vous au domaine de processus Mesure du Test pour de plus amples renseignements sur l'tablissement de mesures, sur les processus de mesure et d'analyse, et sur les rapports de rsultats.

    Exemples de produits dactivit

    1. Mesures documentes des effets des amliorations de processus de test et de technologies de test dployes

    Sous-pratiques

    1. Mesurer le cot, l'effort et le calendrier rel de dploiement de chaque amlioration de processus de test et de technologie de test

    2. Mesurer la valeur de chaque amlioration de processus de test et de technologie de test

    3. Mesurer les progrs vers la ralisation des objectifs de performance des processus de test de l'organisation

  • TMMi niveau 5 Optimisation du Processus de Test

    2012 TMMi Foundation. Parution 1.0 Page 205 sur 231

    4. Analyser les progrs vers la ralisation des objectifs de performance des processus de test de l'organisation et prendre les mesures correctives ncessaires

    Reportez-vous au domaine de processus Contrle de la Qualit pour de plus informations sur l'analyse de la performance du processus de test.

    5. Enregistrer les mesures dans le rfrentiel de mesure du test de l'organisation

    SG 4 Etablir la Rutilisation dActifs du Processus de Test de Haute Qualit Les composants et les articles de test du processus de test sont intgrs aux actifs et rutiliss au sein de l'organisation lors de la cration dautres actifs de test.

    SP 4.1 Identifier les actifs de test rutilisables

    Les actifs de test (composants ou articles de test du processus de test) de haute qualit qui peuvent ventuellement tre rutiliss dans toute l'organisation sont identifis.

    Exemples de produits dactivit

    1. Liste des actifs de test identifis pour la rutilisation

    Sous-pratiques

    1. Identifier les actifs de test pour l'valuation de la rutilisabilit

    Exemples d'activits o les actifs de test rutilisables peuvent tre identifis :

    Rtrospectives de projets / sessions de retour sur exprience

    Rapport d'valuation du test

    Evaluations des processus de test, dans lesquels les points forts indiquent souvent des composants ou articles de test de processus de test de haute qualit qui sont candidats la rutilisation

    Efforts d'amlioration du test

    2. Documenter l'historique et le contexte de chacun des actifs de tests identifis pour la rutilisation

    3. Soumettre des propositions de rutilisabilit au Groupe de Processus de Test

    SP 4.2 Slectionner les actifs de test ajouter la bibliothque de rutilisation

    Parmi la liste des actifs de tests identifis pour la rutilisation, les actifs de test sont slectionns pour tre ajouts la bibliothque de rutilisation.

    Une slection des actifs de test est faite pour une rutilisation au sein de l'organisation sur la base de critres quantifiables drivs de la politique de rutilisation des tests de l'organisation.

    Exemples de produits dactivit

    1. Actifs de test slectionns pour la rutilisation

    Sous-pratiques

    1. Prioriser les actifs de test candidats la rutilisation

    La priorit est base sur une valuation de la valeur ajoute en ce qui concerne les objectifs de performance des processus de test et la politique de rutilisation des tests de l'organisation.

    2. Analyser les actifs de test candidats la rutilisation

    Les actifs de test candidats la rutilisation sont analyss pour leur conformit aux critres de rutilisation.

    Exemples de critres de rutilisation des actifs de test :

    L'actif de test doit tre dfini et document selon les normes de l'organisation

  • TMMi niveau 5 Optimisation du Processus de Test

    2012 TMMi Foundation. Parution 1.0 Page 206 sur 231

    L'actif de test doit tre facile comprendre et mettre en uvre

    L'actif de test, en particulier les composants du processus de test, doit avoir des mesures associes

    L'actif de test doit avoir t soigneusement revu et appliqu avec succs pour s'assurer qu'il a t suffisamment test

    Les risques lis au processus de test doivent tre valus et documents

    L'actif de test, en particulier les composants du processus de test, doit avoir une interface bien dfinie pour les autres processus connexes

    L'actif de test doit tre souple et modifiable de sorte qu'il puisse tre appliqu diffrents projets

    3. Slectionner les actifs de tests rutilisables qui seront dploys

    La slection des actifs de tests rutilisables est base sur leurs priorits, les ressources disponibles et leur conformit aux critres de rutilisation.

    4. Documenter les rsultats du processus de slection et informer les parties prenantes de la ou des dcision(s) prises

    SP 4.3 Dployer des actifs de tests rutilisables

    Grer et raliser le dploiement des actifs de test rutilisables slectionns, qu'il s'agisse de composants de processus ou darticles de test.

    Exemples de produits dactivit

    1. Mise jour de la bibliothque des processus de test

    2. Actifs de test rutilisables

    3. Rsultats documents des activits de dploiement

    Sous-pratiques

    1. Incorporer les actifs de tests rutilisables slectionns dans la bibliothque des actifs de processus de test de lorganisation, le cas chant

    Un travail devra gnralement tre effectu pour s'assurer que l'actif de test sera propre figurer dans la bibliothque des actifs de processus de test (voir la liste des critres de rutilisation dans la pratique spcifique prcdente). Pour soutenir la rutilisation, chaque actif de test rpondant aux critres de rutilisation devrait tre reprsent par un modle. Le modle doit contenir des informations qui permettent l'actif de test dtre adapt des projets spcifiques.

    Exemples de composants pour un modle de dactif rutilisable [Hollenbach et Frakes] :

    Nom de l'actif de test

    Informations gnrales

    Description du client

    Description de l'interface

    Description de la procdure

    Description du contexte

    Description de la mesure

    Reportez-vous au domaine de processus Organisation du Test pour plus d'informations sur la bibliothque des actifs de processus de test.

    2. Revoir et tester l'actif de test rutilisable dfini afin de s'assurer qu'il est apte pour la rutilisation

    3. Diffuser les actifs de tests rutilisables au sein de l'organisation et au sein des projets

    Exemples de mcanismes de diffusion :

  • TMMi niveau 5 Optimisation du Processus de Test

    2012 TMMi Foundation. Parution 1.0 Page 207 sur 231

    Prsentation au cours des runions de projet et/ou de dpartement

    Envoi d'un email d'information ou dun bulletin priodique

    Lintgrer dans un programme de formation d'introduction la bibliothque des actifs de processus de test

    Communiquer et y donner accs au travers d'un portail web centralis

    4. Fournir du conseil, selon le besoin, pour soutenir le dploiement des actifs de test rutilisables nouveaux ou mis jour

    5. Fournir du matriel de formation (mis jour) et effectuer les formations ncessaires

    6. Effectuer la promotion des succs obtenus avec le processus de rutilisation l'intrieur et l'extrieur de lorganisation de test pour garder les effectifs motivs et impliqus

    7. Documenter et revoir les rsultats du dploiement de l'actif de test rutilisable

    SP 4.4 Utiliser des actifs de test rutilisables dans les projets

    Les actifs de tests rutilisables stocks dans la bibliothque des actifs de processus de test sont appliqus et utiliss dans des projets.

    Exemples de produits dactivit

    1. Donnes sur l'adaptation et lutilisation des actifs de test rutilisables dans les projets

    2. Mesures relatives l'utilisation des actifs de test rutilisables

    3. Actifs de tests rutilisables ajusts

    Sous-pratiques

    1. Adapter l'actif de test rutilisable au projet

    Ladaptation consiste en la slection et lextraction dun actif de test appropri (comme un modle partir de la bibliothque des actifs de processus de test) pour l'appliquer un nouveau projet. Des modifications peuvent tre ncessaires pour rpondre aux exigences et l'environnement du nouveau projet.

    2. Former le personnel du projet

    Le module de formation gnrique sur l'actif de test est conu pour rpondre aux besoins spcifiques du projet. Le programme de formation est utilis pour former le personnel du projet.

    3. Utiliser l'actif de test sur un projet

    L'actif de test (ajust) est mis en uvre (utilis) dans le projet. Il est surveill et contrl l'aide de mcanismes appropris. Des mesures sont prises pendant l'excution du processus de test concernant l'actif de test.

    4. Ajuster l'actif de test rutilisable

    A partir des mesures prises pendant l'excution du processus, on dtermine si la rutilisation de l'actif de test est efficiente et efficace. S'il y a des problmes, ceux-ci sont analyss. Les modifications appropries sont apportes la dfinition de lactif de test.

    Pratiques Gnriques par Objectifs

    GG 2 Institutionnaliser un Processus Disciplin

    GP 2.1 Etablir une politique organisationnelle

    Etablir et maintenir une politique organisationnelle pour la planification et l'excution du processus Optimisation du Processus de Test.

  • TMMi niveau 5 Optimisation du Processus de Test

    2012 TMMi Foundation. Parution 1.0 Page 208 sur 231

    Elaboration

    Le politique d'Optimisation du Processus de Test spcifie gnralement :

    Lamlioration des processus de test est effectue de manire continue

    La prvention des dfauts et le Contrle de la Qualit ont pour objectif d'optimiser le processus de test

    Des objectifs quantitatifs sont dfinis pour lamlioration des tests, les performances du processus de test et la rutilisation des actifs de test

    Les progrs sont mesurs sur la base des objectifs quantitatifs dfinis

    Les objectifs pour le transfert de technologie de test

    Les amliorations des processus de test sont coordonnes par un groupe de processus de test

    Le rle de l'valuation formelle et informelle dans l'amlioration des processus de test

    Tout le personnel et les gestionnaires de test de l'organisation doivent participer l'amlioration des processus de test

    Les actifs de test rutilisables sont identifis, selon le besoin

    Les actifs de test sont rutiliss dans l'ingnierie des processus de test et dans les projets

    GP 2.2 Planifier le processus

    Etablir et maintenir le plan pour appliquer le processus Optimisation du Processus de Test.

    Elaboration

    Le plan abord dans cette pratique gnrique traite de la planification organisationnelle globale pour l'ensemble des pratiques spcifiques de ce domaine de processus requis pour atteindre les objectifs spcifiques. Le plan portera sur la collecte et l'analyse des propositions d'amlioration tout au long de la mesure des effets des amliorations et lapplication du processus de rutilisation des actifs de test. Le plan est soumis une revue par les pairs et est revu par les responsables concerns.

    Les plans de dploiement font partie des pratiques spcifiques de ce domaine de processus et pas du plan trait par cette pratique gnrique.

    GP 2.3 Fournir les ressources

    Fournir des ressources adquates pour mettre en place le processus Optimisation du Processus de Test, en dveloppant les produits dactivits de test, et en fournissant les services du processus.

    Elaboration

    Un budget annuel est disponible pour les activits d'amlioration des processus de test, y compris les valuations, le dploiement et les activits dinvestigation et d'analyse des nouvelles technologies de test.

    Les fonctions de gestion des ressources humaines et administratives sont tablies et attribues pour tablir, raliser et conduire les activits de communication, motivation, et de rtribution ncessaires pour maintenir un niveau lev de participation et de satisfaction des employs.

    Lenvironnement et les outils appropris sont mis disposition pour excuter les activits d'Optimisation du Processus de Test, par exemple, outils de prototypage, environnement de simulation, outils de modlisation de processus, outils statistiques et bibliothque des actifs des processus de test.

    Des personnes ayant une expertise approfondie dans l'amlioration des processus de test, les stratgies de rutilisation et l'optimisation des processus sont disponibles.

    Un budget annuel est disponible pour les activits de rutilisation des actifs de test.

  • TMMi niveau 5 Optimisation du Processus de Test

    2012 TMMi Foundation. Parution 1.0 Page 209 sur 231

    GP 2.4 Assigner les responsabilits

    Attribuer la responsabilit et l'autorit pour mettre en place le processus Optimisation du Processus de Test, en dveloppant les produits dactivits, et en fournissant les services du processus Mesure du Test.

    Elaboration

    Un groupe de processus de test est gnralement dsign comme responsable de la gestion du processus de test avec le plein appui de la direction. La direction comprend dsormais pleinement la valeur du changement et de l'amlioration des processus et est donc prte investir dans un groupe de processus de test de haute qualit. Les testeurs et les quipes de test sont chargs de fournir un retour continu sur les processus et les technologies de test qu'ils utilisent. L'amlioration et loptimisation des processus de test est de la responsabilit de chaque testeur.

    Exemples de responsabilits du groupe de processus de test affecter :

    Dfinition des objectifs de l'organisation et des plans de mesure pour la performance des processus de test et revue de ceux-ci avec la haute direction pour obtenir son appui

    Dfinition des processus de test

    Contrle de la qualit des processus de test

    Gestion des changements de processus de test, par exemple, dfinir et maintenir les procdures de traitement des propositions et revues d'amlioration des processus de test, revoir les propositions d'amlioration des processus de test et coordonner les actions lies ces propositions

    Gestion de processus de prvention des dfauts

    Transfert des technologies de test

    Evaluation des processus de test

    Participation l'effort de dfinition des besoins de formation de l'organisation pour l'amlioration des processus de test et la rutilisation des actifs de test, et soutien du dveloppement et de la prsentation du matriel de formation

    Identification des actifs de test rutilisables

    Maintien de la bibliothque des actifs du processus de test

    Conduite des processus de test

    Participation aux et communication des initiatives d'amlioration provenant d'autres groupes au sein de l'organisation

    GP 2.5 Former les personnes

    Former les personnes charges de mettre en place ou de soutenir le processus Optimisation du Processus de Test en fonction des besoins.

    Elaboration Exemples de thmes de formation :

    Amlioration des processus de test

    Planification, conception et conduite de projets pilotes

    Evaluations des processus de test

    Analyse des cots/bnfices

    Processus de slection et de mise en uvre d'outils

    Analyse et modlisation des processus

    Stratgies de dploiement

  • TMMi niveau 5 Optimisation du Processus de Test

    2012 TMMi Foundation. Parution 1.0 Page 210 sur 231

    Transfert de technologie

    Gestion du changement

    Dveloppement de lesprit dquipe

    Stratgies et processus de rutilisation

    GP 2.6 Grer en configuration

    Placer les produits dactivits slectionns du processus Optimisation du Processus de Test sous un niveau appropri de gestion de configuration.

    Elaboration Exemples de produits dactivits placs sous gestion de configuration :

    Propositions d'amlioration des processus de test et leurs analyses

    Retours dexprience documents des projets pilotes

    Plans d'amlioration du test

    Plans de dploiement

    Matriel de formation

    Mesures d'amlioration des processus de test et des technologies de test

    Ensemble mis jour des processus de test standard de l'organisation

    Composants de processus tests rutilisables

    Artefacts de test rutilisables

    GP 2.7 Identifier et impliquer les parties prenantes concernes

    Identifier et impliquer les parties prenantes du processus Optimisation du Processus de Test comme prvu dans le planning.

    Elaboration Exemples d'activits pour limplication des parties prenantes :

    Obtenir de la direction quelle fixe des engagements un groupe de processus de test et des objectifs long terme, quelle fournisse les ressources pour l'amlioration des processus de test, le transfert des technologies de test et la rutilisation des actifs de test

    Revoir les propositions d'amlioration des processus et des technologies de test avec la direction, les rles spcifiques des utilisateurs et ceux impliqus dans la technique

    Fournir des informations sur l'tat et les rsultats des activits de dploiement, y compris le transfert des technologies de test, la direction ainsi quaux acteurs oprationnels

    Diffuser l'information sur les nouvelles technologies de test

    GP 2.8 Surveiller et contrler le processus

    Surveiller et contrler le processus Optimisation du Processus de Test selon le planning pour excuter le processus et prendre les mesures appropries.

    Elaboration Exemples de mesures utilises dans la surveillance et le contrle du processus Mesure du Test :

    Nombre d'amliorations des processus de test slectionnes et dployes

    Nombre d'innovations technologiques identifies et dployes

    Effort et autres ressources consacres, par exemple, l'tablissement de plans de dploiement

  • TMMi niveau 5 Optimisation du Processus de Test

    2012 TMMi Foundation. Parution 1.0 Page 211 sur 231

    Changements dans la qualit du produit

    Changements dans la performance des processus de test

    GP 2.9 Evaluer la conformit de manire objective

    Evaluer objectivement le respect du processus Optimisation du Processus de Test et slectionner les produits dactivits selon la description du processus, les normes et les procdures, et traiter les non-conformits.

    Elaboration Exemples de sujets de revue et/ou audit de conformit :

    Processus pour dterminer les opportunits d'amlioration du test

    Planifier et coordonner les amliorations de test

    Processus de slection, obtention et dploiement des nouvelles technologies de test

    Plans d'amlioration des tests

    Evaluations des processus de test

    Plans de dploiement

    Processus de transfert des technologies de test

    Mesures sur les effets des amliorations de test

    Mesures sur la rutilisation des actifs de test

    GP 2.10 Revoir le statut avec la hirarchie

    Passez en revue les activits, ltat et les rsultats du processus Optimisation du Processus de Test avec la hirarchie et rsoudre les problmes.

    Elaboration Exemples de questions examiner avec la hirarchie :

    Statut des amliorations en cours d'laboration par les quipes oprationnelles

    Rsultats des pilotes et des dploiements

    Mesures sur la performance des processus de test

    Effort et autres ressources dpenss par rapport au plan

    Statut quant la ralisation de jalons importants, par exemple, tre prt pour une valuation formelle

    Changements de stratgie ncessaires

    Programme de transfert de technologies de test

    Programme de rutilisation des actifs de test

    GG 3 Institutionnaliser un Processus Ajust

    GP 3.1 Etablir un processus ajust

    Etablir et maintenir la description d'un processus Optimisation du Processus de Test ajust.

    GP 3.2 Recueillir des informations sur l'amlioration

    Recueillir les expriences lies au processus dcoulant de la planification et de lexcution du processus Optimisation du Processus de Test pour soutenir l'utilisation future et l'amlioration des processus de l'organisation et des actifs de processus.

  • TMMi niveau 5 Optimisation du Processus de Test

    2012 TMMi Foundation. Parution 1.0 Page 212 sur 231

    Elaboration Exemples de mesures :

    L'activit globale de changement des technologies de test, y compris le nombre, le type et l'ampleur des changements

    L'effet de la mise en uvre dun changement de technologie de test par rapport aux objectifs

    Effort/cots de lajustement des processus de test (changements de processus de test)

    Cot de l'amlioration et de loptimisation des processus de test

    Cot de maintenance de la bibliothque des actifs du processus de test

    Nombre dactifs de test tant rutiliss

    Cot/effort associs la rutilisation des actifs de test

    Cot/effort de maintien dun Groupe de Processus de Test

  • Glossaire

    2012 TMMi Foundation. Parution 1.0 Page 213 sur 231

    Glossaire

    critre dacceptation acceptance criteria

    Le critre de sortie que doit satisfaire un composant ou un systme de faon tre accept par un utilisateur, client ou une autre entit autorise [IEEE 610]

    test dacceptation acceptance testing

    Test formel en rapport avec les besoins, exigences et processus mtier, conduit pour dterminer si un systme satisfait ou non aux critres dacceptation et permettre aux utilisateurs, clients ou autres entits autorises de dterminer lacceptation ou non du systme [daprs IEEE 610]

    proposition daction action proposal

    Laction documente prendre pour empcher loccurrence future dune cause de problme frquente ou pour intgrer les bonnes pratiques dans les actifs du processus de test.

    rsultat effectif actual result

    Comportement produit/observe quand un composant ou un systme est test.

    alpha tests alpha testing

    Test oprationnel rel ou simul par des utilisateurs/clients potentiels ou par une quipe de test indpendante sur le site de dveloppement, mais en dehors de lorganisation de dveloppement. Les tests alpha sont souvent utiliss comme une forme de tests dacceptation interne.

    audit audit

    Evaluation indpendante du produit logiciel ou du processus pour sassurer de sa conformit des standards, rgles, directives, spcifications et/ou procdures bases sur des critres objectifs, incluant les documents qui spcifient : (1) la forme ou le contenu du produit produire (2) le processus qui produira le produit (3) comment la conformit des standards ou des directives sera mesure [IEEE 1028]

    disponibilit availability

    Degr par lequel un composant ou un systme est oprationnel et accessible quand il doit tre utilis. Souvent exprim comme un pourcentage [IEEE 610]

    tat de lart best practice

    Une mthode suprieure ou une pratique innovante qui contribue lamlioration des performances dune organisation dans un certain contexte, gnralement considr comme suprieur par dautres organisations similaires.

    beta test beta testing

    Tests oprationnels par des utilisateurs/clients potentiels et/ou rels sur un site externe non associ aux dveloppeurs, pour dterminer si un composant ou systme satisfait ou non les besoins des utilisateurs/clients et sadaptent aux processus dentreprise. Le bta test est souvent utilis comme une forme de tests externe dacceptation de faon obtenir des informations de retour du march.

    test bote noire black-box testing

    Tests, fonctionnels ou non-fonctionnels, sans rfrence aux structures internes du composant ou du systme.

    conception de tests bote noire black-box test design

    Technique/procdure documente pour laborer et/ou slectionner des cas de tests bass sur une analyse des spcifications, fonctionnelles ou non-fonctionnelles, dun composant ou systme sans faire rfrence ses structures internes.

    analyse des valeurs limites boundary value analysis

    Technique de conception de tests bote noire dans laquelle les cas de tests sont conus sur la base des valeurs limites.

    couverture de branches branch coverage

    Pourcentage des branches qui ont t excuts dans une suite de tests. 100% de couverture des branches implique 100% de couverture des dcisions et 100% de couverture des instructions.

    test des branches branch testing

    Technique de conception des tests bote blanche dans laquelle les cas de tests sont conus pour excuter les branches.

    Modle de Maturit de la Capabilit (CMM)

    Structure en cinq niveaux qui dcrit les lments cl dun processus logiciel efficace. Le CMM couvre les pratiques pour la planification, lingnierie et la

  • Glossaire

    2012 TMMi Foundation. Parution 1.0 Page 214 sur 231

    Capability Maturity Model (CMM)

    gestion des dveloppements et de la maintenance des logiciels. [CMM]

    Intgration du Modle de Maturit de la Capabilit (CMMI) Capability Maturity Model Integration (CMMI)

    Structure dcrivant les lments cl dun processus de dveloppement et de maintenance efficace dun produit. LIntgration du Modle de Maturit de la Capabilit couvre les pratiques pour le planning, lingnierie et la gestion du dveloppement et de la maintenance du produit. CMMI est le successeur dsign de CMM [CMMI]

    outil de capture/playback capture/playback tool

    Type doutil dexcution de tests o les entres sont enregistres pendant les tests manuels, afin de gnrer des scripts automatiss qui peuvent tre excuts ultrieurement (rejous). Ces outils sont souvent utiliss pour fournir un support automatis aux tests de rgression.

    mise en graphe de cause effet cause-effect graphing

    Technique de conception de tests bote noire selon laquelle les cas de tests sont conus partir du graphe de cause effet [BS 7925/2]

    Mthode de classification arborescente classification tree method

    Technique de conception de tests bote noire selon laquelle les cas de tests, dcrits par le biais dune arborescence, sont conus pour excuter des combinaisons de domaines reprsentatifs dentres ou de sorties [Grochtmann]

    liste de vrification checklist

    Les listes de vrification sont de la sagesse enregistre destines aider dans linterprtation des rgles et expliquer leur application. Les listes de vrification sont utilises pour augmenter lefficacit dans la recherche des dfauts majeurs dans une spcification durant une revue. Une liste de vrification prend gnralement la forme dune liste de questions. Toutes les questions dune liste de vrification sont drives directement et explicitement de rgles de spcification rfrences. [Gilb and Graham]

    couverture de code code coverage

    Mthode danalyse qui dtermine quelles parties du logiciel ont t excutes (couvertes) par une suite de tests et quelles parties ne lont pas t, p.ex. couverture des instructions, des dcisions ou des conditions.

    causes communes common causes

    Lorigine sous-jacente dun nombre de dfauts de type similaire, de telle sorte que si la cause dorigine est traite, loccurrence de ces types de dfauts et rduite ou supprime.

    composant component

    Elment logiciel minimal qui peut tre test isolment.

    test dintgration de composants component integration testing

    Test effectu pour dcouvrir des dfauts dans les interfaces et les interactions entre des composants intgrs.

    test de composant component testing

    Test de composants logiciels individuels [daprs IEEE 610]

    couverture des conditions condition coverage

    Pourcentage des rsultats de conditions qui ont t exercs par une suite de tests. 100% de couverture des conditions ncessite que chaque condition simple dans chaque instruction conditionnelle soit teste en Vrai et en Faux.

    test des conditions condition testing

    Technique de conception de test bote blanche selon laquelle les cas de tests sont conus pour excuter les rsultats de conditions.

    niveau de confiance confidence level

    La probabilit quun logiciel soit sans dfaut. [Burnstein]

    configuration configuration

    Composition dun composant ou systme dfini par le nombre, la nature et les interconnexions de ses parties constituantes.

    audit de configuration configuration auditing

    La vrification du contenu des librairies dlments de configuration, p.ex. pour une conformit des standards. [IEEE 610]

    contrle de configuration configuration control

    Elment de la gestion de configuration, consistant en lvaluation, la coordination, lapprobation ou la dsapprobation, et limplantation de modifications des lments de configuration aprs ltablissement de leur

  • Glossaire

    2012 TMMi Foundation. Parution 1.0 Page 215 sur 231

    identification de configuration [IEEE 610]

    comit de contrle des modifications configuration control board (CCB)

    Groupe de personnes responsables de lvaluation et de lapprobation (ou non) des modifications proposes aux lments de configuration, et devant sassurer de limplmentation des modifications approuves [IEEE 610]

    identification de configuration configuration identification

    Elment de la gestion de configuration, consistant en la slection des lments de configuration pour un systme et lenregistrement de leurs caractristiques fonctionnelles et physiques dans une documentation technique [IEEE 610]

    lment de configuration configuration item

    Ensemble de matriels, logiciels (ou les deux), qui entre dans la gestion de configuration et est trait comme une entit unitaire dans le processus de gestion de configuration [IEEE 610]

    gestion de configuration configuration management

    Discipline appliquant une direction et surveillance technique et administrative pour : identifier et documenter les caractristiques fonctionnelles et physiques dun lment de configuration, contrler les modifications de ces caractristiques, enregistrer et informer des modifications et tats dimplmentation, et vrifier la conformit avec des exigences spcifies [IEEE 610]

    outil de gestion de configuration configuration management tool

    Outil fournissant le support lidentification et au contrle des lments de configuration, leurs statuts en fonction des changements et des versions, et la publication de versions de rfrences constitues dlments de configuration.

    reprsentation continue continuous representation

    Structure dun modle de maturit dans laquelle les niveaux de maturit fournissent des recommandations pour la mise en uvre du processus damlioration lintrieur de domaines de processus particuliers. [CMMI]

    outil de couverture coverage tool

    Outil qui fournit des mesures objectives de quels lments structurels (p.ex. instructions, branches) ont t employs lors de lexcution dune suite de tests.

    outil de dbogage debugging tool

    Outil utilis par les programmeurs pour reproduire les anomalies, examiner ltat des programmes et trouver les dfauts correspondants. Les outils de dbogage permettent aux programmeurs dexcuter un programme pas pas, darrter un programme une instruction du programme et de fixer et examiner les variables du programme.

    couverture des dcisions decision coverage

    Pourcentage des rsultats de dcisions qui ont t excutes par une suite de tests. 100% de couverture des dcisions implique 100% de couverture des branches et 100% de couvertures des instructions.

    test par table de dcisions decision table testing

    Technique de conception des tests bote noire dans laquelle les cas de tests sont conus pour excuter les combinaisons dentres et/ou de stimuli (causes) prsentes dans une table de dcision [Veenendaal]

    test des dcisions decision testing

    Technique de conception de tests bote blanche selon laquelle les cas de tests sont conus pour excuter les rsultats de dcisions.

    dfaut defect

    Imperfection dans un composant ou un systme qui peut conduire ce quun composant ou un systme nexcute pas les fonctions requises, par exemple une instruction ou une dfinition de donnes incorrecte. Un dfaut, si rencontr lors de lexcution, peut causer la dfaillance dun composant ou dun systme.

    technique de conception base sur les dfauts defect based test design technique

    Procdure de drivation et/ou slection des cas de tests applique une ou plusieurs catgories de dfauts, avec un dveloppement des tests partir de ce qui est connu de la catgorie de dfaut spcifique. Voir aussi taxonomie des dfauts.

    structure de classification des dfauts defect classification scheme

    Ensemble de catgories, incluant la phase, le type de dfaut, la cause, la svrit, la priorit pour dcrire un dfaut dune manire cohrente.

    densit de dfauts defect density

    Nombre danomalies identifies dans un composant ou systme, divis par la taille du composant ou systme (exprim en termes de mesure standard tel que lignes de code, nombre de classes ou points de fonctions).

  • Glossaire

    2012 TMMi Foundation. Parution 1.0 Page 216 sur 231

    Pourcentage de Dtection des Dfauts (DDP) Defect Detection Percentage (DDP)

    Nombre danomalies dtectes dans une phase de test, divis par la somme des anomalies trouves par cette phase et toutes les phases ultrieures.

    gestion danomalie defect management

    Processus de reconnaissance, dinvestigation, daction et de traitement des anomalies. Cela implique lenregistrement des anomalies, leur classification et lidentification de leur impact [daprs IEEE 1044]

    outil de gestion danomalies defect management tool

    Outil qui facilite lenregistrement et le suivi des statuts des incidents trouvs pendant les tests. Les outils de ce type ont souvent des fonctions de workflows pour tracer et contrler lallocation, la correction et le retest de ces incidents et fournir des fonctions de reporting. Voir aussi outil de gestion des anomalies.

    masquage danomalie defect masking

    Cas o un dfaut empche la dtection dun autre [daprs IEEE 610]

    prvention des dfauts defect prevention

    Activits concernant lidentification de dfauts ou de dfauts potentiels, lanalyse de ces dfauts pour trouver les causes racines et la prvention de leur introduction dans les futurs produits. [daprs Burnstein]

    rapport danomalie defect report

    Document fournissant une information sur un dfaut dans un composant ou systme qui peut conduire le composant ou le systme ne pas excuter les fonctions requises. [daprs IEEE 829]

    taxonomie des dfauts defect taxonomy

    Systme de catgories (hirarchiques) destin aider la reproduction de dfauts classifis.

    processus ajust defined process

    Processus disciplin qui est ajust partir des processus standards de lorganisation en suivant les rgles dadaptation de lorganisation ; qui a une description de processus maintenue ; et qui contribue avec des produits dactivits, des mesures et dautres informations damlioration du processus aux actifs de processus de lorganisation. [CMMI]

    livrable deliverable

    Tout produit (travail) qui doit tre livr par quelquun une personne autre que lauteur du produit (travail).

    pilote driver

    Composant logiciel ou outil de tests qui remplace un composant qui contrle et/ou appelle un composant ou systme. [daprs TMap]

    outil danalyse dynamique dynamic analysis tool

    Outil qui fournit une information sur ltat dun code logiciel. Ces outils sont habituellement utiliss pour identifier des pointeurs non affects, vrifier larithmtique des pointeurs et pour suivre lallocation, lutilisation et la libration de mmoire et dtecter les fuites mmoire.

    Test dynamique dynamic testing

    Test qui ncessite lexcution du logiciel dun composant ou systme.

    rendement efficiency

    Capacit du produit logiciel fournir des performances appropries, relatives au niveau de ressources utilises dans des conditions spcifies. [ISO 9126]

    test de comparaison lmentaire elementary comparison testing

    Technique de conception de tests bote noire selon laquelle les cas de tests sont conus pour excuter les combinaisons dentres en utilisant le concept de couverture des conditions et dcisions. [TMap]

    mulateur emulator

    Appareil, programme ou systme qui accepte les mmes entres et produit les mmes rsultats quun systme donn. [IEEE 610] Voir aussi Simulateur.

    critre dentre entry criteria

    Ensemble des conditions spcifiques et gnriques pour permettre un processus de continuer excuter une tche dfinie (p.ex. une phase de tests). Le but dun critre dentre est dempcher le dbut dune tche qui gnrerait une charge de travail plus importante (inutile et gaspille) que celle ncessaire pour supprimer le critre dentre dfaillant. [Gilb et Graham]

    partitionnement en classes dquivalence equivalence partitioning

    Technique de conception de bote noire selon laquelle les cas de tests sont conus pour excuter des reprsentants des partitions dquivalence. En principe, les cas de tests sont conus pour couvrir chaque partition au moins une fois.

  • Glossaire

    2012 TMMi Foundation. Parution 1.0 Page 217 sur 231

    erreur error

    Action humaine produisant un rsultat incorrect. [daprs IEEE 610]

    Estimation derreur error guessing

    Technique de conception de tests o lexprience du testeur est utilise pour anticiper les dfauts pouvant tre prsents dans le composant ou systme en cours de tests, comme rsultat des erreurs faites, et pour concevoir des tests spcifiques afin de les exposer.

    test exhaustif exhaustive testing

    Approche de test selon laquelle la suite de tests comprend toutes les combinaisons de valeurs dentre et de prconditions.

    critre de sortie exit criteria

    Ensemble des conditions gnriques et spcifiques, convenues avec les responsables, pour permettre de terminer officiellement un processus. Lobjectif dun critre de sortie est dviter quune tche ne soit considre comme acheve alors quil y a encore des parties de cette tche qui nont pas t termines. Les critres de sortie sont utiliss dans le test pour faire des comptes rendus et pour planifier larrt du test. [Daprs Gilb et Graham]

    rsultat attendu expected result

    Comportement prdit par les spcifications, ou par dautres sources, du composant ou systme, dans des conditions spcifies.

    Technique de conception de test base sur lexprience experienced-based test design technique

    Procdure pour obtenir et/ou slectionner des cas de test base sur l'exprience du testeur, sa connaissance et son intuition.

    test exploratoire exploratory testing

    Tests o le testeur contrle activement la conception des tests en mme temps que ces tests sont excuts, et utilise linformation obtenue pendant les tests pour concevoir de nouveaux et meilleurs tests [daprs Bach]

    dfaillance failure

    Dviation constate du composant ou systme de la fourniture, du service ou du rsultat attendu [daprs Fenton]; Incapacit dun systme ou dun composant dexcuter une fonction requise dans les limites spcifies. Une dfaillance peut tre produite quand un dfaut est rencontr [DO-178B]

    caractristique feature

    Attribut dun composant ou systme, spcifi ou suggr par la documentation dexigences (p.ex. contraintes de fiabilit, disponibilit ou de conception). [daprs IEEE 1008]

    revue formelle formal review

    Revue caractrise par des procdures et exigences documentes (p.ex. inspection)

    Analyse des Points de Fonction (FPA) Function Point Analysis (FPA)

    Mthode visant mesurer la taille des fonctionnalits dun systme dinformations. La mesure est dpendante de la technologie. Cette mesure peut tre utilise comme base pour la mesure de la productivit, lestimation des besoins en ressources et la gestion du projet.

    test fonctionnel functional testing

    Test bas sur une analyse des spcifications dune fonctionnalit dun composant ou systme. Voir aussi test bote noire.

    fonctionnalit functionality

    Capacit dun produit logiciel fournir des fonctions qui rpondent des besoins explicites ou implicites quand le logiciel est utilis sous des conditions spcifies [ISO 9126]

    objectif gnrique generic goal

    Composant de modle requis dcrivant les caractristiques qui doivent tre prsentes pour institutionnaliser les processus qui mettent en uvre un domaine de processus. [CMMI]

    pratique gnrique generic practice

    Composant de modle attendu considr comme important pour latteinte de lobjectif gnrique associ. Les pratiques gnriques associes un objectif gnrique dcrivent les activits supposes entraner latteinte de lobjectif gnrique et contribuent linstitutionnalisation des processus associs un domaine de processus. [CMMI]

    Mthode Goal-Question-Metric (GQM)

    Approche des mtriques logicielles qui utilise un modle trois niveaux: le niveau conceptuel (objectif), le niveau oprationnel (question) et le niveau

  • Glossaire

    2012 TMMi Foundation. Parution 1.0 Page 218 sur 231

    Goal Question Metric (GQM) quantitatif (mtrique).

    valuation heuristique heuristic evaluation

    Technique statique de test dutilisabilit pour dterminer la conformit dune interface utilisateur avec des principes dutilisabilit reconnus (les heuristiques ).

    hirarchie higher level management

    La ou les personnes qui dfinissent la politique et la direction globale pour le processus, mais qui ne sont pas charges de le surveiller et de le contrler au jour le jour. Elles appartiennent un niveau de management suprieur au niveau immdiatement responsable du processus et peuvent tre (mais pas ncessairement) des directeurs. [CMMI]

    traabilit horizontale horizontal traceability

    Suivi des exigences pour un niveau de test au travers des couches de la documentation de tests (p.ex. plan de tests, spcifications de conception de test, spcification de cas de test et spcification de procdure de test).

    analyse dimpact impact analysis

    Evaluation des modifications dans les niveaux de documentation de dveloppement, documentation de tests et composants, de faon implmenter la modification dune exigence spcifique donne.

    proposition damlioration improvement proposal

    Demande de modification qui traite dune proposition damlioration dun processus ou dune technologie, et qui inclut gnralement un nonc du problme, un plan pour implmenter lamlioration, et des critres quantitatifs de succs pour valuer les rsultats effectifs du dploiement dans le processus de changement conduit par le Groupe de Processus de Test.

    incident incident

    Tout vnement arrivant pendant les tests qui requiert une vrification [daprs IEEE 1008]

    enregistrement des incidents incident logging

    Enregistrer les dtails de nimporte quel incident dtect, par exemple, durant les tests.

    gestion dincident incident management

    Processus de reconnaissance, dinvestigation, daction et de traitement des incidents. Il implique lenregistrement des incidents, leur classification et lanalyse de leur impact [daprs IEEE 1044].

    outil de gestion dincident incident management tool

    Outil qui facilite lenregistrement et le suivi des statuts des incidents trouvs pendant les tests. Les outils de ce type ont souvent des fonctions de workflows pour tracer et contrler lallocation, la correction et le retest de ces incidents et fournir des fonctions de reporting. Voir aussi outil de gestion des anomalies.

    rapport dincident incident report

    Document rendant compte de tout vnement apparaissant pendant les tests et qui requiert une vrification. [daprs IEEE 829]

    indpendance du test independence of testing

    Sparation des responsabilits qui favorise latteinte des objectifs de test. [daprs DO-178b]

    indicateur indicator

    Mesure qui peut tre utilise pour estimer ou prdire une autre mesure. [ISO 14598]

    revue informelle informal review

    Revue qui nest pas base sur une procdure formelle (documente).

    entre input

    Variable (stocke dans un composant ou en dehors) qui est lue par un composant.

    inspection inspection

    Type de revue qui se base sur un examen visuel de documents pour dtecter des dfauts (p.ex. violation des standards de dveloppement et non-respect de documentation de haut niveau). Revues techniques les plus formelles et donc toujours bases sur des procdures documentes [daprs IEEE 610, IEEE 1028] voir aussi revue par les pairs.

    institutionnalisation institutionalization

    La manire tablie de travailler quune organisation suit de faon routinire et qui fait partie de la culture de lentreprise.

    test dadmission intake test

    Instance spciale des tests fumigatoires pour dcider si le composant ou systme est prt pour des tests dtaills et plus complets. Un test dadmission

  • Glossaire

    2012 TMMi Foundation. Parution 1.0 Page 219 sur 231

    est typiquement effectu au dbut dune phase dexcution de tests. Voir aussi test fumigatoire.

    intgration integration

    Processus de combiner des composants ou systmes en assemblages plus grands.

    test dintgration integration testing

    Tests effectus pour montrer des dfauts dans les interfaces et interactions de composants ou systmes intgrs. Voir aussi tests dintgration de composants, tests dintgration systme

    plan de test de niveau level test plan

    Plan de test qui traite typiquement dun niveau de test. Voir aussi plan de tests.

    maintenabilit maintainability

    Facilit avec laquelle un produit logiciel peut tre modifi pour en corriger les dfauts, modifi pour couvrir de nouvelles exigences, modifi pour rendre des maintenances ultrieures plus aises, ou adapt un changement denvironnement [ISO 9126]

    processus disciplin managed process

    Processus mis en uvre qui est planifi et excut en accord avec la politique dfinie. Emploie des personnes disposant des comptences et des ressources adquates pour produire des produits de sortie contrls. Implique les parties prenantes concernes. Est surveill, contrl et fait lobjet de revues. Est valu en termes de conformit sa description de processus. [CMMI]

    revue de gestion management review

    Evaluation systmatique des processus dacquisition, dapprovisionnement, de dveloppement, dopration ou de maintenance, effectu par ou pour le management qui contrle le suivi, dtermine le statut des plans et plannings, confirme les exigences et lallocation des systmes, ou value lefficacit et laptitude des approches de management atteindre un objectif [daprs IEEE 610, IEEE 1028]

    plan de test matre master test plan

    Plan de tests qui couvrent typiquement plusieurs niveaux de tests. Voir aussi plan de tests projet.

    niveau de maturit maturity level

    Degr d'amlioration des processus. Ce degr est valu travers un ensemble prdfini de domaines de processus dans lequel tous les objectifs de cet ensemble sont atteints. [CMMI]

    temps moyen entre les dfaillances (MTBF) Mean Time Between Failures (MTBF)

    Moyenne arithmtique du temps entre les dfaillances d'un systme. Le MTBF fait gnralement partie d'un modle de croissance de fiabilit qui suppose que le systme dfaillant est rpar immdiatement, dans le cadre d'un processus de rparation des dfauts. Voir galement modle de croissance de fiabilit.

    temps moyen de rparation (MTTR) Mean Time To Repair (MTTR)

    Moyenne arithmtique de temps pour qu'un systme se rtablisse d'une dfaillance quelconque. Cela comprend gnralement les tests pour s'assurer que le dfaut a t rsolu.

    mesure measure

    Nombre ou catgorie affecte un attribut dune entit la suite dune action de mesurage. [ISO 14598]

    mesurage measurement

    Processus daffecter un nombre ou une catgorie une entit pour dcrire un des attributs de cette entit. [ISO 14598]

    chelle de mesure measurement scale

    Echelle qui contraint le type danalyse de donnes qui peut tre effectu sur elle-mme. [ISO 14598]

    mtrique metric

    Echelle de mesure et mthode utilise pour la mesure. [ISO 14598]

    jalon milestone

    Point dans le temps dans un projet auquel des livrables dfinis (intermdiaires ou non) et des rsultats doivent tre prts.

    modrateur moderator

    Leader et principale personne responsable dune inspection ou autre processus de revue.

    moniteur monitor

    Outil logiciel ou lment matriel qui fonctionne simultanment avec le composant ou systme tester, et supervise, enregistre et/ou analyse le comportement de ce dernier. [daprs IEEE 610]

  • Glossaire

    2012 TMMi Foundation. Parution 1.0 Page 220 sur 231

    test non-fonctionnel non-functional testing

    Test des attributs dun composant ou systme qui ne sont pas lis aux fonctionnalits (p.ex. fiabilit, rendement, utilisabilit, maintenabilit et portabilit)

    techniques de conception de tests non-fonctionnels non-functional test design techniques

    Mthodes utilises pour concevoir ou slectionner des tests pour des tests non fonctionnels base sur lanalyse de la spcification dun composant ou systme sans faire rfrence se structure interne. Voir aussi conception de test boite noire.

    profil oprationnel operational profile

    Reprsentation dun ensemble distinct de tches excutes par un composant ou un systme, qui peut tre bas sur le comportement de lutilisateur en interaction avec le composant ou le systme, et leur probabilit doccurrence. Une tche sera plutt logique que physique et peut tre excute par plusieurs machines ou dans des segments de temps non-contigus.

    test du profil oprationnel operational profile testing

    Test statistique utilisant un modle du systme dopration (tests de courte dure) et leur probabilit dutilisation typique. [Musa]

    processus en optimisation optimizing process

    Processus quantitativement gr qui est amlior en fonction des causes communes de variation qui lui sont inhrentes. Un processus en optimisation se focalise sur lamlioration continue de sa performance via des innovations et des progrs incrmentaux. [CMMI]

    sortie output

    Variable (stocke dans un composant ou en dehors de celui-ci) qui est crite par un composant.

    analyse de Pareto Pareto analysis

    Technique statistique utilise dans le processus dcisionnel pour la slection d'un nombre limit de facteurs qui produisent un effet global significatif. En termes d'amlioration de la qualit, la grande majorit des problmes (80%) sont produits par peu de causes principales (20%).

    critre russite/chec pass/fail criteria

    Rgles de dcisions utilises pour dterminer si un lment de test (fonction) ou caractristique a russi ou chou un test [IEEE 829]

    revue par les pairs peer review

    Activit de discussions de groupes de pairs qui se focalise sur lobtention dun consensus sur une approche technique prendre. Une revue de paris est aussi connue comme une revue technique [Gilb and Graham, IEEE 1028] Une revue dun produit dactivit logiciel par les collgues de lauteur du produit dans le but didentifier des dfauts et des amliorations. Par exemple : une inspection, une revue technique et une relecture.

    indicateur de performance performance indicator

    Mtrique de haut niveau de rentabilit et/ou defficacit utilis pour guider et contrler le dveloppement progressif, p.ex. Pourcentage de Dtection des dfauts (DDP) pour les tests [CMMI]

    plan de test de phase phase test plan

    Plan de tests qui typiquement se rapporte un niveau de tests. Voir aussi plan de tests.

    portabilit portability

    Facilit avec laquelle un produit logiciel peut tre transfr dun environnement matriel ou logiciel vers un autre. [ISO 9126]

    post-condition post condition

    Conditions denvironnement et dtat qui doivent tre satisfaites aprs lexcution dun test ou dune procdure de tests.

    prcondition precondition

    Conditions denvironnement et dtat qui doivent tre remplies avant quun composant ou systme puisse tre excut avec une procdure de test ou cas de tests particuliers.

    prtest pretest

    Voir test dadmission.

    priorit priority

    Niveau dimportance (commercial) affect un lment (p.ex. dfaut).

    processus process

    Ensemble dactivits lies qui transforment des entres en sorties. [ISO 12207]

  • Glossaire

    2012 TMMi Foundation. Parution 1.0 Page 221 sur 231

    domaine de processus process area

    Groupe de pratiques apparentes dans un domaine qui, mises en uvre collectivement, satisfont un ensemble dobjectifs considrs comme importants pour apporter des amliorations ce domaine. [CMMI]

    valuation des processus process assessment

    Evaluation rigoureuse des processus logiciels d'une organisation par rapport un modle de rfrence. [D'aprs ISO 15504]

    capabilit de processus process capability

    Ensemble des rsultats attendus pouvant tre obtenus par lapplication dun processus. [CMMI]

    amlioration de processus process improvement

    Programme dactivits conu pour amliorer la performance et la maturit des processus de lorganisation et rsultats de ce programme. [CMMI]

    performance de processus process performance

    Mesure des rsultats rels obtenus en excutant un processus. [CMMI]

    rfrentiel de performance de processus process performance baseline

    Caractrisation documente des rsultats rels obtenus par lexcution dun processus, utilise pour comparer la performance relle dun processus sa performance attendue. [CMMI]

    objectifs de performance de processus process performance objectives

    Objectifs et exigences de qualit du produit, de qualit du service et de performance du processus. [CMMI]

    risque produit product risk

    Risque directement li lobjet de test. Voir aussi risque.

    projet project

    Un projet est un ensemble unique dactivits, contrles et coordonnes, avec des dates de dbut et de fin, effectues avec pour objectif la conformit des exigences spcifiques, incluant des contraintes de temps, de cot et de ressources. [ISO 9000]

    risque projet project risk

    Risque li au management et au contrle du projet (de test), par exemple, manque de ressources humaines, dates dchances fixes, exigences changeantes, etc. Voir aussi risque.

    plan de test projet project test plan

    Voir plan de test matre.

    assurance qualit quality assurance

    Partie de la gestion de la qualit qui fournissent lassurance que les exigences qualit seront atteintes [ISO 9000]

    attribut qualit quality attribute

    Trait ou caractristique qui affecte la qualit dun article. [IEEE 610]

    processus gr quantitativement quantitatively managed process

    Processus ajust qui est contrl grce des statistiques et dautres techniques quantitatives. Les attributs de qualit du produit, de qualit du service et de performance du processus sont mesurables et contrls tout au long du projet. [CMMI]

    test de rgression regression testing

    Test dun programme pralablement test, aprs une modification, pour sassurer que des dfauts nont pas t introduits ou dcouverts dans des parties non modifies du logiciel, comme suites des modifications effectues. Ces tests sont effectus quand le logiciel ou son environnement est modifi.

    note daccompagnement release note

    Document identifiant les articles de test, leur configuration, les tats courants et autres informations de livraison, fournies par le dveloppement aux tests, et peut-tre dautres dtenteurs denjeux, au dbut dune phase dexcution. [daprs IEEE 829]

    fiabilit reliability

    Capacit dun produit logiciel effectuer les fonctions requises dans les conditions spcifies pour des priodes de temps spcifies, ou pour un nombre spcifique doprations. [ISO 9126]

    modle de croissance de fiabilit reliability growth model

    Modle montrant laugmentation de la fiabilit dans le temps lors dun test continu dun composant ou systme, suite la suppression de dfauts qui provoquaient des dfaillances de fiabilit.

  • Glossaire

    2012 TMMi Foundation. Parution 1.0 Page 222 sur 231

    exigence requirement

    Condition ou capacit requise par un utilisateur pour rsoudre un problme ou atteindre un objectif qui doit tre tenu ou possd par un systme ou composant pour satisfaire un contrat, standard, spcification ou autre document impos formellement. [daprs IEEE 610]

    test bas sur les exigences requirements-based testing

    Approche des tests o les cas de tests sont conus sur base des objectifs de tests et conditions de tests dduites des exigences, p.ex. tests qui exercent des fonctions spcifiques ou examinent des attributs non-fonctionnels tels la fiabilit ou lutilisabilit.

    outil de gestion des exigences requirements management tool

    Outil qui supporte la consignation des exigences, des attributs des exigences (p.ex. priorit, connaissance responsable) et des annotations, et facilite la traabilit au travers des couches dexigences et de la gestion des modifications des exigences. Quelques outils de gestion des exigences fournissent aussi des facilits pour lanalyse statique, tel que la vrification de cohrence et la violation de rgles prdfinies de spcification des exigences.

    phase dexigences requirements phase

    Priode de temps dans le cycle de vie du logiciel pendant laquelle les exigences dun produit logiciel sont dfinies et documentes [IEEE 610]

    consquence result

    Consquences/rsultats de lexcution dun test. Cela inclut les sorties vers des crans, les modifications de donnes, rapports et messages dinformation envoys.

    critre de continuation resumption criteria

    Activits de test qui doivent tre rptes quand le test est repris aprs une suspension. [daprs IEEE 829]

    retest re-testing

    Test qui excute des cas de test qui ont t en chec la dernire fois quils furent excuts, de faon vrifier le succs des actions de correction.

    revue review

    Evaluation dun tat dun produit ou projet pour sassurer des dviations par rapport aux rsultats planifis et recommander des amliorations. Exemples : revue de gestion, revue informelle, revue technique, inspection et relecture technique [daprs IEEE 1028]

    rviseur reviewer

    Personne implique dans une revue qui identifiera et dcrira les anomalies dans le produit ou projet en revue. Les rviseurs peuvent tre choisis pour reprsenter divers points de vue ou rles dans le processus de revue.

    outil de revue review tool

    Outil qui fournit un support au processus de revue. Les caractristiques typiques incluent la planification de la revue et le support du suivi, de la communication, les revues collaboratives et un endroit o stocker et rapporter les mtriques.

    risque risk

    Facteur qui pourrait rsulter dans des consquences ngatives futures, gnralement exprim comme un impact et une probabilit.

    analyse de risque risk analysis

    Processus dvaluation des risques identifis pour estimer leur impact et leur probabilit doccurrence.

    test bas sur les risques risk-based testing

    Approche de test visant rduire le niveau des risques du produit et informer les parties prenantes de leurs statuts, et commenant dans les stades initiaux dun projet. Elle comprend lidentification des risques du produit et l'utilisation de niveaux de risque pour guider le processus de test.

    contrle de risque risk control

    Processus par lequel les dcisions sont atteintes et les mesures protectrices sont implmentes pour rduire les risques ou les maintenir dans des niveaux acceptables.

    identification des risques risk identification

    Processus didentification des risques en utilisant des techniques telles que le brainstorming, les checklist et les historiques de dfaillances.

    niveau de risque risk level

    Processus par lequel les dcisions sont atteintes et les mesures protectrices sont implmentes pour rduire les risques ou les maintenir dans des niveaux acceptables.

    gestion des risques risk management

    Application systmatique de procdures et pratiques aux tches didentification, danalyse, de priorisation et de contrle des risques.

  • Glossaire

    2012 TMMi Foundation. Parution 1.0 Page 223 sur 231

    rduction de risques risk mitigation

    Voir contrle de risque.

    type de risque risk type

    Ensemble de risques regroups par un ou plusieurs facteurs communs tels qu'un attribut de qualit, la cause, l'emplacement, ou l'effet potentiel du risque; Un ensemble spcifique de types de risque du produit est li au type des tests qui peuvent attnuer (contrler) ce type de risque. Par exemple, le risque que les interactions avec lutilisateur soient mal comprises peut tre rduit par des tests dutilisabilit.

    cause premire root cause

    Source de dfaut telle que si elle est retire, lapparition de ce type de dfaut est diminue ou supprime. [CMMI]

    analyse des causes racines root cause analysis

    Technique danalyse au but didentifier les causes premires de dfauts. En dirigeant les mesures correctives sur les causes premires, on espre que la probabilit de rapparition des dfauts soit minimise.

    rgle rule

    Une rgle est lnonc dun standard sur la manire dcrire ou de raliser une partie dun processus dingnierie ou dun processus mtier. [Gilb and Graham]

    chantillonnage sampling

    Pratique statistique ddie la slection dun chantillon dobservations individuelles non biaises ou alatoires au sein dune population pour en dduire une connaissance sur lensemble de la population concerne.

    scribe scribe

    Personne qui enregistre chaque anomalie mentionne et chaque suggestion pour lamlioration des processus pendant une revue, sur un formulaire de prise de note. Le scribe devrait sassurer que le formulaire de prise de notes est lisible et comprhensible.

    svrit severity

    Degr qu limpact dune anomalie sur le dveloppement ou lutilisation dun composant ou systme [daprs IEEE 610]

    simulateur simulator

    Appareil, programme ou systme utilis pendant les tests, qui se comporte ou fonctionne comme un systme donn la rception dentres contrles. [daprs IEEE 610, DO-178b] Voir aussi mulateur.

    tests fumigatoires smoke test

    Sous-ensemble de tous les cas de tests conus/prvus qui couvrent les fonctionnalits principales dun composant ou systme, pour sassurer que les fonctions les plus cruciales dun programme fonctionnent, sans se proccuper des dtails fins. Un build journalier et des tests fumigatoires font partie des meilleures pratique de lindustrie. Voir aussi test dadmission.

    cycle de vie logiciel software lifecycle

    priode temporelle qui commence lorsque un produit logiciel est conu et se termine lorsque le logiciel nest plus disponible lusage. Le cycle de vie logiciel inclut typiquement une phase de mrissement, une phase dexigences, une phase de conception, une phase dimplmentation, une phase de test, une phase dinstallation et livraison, une phase dopration et de maintenance, et parfois une phase de retrait. Note : ces phases peuvent se recouper ou tre excutes de faon itrative.

    objectif spcifique specific goal

    Composant de modle requis dcrivant les caractristiques uniques qui doivent tre prsentes pour satisfaire le domaine de processus. [CMMI]

    pratique spcifique specific practice

    Composant de modle attendu considr comme important pour atteindre lobjectif spcifique associ. Les pratiques spcifiques dcrivent les activits supposes entraner latteinte des objectifs spcifiques dun domaine de processus. [CMMI]

    spcification specification

    Document qui spcifie, idalement de faon complte, prcise et vrifiable, les exigences, conceptions, comportements et autres caractristiques dun composant ou systme, et souvent, les procdures pour dterminer si ces stipulations ont t satisfaites. [daprs IEEE 610]

    entre spcifie specified input

    Entre pour laquelle les spcifications prdisent un rsultat.

    reprsentation tage Structure de modle dans laquelle latteinte de buts dans un ensemble de

  • Glossaire

    2012 TMMi Foundation. Parution 1.0 Page 224 sur 231

    staged representation domaines de processus tablit un niveau de maturit; chaque niveau est la fondation pour les niveaux suivants. [CMMI]

    norme standard

    Ensemble d'exigences formelles et certaines fois obligatoires. Cet ensemble est dvelopp et utilis afin de prconiser des approches la faon de travailler ou pour fournir des directives (par exemple, les normes ISO/IEC, IEEE et les normes organisationnelles). [daprs CMMI]

    test de transition dtat state transition testing

    Technique de conception de tests bote noire dans laquelle les cas de tests sont conus pour excuter les transitions dtats valides et invalides.

    couverture des instructions statement coverage

    Pourcentage des instructions excutables qui ont t excutes par une suite de tests.

    test des instructions statement testing

    Technique de conception de tests bote blanche dans laquelle les cas de tests sont conus pour excuter des instructions.

    analyse statique static analysis

    Analyse des artefacts logiciels par exemple, exigence ou code, effectue sans lexcution de ces artefacts de dveloppement de logiciels. L'analyse statique est habituellement effectue au moyen d'un outil assistant dans cette tche.

    analyseur de code statique static code analyzer

    Outil qui excute une analyse de code statique. Loutil vrifie, dans le code source, la conformit de certaines proprits telles la conformit des standards de codage, les mtriques qualit ou les anomalies du flot de donnes.

    Test statique static testing

    Test dun composant ou systme au niveau spcification ou implmentation sans excution de ce logiciel (p.ex. : revues ou analyse statique du code).

    contrle statistique de processus statistical process control

    Analyse et mesures de performance dun processus bass sur des statistiques, qui visent identifier les causes communes et spciales de variation dans la performance dun processus et maintenir la performance du processus dans certaines limites. [CMMI]

    technique statistique statistical technique

    Technique danalyse employant des mthodes statistiques (par exemple contrle statistique de processus, intervalles de confiance et intervalles de prdiction). [CMMI]

    test statistique statistical testing

    Technique de conception des tests selon laquelle un modle de distribution statistique des entres est utilis pour construire des cas de tests reprsentatifs.

    processus gr statistiquement statistically managed process

    Processus gr au moyen dune technique base de statistiques dans laquelle le processus est analys, les causes spciales de variation sont identifies et la performance est contenue dans des limites bien dfinies. [CMMI]

    prise en compte de ltat status accounting

    Elment de gestion de configuration, consistant en lenregistrement et le reporting de linformation ncessaire pour grer une configuration de faon efficace. Cette information inclut une liste des identificateurs de configuration approuvs, le statut des changements de configuration proposs, et les tats dimplmentation des changements approuvs. [IEEE 610]

    bouchon stub

    Elaboration spciale ou squelettique dun composant logiciel, utilis pour dvelopper ou tester un composant qui lappelle ou en est dpendant. Cela remplace un composant appel. [daprs IEEE 610]

    sous-pratique sub-practice

    Composant de modle informatif qui fournit des explications sur la faon dinterprter et de mettre en uvre une pratique gnrique ou spcifique. Bien que leur formulation puisse paratre prescriptive, lobjectif rel des sous-pratiques est de proposer des ides pouvant tre utile lamlioration des processus. [CMMI]

    critre de suspension suspension criteria

    Critre utilis pour arrter (temporairement) tout ou partie des activits de tests sur les objets de tests [daprs IEEE 829]

    test de syntaxe syntax testing

    Technique de conception de tests bote noire dans laquelle les cas de tests sont conus sur base de la dfinition des domaines dentre et/ou de sortie.

  • Glossaire

    2012 TMMi Foundation. Parution 1.0 Page 225 sur 231

    systme system

    Collection de composants organiss pour accomplir une fonction ou un ensemble de fonctions spcifiques [IEEE 610]

    test dintgration systme system integration testing

    Test de lintgration des systmes et progiciels; test des interfaces vers des organisations externes (p.ex. EDI, Internet)

    test systme system testing

    Processus de test dun systme intgr pour vrifier quil rponde des exigences spcifiques [Hetzel]

    revue technique technical review

    Activit de discussions de groupes de pairs qui se focalise sur lobtention dun consensus sur une approche technique prendre. Une revue technique est aussi connue comme une revue par les pairs [Gilb and Graham, IEEE 1028] Voir aussi revue par les pairs.

    test test

    Un ensemble dun ou plusieurs cas de tests. [IEEE 829]

    approche du test test approach

    Elaboration de la stratgie de test pour un projet spcifique. Cela inclut typiquement les dcisions prises qui sont bases sur les objectifs du projet (de test) et les valuations de risques effectues, les points de dpart des processus de tests, les techniques de conception des tests appliquer, les critres de sortie et les types de tests excuter.

    base de tests test basis

    Tous les documents partir desquels les exigences dun composant ou systme peuvent tre dduites. La documentation sur laquelle les cas de tests sont bass. Si un document ne peut tre modifi que par le biais dune procdure de modification formelle, alors la base de tests est appele base de test gele. [daprs TMap]

    cas de t est test case

    Ensemble de valeurs dentre, de prconditions dexcution, de rsultats attendus et de post-conditions dexcution, dveloppes pour un objectif ou une condition de tests particulier, tel quexcuter un chemin particulier dun programme ou vrifier le respect dune exigence spcifique [daprs IEEE 610]

    spcification de cas de test test case specification

    Document spcifiant un ensemble de cas de tests (objectifs, entres, actions de tests, rsultats attendus et prconditions dexcution) pour un article de tests [daprs IEEE 829]

    charte de test test charter

    Expression dobjectifs de test et ventuellement dides de test au sujet de la faon de tester. Les chartes de test sont utilises en test exploratoire. Voir aussi test exploratoire.

    clture de test test closure

    Durant la phase de clture des tests dun processus de test, les donnes sont collectes des activits termines pour consolider les expriences, les articles de test, les faits et chiffres. La phase de clture des tests consiste en la finalisation et larchivage des articles de test, lvaluation des processus de tests, incluant la prparation des rapports dvaluation des tests. Voir aussi processus de tests.

    comparateur de tests test comparator

    Outil de tests utilis pour effectuer des comparaisons de tests automatises.

    condition de test test condition

    Article ou vnement dun composant ou systme qui pourrait tre vrifi par un ou plusieurs cas de tests; p.ex. une fonction, une transaction, un attribut qualit ou un lment de structure.

    contrle de test test control

    Activit de gestion des tests qui gre le dveloppement et lapplication dun ensemble dactions correctives pour remettre un projet de tests sur les rails quand les mtriques de suivi indiquent une dviation par rapport aux plans. Voir aussi gestion des tests.

    cycle de test test cycle

    Excution des processus de test sur une version unique et identifiable dun objet de test.

    donnes de test test data

    Donne qui existe (p.ex. dans une base de donnes) avant quun test ne soit excut, et qui affecte ou est affecte par le composant ou systme en test.

    Outil de prparation des Type doutil qui permet, partir de bases de donnes existantes, de

  • Glossaire

    2012 TMMi Foundation. Parution 1.0 Page 226 sur 231

    donnes de test test data preparation tool

    slectionner, crer, gnrer, manipuler et diter des donnes pour leur utilisation pendant les tests.

    conception de tests test design

    (1) Voir spcification de conception de test. (2) Processus consistant transformer des objectifs de test gnraux en conditions de test tangibles et en cas de test.

    spcification de conception de tests test design specification

    Document spcifiant les conditions de tests (lments de couverture) pour un article de test, lapproche dtaille du test et lidentification des cas de tests de haut niveau associs [daprs IEEE 829]

    conception de cas de test test design technique

    Mthode utilise pour driver ou slectionner des cas de tests.

    outil de conception de tests test design tool

    Outil qui supporte lactivit de conception de test en gnrant les valeurs dentres des tests partir de spcifications qui peuvent tre prsentes dans un rpertoire doutil CASE, p.ex. outil de gestion des exigences, ou de conditions spcifiques de tests contenues dans loutil lui-mme.

    environnement de test test environment

    Environnement contenant du matriel, des instruments, des simulateurs, des outils logiciels et dautres lments de support ncessaires lexcution dun test [daprs IEEE 610]

    estimation des tests test estimation

    Approximation calcule dun rsultat li divers aspects du test (par ex. effort accompli, date de compltion, cots induits, nombre de cas de test, etc.) qui est utilisable malgr des donnes dentre incompltes, incertaines ou altres.

    rapport dvaluation des tests test evaluation report

    Document produit la fin du processus de tests et rcapitulant les activits et les rsultats de tests. Il contient aussi une valuation du processus de test et des leons apprises.

    excution des tests test execution

    Processus consistant excuter un test sur un composant ou systme en test, en produisant des rsultats actuels.

    phase dexcution des tests test execution phase

    Priode de temps dans le cycle de dveloppement logiciel pendant laquelle les composants dun produit logiciel sont excuts, et le produit logiciel est valu pour dterminer si les exigences ont t satisfaites ou non. [IEEE 610]

    calendrier dexcution des tests test execution schedule

    Schma dexcution des procdures de test. Les procdures de tests sont incluses dans le calendrier dexcution dans leur contexte et dans lordre o elles doivent tre excutes.

    outil dexcution des tests test execution tool

    Type doutil de test qui est capable dexcuter dautres logiciels en utilisant un script de test automatis, p.ex. capture/playback. [Fewster et Graham]

    harnais de tests test harness

    Environnement comprenant des bouchons et des pilotes, ncessaire pour excuter un test.

    implmentation des tests test implementation

    Processus de dveloppement et priorisation des procdures de test, de cration de donnes de test et, optionnellement, de prparation des harnais de test et dcriture des scripts de test automatiss.

    plan damlioration des tests test improvement plan

    Plan pour raliser des objectifs organisationnels d'amlioration du processus de test. Il est bas sur une comprhension minutieuse des forces et faiblesses actuelles des tests que l'organisation traite ainsi que sur les atouts du processus de test. [d'aprs CMMI]

    infrastructure de test test infrastructure

    Les objets organisationnels ncessaires pour effectuer un test, consistant en lenvironnement de test, des outils de tests, des procdures et un environnement bureautique.

    entres de test test input

    Donnes reues dune source externe par lobjet de test pendant son excution. Les sources externes peuvent tre matrielles, logicielles ou humaines.

    article de test test item

    Elment individuel devant tre test. Il y a gnralement un objet de test et plusieurs articles de test. Voir aussi objet de test.

    niveau de tests Groupe dactivits de tests qui sont organises et gres ensemble. Un niveau

  • Glossaire

    2012 TMMi Foundation. Parution 1.0 Page 227 sur 231

    test level de tests est li aux responsabilits dans un projet. Les exemples de niveaux de tests sont les tests de composants, les tests dintgration, les tests systme et dacceptation [daprs TMap]

    registre de test test log

    Enregistrement chronologique des dtails pertinents sur lexcution des tests [IEEE 829]

    inscription des tests test logging

    Processus denregistrement, sur un registre de test, des informations sur les tests excuts.

    test manager test manager

    Personne responsable du test et de lvaluation dun article de test. La personne, qui dirige, contrle, administre les plans et contrle lvaluation dun article de test.

    gestion des tests test management

    Planification, estimation, suivi et contrle des activits de tests, typiquement effectu par un test manager.

    outil de gestion des tests test management tool

    Outil qui fournit un support la gestion et contrle une partie dun processus de test. Il a souvent de nombreuses fonctionnalits, tel que la gestion des artefacts de test, la planification des tests, lenregistrement des rsultats, le suivi de lavancement, la gestion des incidents et la publication de rapports de test.

    Modle de Maturit du Test (TMM) Test Maturity Model (TMM)

    Structure tage cinq niveaux pour lamlioration des processus de tests, li au Modle de Maturit de la Capabilit (CMM) qui dcrit les lments cls dun processus de tests efficace.

    Modle de Maturit du Test intgr (TMMi) Test Maturity Model Integrated (TMMi)

    Structure tage cinq niveaux pour lamlioration des processus de test, lie lIntgration de Modle de Maturit de la Capabilit (CMMI), qui dcrit les lments cls d'un processus de test effectif.

    supervision des tests test monitoring

    Tche de gestion des tests qui gre les activits lies la vrification priodique des statuts des projets de tests. Des rapports sont prpars qui comparent les rsultats obtenus et ceux attendus. Voir aussi gestion des tests.

    objet de test test object

    Composant ou systme qui doit tre test. Voir aussi article de tests.

    objectif de test test objective

    Raison ou but pour la conception et lexcution dun test.

    indicateur de performance des tests test performance indicator

    Mesure, en gnral de haut niveau, indiquant dans quelle mesure une valeur cible ou un critre est atteint. Souvent li des objectifs damlioration des processus de tests (voir aussi pourcentage de dtection des fautes)

    phase de test test phase

    Ensemble distinct dactivits de tests rassembles en une phase grable dun projet, p.ex. lexcution dactivits dun niveau de tests [daprs Gerrard]

    plan de tests test plan

    Document dcrivant ltendue, lapproche, les ressources et le planning des activits de test prvues. Il identifie entre autres les lments et caractristiques tester, qui fera chaque tche, le degr dindpendance des testeurs, lenvironnement de test, les techniques de conception des tests et les techniques de mesure des tests utiliser, et tout risque ncessitant des plans de contingence. Cest un document reprenant les processus de planification des tests. [daprs IEEE 829]

    planification des tests test planning

    Activit dtablir ou mettre jour un plan de tests.

    politique de tests test policy

    Document de haut niveau dcrivant les principes, approches et objectifs majeurs de lorganisation ayant trait aux tests.

    Analyse par Point de Test (TPA) Test Point Analysis (TPA)

    Mthode destimation des tests base sur une formule reposant sur les points de fonction. [TMap]

  • Glossaire

    2012 TMMi Foundation. Parution 1.0 Page 228 sur 231

    spcification de procdure de test test procedure specification

    Document spcifiant la squence dactions pour lexcution dun test. Aussi connu sous le terme script de test ou script de tests manuel. [daprs IEEE 829]

    processus de test test process

    Les processus de tests fondamentaux comprennent la planification, la spcification, lexcution, lenregistrement et la vrification de compltude. [BS 7925/2]

    bibliothque des actifs de processus de test test process asset library

    Un ensemble dactifs de test qui peuvent tre utiliss par une organisation ou un projet. [daprs CMMI]

    Groupe Processus Test (TPG) Test Process Group (TPG)

    Entit permanente ou virtuelle de lorganisation responsable des activs lies aux processus de test tel que la dfinition de processus, lanalyse et lvaluation, la planification et le suivi des actions. Il est responsable de lensemble du processus de test tel que dfini dans la politique de test de lorganisation.

    amlioration du processus de test (TPI) Test Process Improvement (TPI)

    Cadre continu pour lamlioration des processus de test qui dcrit des lments cl dun processus de tests efficace, spcifiquement cibl vers les tests systme et les tests dacceptation.

    Rapport davancement du test test progress report

    Document rsumant les activits et rsultats de test, produit intervalles rguliers, pour documenter les activits de test par rapport une base de rfrence (tel que le plan de test original) et pour communiquer les risques et alternatives ncessitant une dcision du management.

    excution de tests test run

    Excution dun test sur une version spcifique dun objet de tests.

    plan de test test schedule

    Liste dactivits, tches ou vnements du processus de test, mentionnant leur dates et/ou heures de dbut et fin et interdpendances.

    script de tests test script

    Communment utilis pour se rfrer une spcification de procdure de tests, spcialement une procdure automatise.

    session de test test session

    Laps de temps continu pass excuter des tests. En test exploratoire, chaque session de test se focalise sur un agrment, mais les testeurs peuvent aussi explorer de nouvelles opportunits ou problmes durant une session. Le testeur cre et excute des cas de test en cours dexcution et enregistre leurs progrs. Voir aussi test exploratoire.

    spcification de tests test specification

    Document qui consiste en une spcification de conception de tests, des spcifications de cas de tests et/ou des spcifications de procdures de tests.

    stratgie de test test strategy

    Document de haut niveau dfinissant, pour un programme, les niveaux de tests excuter et les tests dans chacun de ces niveaux (pour un ou plusieurs projets).

    suite de tests test suite

    Ensemble de plusieurs cas de tests pour un composant ou systme sous test, o les post-conditions dun test sont souvent utilises comme prconditions du test suivant.

    rapport de synthse de test test summary report

    Document synthtisant les activits et rsultats de tests. Il contient aussi une valuation des articles de tests correspondants par rapport aux critres de sortie. [daprs IEEE 829]

    outil de test test tool

    Produit logiciel qui supporte une ou plusieurs activits de tests, tel la planification et le contrle, la spcification, la conception des fichiers et donnes initiaux, lexcution des tests et lanalyse des tests/ [TMap]

    type de test test type

    Groupe dactivits de test dont lobjectif est de tester un composant ou systme sur un ou plusieurs attributs lis entre eux. Un type de tests est focalis sur un objectif de test spcifique p.ex. test de fiabilit, dutilisabilit, de rgression, etc. et peut couvrir un ou plusieurs niveaux de tests et une ou plusieurs phases de tests. [daprs TMap]

  • Glossaire

    2012 TMMi Foundation. Parution 1.0 Page 229 sur 231

    revue de testabilit testability review

    Vrification dtaille de la base de test pour dterminer si le niveau de qualit de la base de test est adquat pour agir comme document dentre pour le processus de tests. [daprs TMap]

    testeur tester

    Professionnel technique qui est impliqu dans les tests dun composant ou systme.

    test testing

    Processus consistant en toutes les activits du cycle de vie, statiques et dynamiques, concernant la planification et lvaluation de produits logiciels et produits lis pour dterminer sils satisfont aux exigences, pour dmontrer quils sont aptes aux objectifs et dtecter des anomalies.

    artefact de test testware

    Produit pendant le processus de test afin de planifier, concevoir et excuter les tests, tel que la documentation, les scripts, les entres, les rsultats attendus, les procdures de mise en place et de nettoyage, les fichiers, bases de donnes, environnements et tout logiciel ou utilitaires supplmentaire utilis dans les tests. [daprs Fewster & Graham]

    traabilit traceability

    Capacit identifier les lments lis dune documentation et dun logiciel, tel que les exigences et les tests y associes. Voir aussi traabilit horizontale, traabilit verticale.

    degr de fiabilit trustworthiness

    Probabilit quil ny ait aucun dfaut dans le logiciel susceptible de causer un incident catastrophique dans le systme. [Burnstein]

    test unitaire unit test

    Voir test de composant.

    utilisabilit usability

    Capacit du logiciel tre compris, appris, utilis et attrayant par/pour lutilisateur quand il est utilis dans des conditions spcifies [ISO 9126]

    test des cas dutilisation use case testing

    Technique de conception de tests bote noire dans laquelle les cas de tests sont conus pour excuter des scnarios de cas dutilisation.

    modle en V V-model

    Structure dcrivant les activits du cycle de dveloppement logiciel, depuis la spcification des exigences jusqu la maintenance. Le modle en V illustre comment les activits de tests peuvent tre intgres dans chaque phase du cycle de dveloppement.

    validation validation

    Confirmation par lexamen et la fourniture de preuves objectives que les exigences, pour un usage ou une application voulue, ont t remplies. [ISO 9000]

    vrification verification

    Confirmation par lexamen et la fourniture de preuves objectives que des exigences spcifies ont t remplies. [ISO 9000]

    traabilit verticale vertical traceability

    Traabilit des exigences au travers des couches de documentation de dveloppement vers les composants.

    relecture technique walkthrough

    Prsentation pas pas par lauteur dun document de faon runir des informations et tablir une comprhension commune de son contenu [Freedman et Weinberg, IEEE 1028] Voir aussi revue par les pairs.

    technique de conception de tests bote blanche white-box test design technique

    Procdures documentes utilises pour driver et slectionner des cas de tests bass sur une analyse de la structure interne dun composant ou dun systme.

    test bote blanche white-box testing

    Tests bass sur une analyse de la structure interne du composant ou du systme.

    delphi large bande Wide Band Delphi

    Technique destimation des tests base sur des experts qui a pour objectif de fournir une estimation correcte en utilisant la connaissance collectives des membres de lquipe.

  • Rfrences

    2012 TMMi Foundation. Parution 1.0 Page 230 sur 231

    Rfrences

    [Bach] J. Bach (2004), Exploratory Testing, in: E. van Veenendaal, The Testing Practitioner 2nd edition, UTN Publishing

    [Beizer] B. Beizer (1990), Software Testing Techniques, van Nostrand Reinhold

    [Boehm} B.W. Boehm (1981), Software Engineering Economics, Prentice Hall

    [BS7925-2] BS7925-2 (1998), Standard for Software Component Testing, British Standards Institution

    [Burnstein]. I. Burnstein (2002), Practical Software Testing, Springer Professional Computing

    [CMM] M. Paulk, C. Weber, B. Curtis and M.B. Chrissis (1995), The Capability Maturity Model, Guidelines for Improving the Software Process, Addison-Wesley

    [CMMI] M.B. Chrissis, M. Konrad and S. Shrum (2007), CMMI Second Edition, Guidelines for Process Integration and Product Improvement, Addison Wesley

    [DO-178b] DO-178 (1992). Software Considerations in Airborne Systems and Equipment Certification, Requirements and Technical Concepts for Aviation (RTCA SC167),

    [Fenton] N. Fenton (1991), Software Metrics: a Rigorous Approach, Chapman & Hall

    [Fewster and Graham] M. Fewster and D. Graham (1999), Software Test Automation, Effective use of test execution tools, Addison-Wesley

    [Freedman and Weinberg] D. Freedman and G. Weinberg (1990), Walkthroughs, Inspections, and Technical Reviews, Dorset House Publishing

    [Gelperin and Hetzel] D. Gelperin and B. Hetzel (1998), The Growth of Software Testing, in: CACM, Vol. 31, No. 6, 1988, pp. 687-695

    [Gerrard] P. Gerrard and N. Thompson (2002), Risk-Based E-Business Testing, Artech House Publishers

    [Gilb] T. Gilb (1988), Principles of Software Engineering Management, Addison-Wesley

    [Gilb and Graham] T. Gilb and D. Graham (1993), Software Inspection, Addison-Wesley

    [Graham] D. Graham, E. van Veenendaal, I. Evans and R. Black (2007), Foundations of Software Testing, Thomson Learning

    [Grochtmann] M. Grochtmann (1994), Test Case Design Using Classification Trees, in: Conference Proceedings STAR 1994.

    [Hauser and Clausing] J.R. Hausing and D. Clausing (1988), The House of Quality, in: Harvard Business Review, Vol. 66, Nr. 3, 1988

    [Hetzel] W. Hetzel (1988), The complete guide to software testing 2nd edition, QED Information Sciences

    [Hollenbach and Frakes] C. Hollenback and W. Frakes (1996), Software process re-use in an industrial setting, in: Proceedings Fourth International Conference on Software-Reuse, Orlando, April 1998, pp. 22-30

    [IEEE 610] IEEE 610.12 (1990), Standard Glossary for Software Engineering Terminology, IEEE Standards Board

    [IEEE 829] IEEE 829 (1998), Standard for Software Test Documentation, IEEE Standards Board

    [IEEE 1008] IEEE 1008 (1993), Standard for Software Unit Testing, IEEE Standards Board

    [IEEE 1028] IEEE 1028 (1997), Standard for Software Reviews and Audits, IEEE Standards Board

    [IEEE 1044] IEEE 1044 (1993), Standard Classification for Software Anomalies, IEEE Standards Board

    [ISO 9000] ISO 9000 (2005), Quality Management Systems Fundamentals and Vocabulary, International Organization of Standardization

  • Rfrences

    2012 TMMi Foundation. Parution 1.0 Page 231 sur 231

    [ISO 9126] ISO/IEC 9126-1 (2001). Software Engineering Software Product Quality Part 1: Quality characteristics and sub-characteristics, International Organization of Standardization

    [ISO 12207] ISO/IEC 12207 (1995), Information Technology Software Lifecycle Processes, International Organization of Standardization

    [ISO 14598] ISO/IEC 14598-1 (1999), Information Technology Software Product Evaluation - Part 1: General Overview, International Organization of Standardization

    [ISO 155504] ISO 15504-9 (1998), Information Technology Software Process Assessment Part 9: Vocabulary, International Organization of Standardization

    [ISTQB] ISTQB E. van Veenendaal (ed.) (2010), Standard Glossary of Terms Used in Software Testing, V2.1, International Software Testing Qualifications Board

    [Koomen and Pol] T. Koomen and M. Pol (1999), Test Process Improvement, Addison-Wesley

    [Musa] J. Musa (1998), Software Reliability Engineering Testing, McGraw-Hill Education

    [Musa and Ackerman] J. Musa and A. Ackerman (1989), Quantifying software validation: when to stop-testing, in: IEEE Software, Vol. 6, No. 3, May 1989

    [Pinster et al] I. Pinkster, B. van der Burgt, D. Janssen and E. van Veenendaal (2004), Successful Test Management, Springer

    [Sogeti] Sogeti (2009), TPI-Next - Business Driven Test Process Improvement, UTN Publishing

    [TMap] M. Pol, R. Teunissen, E. van Veenendaal (2002), Software Testing, A guide to the TMap Approach, Addison Wesley.

    [Trienekens and Van Veenendaal] J. Trienekens and E. van Veenendaal (1997), Software Quality from a Business Perspective, Kluwer Bedrijfsinformatie

    [Veenendaal] E. van Veenendaal (2004), The Testing Practitioner 2nd edition, UTN Publishing

    [Veenendaal en Cannegieter] E. van Veenendaal and J.J. Cannegieter (2011), The little TMMi Objectives-Driven Test Process Improvement, UTN Publsihing

    [Van Solingen and Berghout] R. van Solingen and E. Berghout (1999), The Goal/Question/Metric method, McGrawHill

Recommended

View more >