Christophe Guittet – ALL4TEC Génie Logiciel "Modélisation du comportement des systèmes embarqués par un modèle d'usage issu des chaînes de Markov" Journée

Christophe Guittet – ALL4TEC Génie Logiciel

"Modélisation du comportement des systèmes embarqués par un modèle

d'usage issu des chaînes de Markov"

Journée du 2 février 2006

ENST – PARIS


PRESENTATION D’ALL4TEC


PRESENTATION D’ALL4TEC : UN INDUSTRIEL DU DÉVELOPPEMENT LOGICIEL

Création en 1998 autour de 2 métiers : le forfait et le conseil en amélioration de processus.

Présent à PARIS, LAVAL et TOULOUSE

1ere société européenne a être évaluée CMM4 en 2000

Création en 2004 d’ALL4TEC Génie Logiciel (R&D et commercialisation produit MATELO)

Création du pôle de compétence « sûreté de fonctionnement » au travers de la filiale MATHIX.

40 ingénieurs et consultants

Plus de 100 hommes.an d'expérience en savoir faire logiciel


PRESENTATION D’ALL4TEC : OFFRES ET ACTIVITES

Ingénierie au forfait Développement de systèmes embarqués

Activités d'expertise Diminution du temps de test et Suppression des défauts critiques Retro engineering (documentation, industrialisation de logiciel, …) Amélioration continue des processus (CMMI, SPICE, Cleanroom) Amélioration de la productivité logicielle et maîtrise des coûts

logiciels Etudes de sûreté de fonctionnement (avec Mathix)

Activités de R&D au travers d’ALL4TEC Génie Logiciel Projet européen AIRNET du 6éme PCRD (système anti-collision) Produit MATELO issu d’un projet du 5ème PCRD Commercialisation de MATELO


UN LARGE PANEL DE CLIENTS

TELECOM ALCATEL ABS BOUYGUES TELECOM FRANCE TELECOM CELLon NEC PHILIPS ST MICROELECTRONICS WAVECOM

AEROSPATIAL - DEFENSE AdP AIRBUS Industries ALENIA SPAZIO ARTUS CNES EADS Space Transportation EUROCONTROL EUROCOPTER GIAT INDUSTRIES ROCKWELL COLLINS France SAGEM DEFENSE THALES Communications - ATM -

Optronique - Underwater System

AUTOMOBILE Groupe DELPHI MAGNETI MARELLI PSA RENAULT SAGEM SIEMENS-VDO VALEO

AUTRES EDF IRSN RATP

DE DIETRICH SNCF BOMBARDIER SCHNEIDER


Introduction

Notre approche du test


Introduction : Notre approche du test

CONSTAT :

la maîtrise de la phase de test d'un système est essentielle car le coût de cette phase peut atteindre 50% du temps total

Un système livré avec des défauts résiduels engendre des coûts élevés

Un bug détecté en spécification coûte 1000 fois moins cher qu’un bug détecté en exploitation

ALL4TEC a basé sa stratégie de validation sur des méthodologies reconnues :

Le CMMI (Capability Maturity Model Integrated) : amélioration continue des processus

Cleanroom : approche incrémentale basée sur le test statistique d'usage (SUT)

Le Test à Géométrie Variable (méthode TGV) préconisée par Mathix, notre filiale experte en Sûreté de Fonctionnement


MaTeLo : un projet ambitieux

Pourquoi MaTelo :

A l’origine, l’idée était de mesurer la fiabilité des systèmes qu’ALL4TEC livrait à ses clients, et de donner un critère d’arrêt des tests.

Depuis 1998, ALL4tec exploite la pertinence des chaînes de Markov dans ses modèles de spécification de tests.

L’intérêt des industriels étant très fort, un consortium est né pour faire un projet ambitieux, à envergure Industrielle et Internationale.

Le consortium :

nait en 2002 pour une commercialisation de Matelo depuis 2004

Comprend : Magneti Marelli, Nec, Philips, Aliena Spazio, IAI, Lucent Technologie, l’Union Européenne, le ministère de l’industrie française et plusieurs universités européennes (IRISA, Lund en Suède, Erlangen en Allemagne).

Budget de 5,5 milions d’euros


Le nouveau moteur de la validation des systèmes

Trophée de l’innovation 2005 au salon


MATELO dans le cycle de développement

MATELO teste en « boîte noire » et vérifie la conformité avec la spécification

Expression des besoins

Spécificationfonctionnelle

Conception du système

Conceptiondes composants

Validationdes besoins

Validationfonctionnelle

Test d’intégration

Implémentation

Test descomposants

Editeur Matelo

Testeur Matelo

Modèle d’usag

e

Plan de test

Analyse de la campagne

de test


MATELO : Modélisation et génération de tests

MATELO comprend 2 modules principaux :

1 éditeur de modèles d’usage (Matelo Editor)

Qui représente les comportements du système

1 générateur de cas de tests (Matelo Testor)

Qui génère automatiquement l’ensemble des scénarios de test nécessaire à la validation de vos systèmes

Qui analyse la campagne de test (couverture fonctionnelle, MTTF)


L’EDITEUR DE MODELES D’USAGE MATELO


L’EDITEUR MATELO :écriture du modèle d’usage

Capture en entrée les éléments de spécification UML (XMI), SDL ou autre forme de spécification

Réalisation du modèle : Création des états stables du système

Définition de toutes les actions possibles dans un état donné, puis on réalise le modèle

Intégration des données d’entrée et des résultats attendus

Pose des fréquences d’usage

Génération des cas de test « à blanc » pour valider le modèle

Sauvegarde le modèle en XML pour en faciliter l’exploitation

Métrique : 0,5 à 3 jours par KLOC pour la réalisation du modèle d’usage.


MATELO EDITOR : l’IHM


LE GENERATEUR DE CAS DE TESTS MATELO


Efficacité des cas de test

20 objectifs de test atteints pour 100 pas de test effectués

Start

Target

Close

Approche combinatoire (déterministe)Start

Close 80 objectifs de test atteints pour

100 pas de test effectués

Approche prédictive en largeur (non déterministe)


Stratégie de test

Pour valider un logiciel, il est efficace d’alterner des phases de focalisation (en profondeur ou sur la couverture), et des approches en largeur, qui explorent les différentes combinaisons d’enchaînement des fonctions

Approche en profondeur

Start

CloseClose

Approche de couverture

StartStart

Close

Approche en largeur


MATELO TESTOR : Génération de tests

Matelo génère automatiquement l’ensemble des scénarios de test nécessaire à la validation de vos systèmes :

Tests de début de validation Tests d’usage Tests de couvertureTests aux limites

Matelo permet une exécution des tests manuelle (HTML) ou automatique via les automates du marché (type TestStand, TTCN3 ou autres via l’export XML)

Matelo génère une analyse de la campagne de test (couverture fonctionnelle, MTTF)


MATELO TESTOR :Cas de test HTML


MATELO TESTOR Qualimétrie de la campagne de test

Enregistrement des résultats de test

Mise en place des critères d’arrêt des tests

Analyse de la campagne de test


Mesure de performance (Retour d’expérience sur une base de

60 projets de 2 à 200 KLOC)

segment nb lines

Nb of defects found with

Matelo

Total project effort in days, all

included

Testing effort in Day using

Matelo

Deffects found 6 months after

validation

Remaining defect rate in

ppmNb jour pour 1000 LOC

ASD 7923 22 144 24 1 126 3

ASD 4156 7 101 29 0 0 7

ASD 14400 5 277 15 1 69 1

ASD 2100 10 240 10 0 0 5

Automotive 9500 15 400 85 2 211 9

Automotive 4900 6 327 15 0 0 3

Automotive 25700 325 18 700Automotive 4000 3 0 0 1

Automotive 37000 78 847 175 0 0 5

Automotive 44690 33 462 123 0 0 3

Automotive 26426 45 12 454industriel 10000 6 500 15 0 0 2

industriel 20161 123 500 120 6 298 6

industriel 8900 51 351 54 3 337 6

scientifique 15000 133 286 59 5 333 4

scientifique 14000 110 430 80 5 357 6

scientifique 31000 400 620 136 7 226 4

telecom 70000 336 1320 224 2 29 3

telecom 200000 20 10000 40 0

telecom 5000 22 250 5 1

Moyenne 112 ppm 4pondérée

En moyenne, la validation avec MATELO ne nécessite que 4 jours par KLOC avec une fiabilité de 110 défauts résiduels par million de loc :

1,5 jour de modélisation Matelo / 1,5 jour d’exécution / 1 jour de correction


SYNTHESE

CARACTERISTIQUES - AVANTAGES

Travail croisé entre les spécificateurs et les valideurs

Dès la spécification, 5 à 20 défauts, par futures Kloc, sont trouvés

Matelo atteint plus d’objectifs de tests qu’une méthode traditionnelle

Génération de tests non intuitifs et très variables

Automatisation de l’exécution des Tests

Matelo fournit des métriques : critère d’arrêt des tests, MTTF

Campagne de tests facile à regénérer

+ de spécifications : 0,5 à 3 jours par KLOC pour la réalisation du modèle d’usage Matelo .

Génération de cas de test optimisés

Création d’un reporting

Modèle facile à maintenir


CONCLUSION : LES BENEFICES

Des résultats très significatifs et rapides :

Matelo permet d’économiser jusqu’à 40 % du temps de la validation et 20 % du projet total.

Le ROI moyen chez nos clients est de 6 mois


OFFRE COMMERCIALE

Validation d’un projet au forfait

Un pack licence, formation, accompagnement

Et en complément, l’offre de la première société de service évaluée CMM4 en Europe…

Contact Technique : [email protected]

Contact commercial : [email protected] - 06 08 06 48 98

Documents

Christophe Guittet – ALL4TEC Génie Logiciel "Modélisation du comportement des systèmes embarqués par un modèle d'usage issu des chaînes de Markov" Journée