JFTL2015 - Comment tester les performances ressenties par l’utilisateur d’une application mobile ?

1Date • Titre de la présentation

COMMENT VÉRIFIER LES PERFORMANCES RESSENTIES PAR

L’UTILISATEUR D’UNE APPLICATION MOBILE

JANV 2015

Cédric GAUTIER

PERFORMANCES RESSENTIES PAR L’UTILISATEUR D’UNE APPLICATION

MOBILE

SOMMAIRE

• Contexte • Objectifs• Problématique• Démarche • Mise en œuvre ( Réalisé et à venir)• Résultats• Bénéfices


MOBILE

Suite à la refonte de l’application PagesJaunes pour iPhone, nous avons constaté des problèmes d’accès à nos services en interne et en externe par les stores

La supervision serveur n’ayant rien montré de significatif, nous avons décidé de mener un audit de notre application iPhone sur la performance applicative sur : - Différents réseaux (2G/3G/Wifi)- Différentes combinaisons mobiles (terminal/OS/browser)

La problématique de la performance utilisateur étant globale, il faut étendre cet audit à toutes les applications mobiles.

Contexte


MOBILEObjectifs

• Réaliser un benchmark comparatif entre la concurrence, notre application refondue et l’ancienne version iPhone

• KPI : Mettre au point des KPI reproductibles sur nos futures versions• Mesurer les performances (côté terminal) des nouvelles versions

iPhone

• Comparer ces mesures avec les anciennes versions iPhoneIdentification d’amélioration ou de dégradation de

performance

• Porter ce protocole de KPI sur les autres plateformes mobiles

• Automatiser ces mesures en Intégration Continue

• Prendre en compte ces mesures automatisées dans le socle de Continuous Delivery


MOBILERésultats

Exemples de graphiques comparatifs de données mesurées : -Sur une même version-Sur une la vie d’un produit

PJ 5

.6.0

.7

PJ 6

.2

PJ 6

.3

PJ 6

.4.5

PJ 6

.5

PJ 6

.6

PJ 6

.7

PJ 6

.8

nov-13

mars-14

mai-14

juin-14

Aout 2014

sept-14

nov-14

déc-14

-

5.00

10.00

15.00

20.00

25.00

UEM iPhone EDGE

T0-Fin d’affichage du splash screenT1-Fin d’affichage complet de la HPT3-Affichage du premier bloc de la LRT7-Début d’affichage de la FDSeuil

iPhone 5S - iOS 7.10

1

2

3

4

5

6

7

3GWifiEdge Deg

iPhone v6.7 - T3

iPhone 4s – iOS 6


MOBILERésultats

Exemples de graphiques comparatifs de données prises en production : - Moyenne sur iPhone- Comparaison entre 2 iPhone


MOBILERésultats

Exemples de graphiques de production présentant la répartition du temps de réponse


MOBILEMise en oeuvre - Limitations

•Limites du protocole de mesure actuel• Mesures manuellesÞ Incertitude des mesures de temps souvent inférieurs à 1 secondeÞ Coût du test importantÞ techno uniquement sur MacOS

• Temps serveur : Les temps mesurés peuvent être impactés par des temps serveurs

Þ Corréler les temps obtenus à une mesure serveur (Ex : recherche, Carto)

• Temps Carto : Dépendance forte de services externes. Þ Comment dissocier le temps interne du temps externe? Bouchons? Þ Déprioristaion de l’indicateur en terme d’alerting

• Nouveaux OS et terminaux : Þ Quand et comment intégrer une nouvelle combinatoire dans les mesures? Þ Double run, impact sur l’indicateur

• Fréquence : 1 fois par versionÞ Fréquence faible : mise en place de la chaine d’intégration continue


MOBILEBénéfices

Eviter de mettre en production plusieurs défauts importants fonctionnels et techniques

•Sur iPhone, • Mise en évidence d’un timeout de 30sec en Edge Dégradé• Chantier d’optimisation de l’application (lancement, Autocomplétion, gestion

des vues)

•Sur le Responsive Design, • Adaptation du protocole pour mesurer avec et sans cache• optimisation de la mise en cache • Mise en évidence des difficultés de chargement des pages sur des navigateurs

natifs • Détection de régression sur le chargement de la Homepage

•Sur Android, • report des corrections détectées sur iPhone• Pas d’alerte à ce jour.


MOBILEPlus values

• Nouveau Protocole de mesure• Mesures manuellesÞ Adaptation du protocole selon la stratégie (réseau dégradé ou pas? Wifi

uniquement pour les tablettes?) et la chargeÞ Mesure en avance de phase, avant la supervision, reproductible

• Conception générique : Þ Couvrir les besoins de benchmarkÞ protocole de mesures compatibles sur toutes nos plateformes

(iPhone/Android/RWD)

• Technique : Þ Interconnexion avec notre chaîne d’Intégration ContinueÞ Automatisation Þ Définition et réalisation d’un protocole de mesure générique

• ConfianceÞ L’équipe Collaborative donne de la visibilité sur la qualité de son livrable

avant son déploiement Þ Plus de confiance générale dans nos applis (Marketing et Technique)


MOBILEConclusion

• Le protocole est intégré à chaque release de produit mobile • Prise en compte de ces besoins pour le passage du site fixe en Responsive mobile

• la Performance utilisateur est maintenant au cœur de nos développements

MERCI À TOUS

ET MAINTENANT À VOS QUESTIONS…

Technology

JFTL2015 - Comment tester les performances ressenties par l’utilisateur d’une application mobile ?