Accréditation NF EN ISO 15189 en Biochimie métabolique
Validation initiale de méthode (Portée B)
Intervenant : Irina Andriamanana (Consultante de la Société ACC)
Date : 19 Novembre 2013
Val
idat
ion
de
mét
ho
de
1
Présentation de la société ACC
ACC SAS est un cabinet conseil dont l’activité est exclusivement orientée vers les LBM. ACC
intervient depuis près de 20 ans dans de nombreux établissements hospitaliers français. Leader
français pour les missions d’assistance à maîtrise d’ouvrage pour l’informatisation des
laboratoires, ACC effectue depuis 15 ans des formations à la démarche qualité et assure un
accompagnement personnalisé de chaque laboratoire pour la mise en œuvre de son système
qualité, dans un objectif d’accréditation COFRAC selon la norme ISO 15189 (plus de 70
références dans ce domaine). ACC bénéficie d’une expertise prouvée dans l’accréditation (15
laboratoires évalués avec succès depuis début 2013) grâce à une équipe multidisciplinaire de 9
consultants et une solidité et une pérennité financière assurées par le groupement SPH Conseil
-ACC.
Président de la société : Alain Cœur
Contact : [email protected] Val
idat
ion
de
mét
ho
de
2
Directeur Commercial: Patrice Foulon
Contact : [email protected]
Intervenante : Irina Andriamanana ACC: 13 dossiers en Accompagnement - 24 audits Blancs - 23 formations
Exemple de références ACC
Val
idat
ion
de
mét
ho
de
3
Points qui seront abordés
1. Rappels sur la méthodologie de validation initiale de méthode (Portée B)
2. Caractéristiques des méthodes utilisées en biochimie métabolique
• Particularités de la biochimie métabolique
• Particularités de la Chromatographie
• Particularités de la Spectrométrie de masse
3. Conseils de mise en œuvre
• Pour les méthodes quantitatives
• Pour les méthodes qualitatives
4. Discussion
Val
idat
ion
de
mét
ho
de
4
RAPPELS SUR LA MÉTHODOLOGIE DE VALIDATION INITIALE DE MÉTHODE (PORTÉE B)
Validation de méthode (Portée B) : Ce qui est attendu
Val
idat
ion
de
mét
ho
de
5
Objectifs de la validation initiale de méthode
• Démontrer que la méthode « fonctionne » correctement dans les conditions opératoires du laboratoire et qu’elle donne des résultats sûrs pour les patients = validation des performances avant mise en application.
• Lors de la mise en place d’une méthode :
1. Etape «bibliographique» Sélection de la méthode
2. Analyse des risques identification des étapes critiques
3. Définition et réalisation du plan d’expérimentations évaluation des performances de la méthode
4. Formalisation et clôture du dossier de validation initiale
Val
idat
ion
de
mét
ho
de
6
Objectifs de la validation initiale de méthode
• Cas d’une méthode déjà en place :
1. Etape «bibliographique» Rassembler la bibliographie
2. Analyse des risques Vérification de la formalisation des modalités de maîtrise de ces étapes et de la mise en place de ces moyens de maîtrise
3. Définition du plan d’expérimentations Identification des expérimentations à mettre en place si les données ne sont pas disponibles
4. Formalisation et clôture du dossier de validation initiale
Val
idat
ion
de
mét
ho
de
7
Référentiels de validation de méthode
• Normes ISO : 5725, 17025, 15189
• Recommandations (Guidelines) : • ICH : International Conference on Harmonisation « Validation of
analytical procedures : text and methodology Q2(R1) ». • IUPAC : International Union of Pure and Applied Chemistry
« Harmonized guidelines for single laboratory validation of methods of analysis».
• FDA : Food and Drug Administration « Guidance for Industry – Bioanalytical Method Validation ».
• EMA : European Medicines Agency « Guideline on Bioanalytical method validation ».
• Pharmacopée Européenne « Guide pour l’élaboration des monographies »
• Guides techniques d’accréditations du Cofrac : SH GTA 04, 06 et 14
• Revues bibliographiques, consensus de la SFEIM etc.
Val
idat
ion
de
mét
ho
de
8
Identification et analyse des risques
ANALYSE DES 5 « M »
Qualité du prélèvement I
(Sang, LCR, Urine)
Conditions ambiantes (T°)
Compétences (PNM et PM)
DEMANDE D’EXAMEN
RESULTAT
« Décryptage » du procédé
analytique
Réactifs Consommables
Equipements Informatique
Val
idat
ion
de
mét
ho
de
9
Evaluation des performances de la méthode
ETABLIR LA FIABILITE DES RESULTATS RENDUS
Val
idat
ion
de
mét
ho
de
10
Constitution du dossier « quantitatif »
Val
idat
ion
de
mét
ho
de
11
Constitution du dossier « quantitatif »
Val
idat
ion
de
mét
ho
de
12
Remarque : SH GTA 04 REv00 – p.9
Constitution du dossier « qualitatif »
Val
idat
ion
de
mét
ho
de
13
Constitution du dossier « qualitatif »
Val
idat
ion
de
mét
ho
de
14
Remarque : SH GTA 04 REv00 – p.9
CARACTÉRISTIQUES DES MÉTHODES EN BIOCHIMIE MÉTABOLIQUE
Validation de méthode (Portée B)
Val
idat
ion
de
mét
ho
de
15
Particularités de la Biochimie Métabolique
• Mesurandes : Analytes endogènes • Méthodes d’analyses employées : Principalement
chromatographiques couplées à différents types de détecteur • IEC / dérivation Ninhydrine / UV • UPLC dérivation ACCQTag (Waters) / UV • LC/MS²
• Validation d’un procédé analytique « global »:
• Aspect traitement de l’échantillon (précipitation, extraction etc.) • Aspect chromatographique (qualité de la séparation) • Aspect « détection » (qualité du signal, critères différents selon le
type: UV, MS)
• Problématique : Pour déterminer la stratégie analytique de la méthode employée importance de la réflexion sur les aspects clinico-biologiques (orientation diagnostic/thérapeutique)
Val
idat
ion
de
mét
ho
de
16
Val
idat
ion
de
mét
ho
de
17
AA dans la matrice biologique (Sang, Urine, LCR)
Objectif diagnostic ? Quantification ou
Recherche ?
Méthode quantitative « SH FORM 43 »
Identification des seuils de décision clinique
Maîtrise du rapport S/N (< ou > 3)
(LLOD)
Identification du domaine de fiabilité de mesures
(LLOQ et ULOQ)
Stratégie analytique choix des CIQ ou témoins
(Démontrer la fiabilité de la méthode)
Méthode qualitative « SH FORM 44 »
Particularités de la Chromatographie
• Choix des conditions chromatographiques: • Choix du type de Chromatographie • Choix de la colonne + conditions de fonctionnement (T°) • Choix de PM (+ conditions de gradient etc.) • Autres: débit, volume d’injection, T° du carrousel etc.
• Critères d’évaluation possibles = séparation chromatographique/Signal :
• Temps de rétention (Tr) / Largeur de pic à mi-hauteur (h) • Résolution Rs
• Temps de rétention relatif (Trr) par rapport à un EI ou à un CER • Rapport S/N • Aires des molécules (ou ion Q0) d’intérêt
Val
idat
ion
de
mét
ho
de
18
Particularités de la Spectrométrie de masse
• Nécessité de connaître les molécules d’intérêt (infusions) :
• Structure chimique / Masse exacte / Ion parent d’intérêt
• Etudes des transitions :
• Choix des modes d’acquisition (en mode MS/MS)
• Optimisation des conditions de source / et de l’analyseur
• Critères d’évaluation possibles = Identification spectrale
• Appréciation du spectre de masse total à partir du TIC
• Abondance relative des ions diagnostics
Val
idat
ion
de
mét
ho
de
19
MS² 90,05 44,05
Critères de validation technique
• Moyens de validation :
• CIQ / témoins
• Test de performance + EI
• « Blanc »
• Critères d’évaluation possibles :
• Qualité de la séparation chromatographique : Fixer les Tr, vérifier les Trr, et vérifier la Résolution.
• Qualité de la détection (qualité du signal) : Aires des ions s’intérêt, rapport S/N.
• Qualité de l’identification spectrale: Abondance relative des ions diagnostics (fonction du nombre de transition).
• Fiabilité de l’estimation de la concentration : CIQ/EEQ.
• Remarque : Les limites acceptables sont à établir pour ces critères.
Val
idat
ion
de
mét
ho
de
20
Critères de validation technique
• Remarque : Estimation de la concentration (méthode quantitative)
• Etalonnage interne
• Etalonnage externe
Val
idat
ion
de
mét
ho
de
21
Facteur de réponse
FR = Aire é
chantillon
Aire EI
CONSEILS DE MISE EN ŒUVRE POUR LES MÉTHODES QUANTITATIVES (SH FORM 43)
Validation de méthode (Portée B) : Apporter des éléments de preuves objectives des performances de la méthode
Val
idat
ion
de
mét
ho
de
22
Objectif : Assurer la qualité des résultats
• Est-ce que la méthode quantitative décrite est, quel que soit la matrice (Sang, urine, LCR) :
• Spécifique ? Fidèle ? Robuste ?
• La méthode induit-elle du Carry-Over ?
• Existe-t-il des interférences pouvant impacter la qualité d’interprétation du chromatogramme ?
• Comparable avec une autre méthode utilisée au laboratoire ?
• Pour quel domaine de mesure, cette méthode rend-elle des résultats fiables ? Ce domaine est-il pertinent par rapport aux seuils de décisions cliniques ?
• La stabilité des réactifs utilisés pour cette méthode est-elle démontrée ?
• Finalité : Quelle est l’incertitude de mesure pour la méthode décrite et la matrice biologique concernée (= IQ de la méthode) ?
Val
idat
ion
de
mét
ho
de
23
Spécificité analytique / Interférences
Objectif: Démontrer la capacité de la méthode à identifier et quantifier l’analyte (= molécule d’intérêt) sans équivoque, en présence d’autres composés présents dans la matrice. La spécificité se fonde également sur l’absence d’interférences. En d’autres termes, il s’agit de démontrer qu’au Tr attendu corresponde la molécule d’intérêt.
Méthodologie : Comparaison et superposition des Chromatogrammes n «Blanc(s)» / n «Blanc(s) Surchargé(s)» / n «Echantillon(s)» / n «Echantillon(s) surchargé(s)». Présentation des chromatogrammes dans le dossier
Réponse étudiée : Vérification de l’adéquation des Tr et Trr (avec EI et/ou CER) et de R. Remarques : • Vérifier l’absence de co-élution avec d’autres composés. • Vérifier l’absence de suppression ou d’augmentation de signal dû à
un effet matrice (évaluer le rendement d’ionisation).
Val
idat
ion
de
mét
ho
de
24
Contamination inter-échantillon
Objectif : Evaluer le transfert d’un échantillon « fort » sur les échantillons suivants (évaluation du système de de rinçage de la chaîne analytique complète). Etude du « Carry-Over ».
Méthodologie : Analyser n fois un échantillon « fort » suivi de n « blanc(s) ». Présentation des chromatogrammes dans le dossier.
Réponses étudiées: • Vérifier l’absence des analytes dans le « blanc » aux Tr attendus
(Rapport S/N < 3). • Si présence « quantifiable » (Rapport S/N > 5), déterminer le % de
contamination
Remarque : Si la contamination est avérée il pourrait être intéressant de savoir à partir de quelle concentration il y a un risque de contamination ? et sur combien d’échantillon(s) suivant(s) elle se répercute ?
Val
idat
ion
de
mét
ho
de
25
Intervalle de mesure (LLOQ – ULOQ)
Objectif: Déterminer le domaine de linéarité/l’intervalle de mesure qui garantit une mesure fiable du résultat entre la limite inférieure de quantification (LLOQ) et la limite supérieure de quantification (ULOQ).
Méthodologie : • Détermination de la LLOQ : méthode des dilutions (Profil de linéarité
avec Rapport S/N = 5) ou méthode des blancs (LLOQ = 5 x SD). • Détermination du domaine (jusque ULOQ):
• Vérifier l’adéquation domaine de mesure Intervalle de référence (seuils de décision clinique)
• Vérification de la validité du modèle de régression linéaire par une analyse de variance
Remarques : • Gamme « aqueuse » vs matrice biologique ? • Utilisation d’un seul étalon ?
Val
idat
ion
de
mét
ho
de
26
Stabilité des réactifs
Objectif: Démontrer et/ou déterminer la durée de stabilité des réactifs de la méthode, notamment après fabrication(Solution de déprotéinisation, solution EI etc.).
Méthodologie :
• Lister de façon exhaustive les réactifs intervenants dans la méthode
• Tenir compte des modalités de conservation
• Définir les modalités d’évaluation de la stabilité:
• Moyen d’évaluation : patient ? CIQ ? Test de performance ?
• Définir les limites acceptables de la réponse à étudier
• Possibilité : Disposer du J0 (fabrication) et du Jn (DLU) et comparer les résultats (si réalisés sur même échantillon)
• Autre possibilité : réaliser un profil de stabilité
Val
idat
ion
de
mét
ho
de
27
Fidélité (répétabilité et reproductibilité)
Objectif : Déterminer la variabilité du résultat d’un même échantillon • Soit analysé n fois dans les mêmes conditions = répétabilité • Soit analysé n fois dans des conditions différentes = reproductibilité
Méthodologie :
• Pour la reproductibilité , il s’agira de compiler les données de CIQ accumulées pour les différents niveaux
• Pour la répétabilité, prévoir de la réaliser sur des patients, sur différents niveaux et sur les différentes matrices.
Val
idat
ion
de
mét
ho
de
28
Echantillons Nombre (N) Moyenne Ecart-type CV (%) CV (%)
fournisseur
CV (%) limite (hors
fournisseurs) Conclusion
Justesse/Exactitude
Objectif : L’approche de la justesse est évaluée à partir des données des CIQ externalisés. S’il s’agit d’EEQ , on parlera d’exactitude. La justesse et l’exactitude sont évaluées par le Biais. S’il n’existe pas d’EEQ ou de CIQ externalisés, la mise en place d’un EIL peut être envisageable.
Méthodologie : Compiler les données d’EEQ accumulées sur x années.
Val
idat
ion
de
mét
ho
de
29
Echantillons Nombre
(N)
Valeur
Labo
Cible
(groupe
de pairs)
Moyenne
générale
(toutes
techniques)
Biais (%)
/groupe
de pairs
Biais (%)
/moyenne
générale
Biais (%)
limite
(préciser)
Conclusion
Incertitudes de mesure
Objectif: Déterminer le degré de précision du mesurage, notamment aux seuils de décisions cliniques, dans les conditions analytiques décrites.
Méthodologie : Méthode CIQ/EEQ
Val
idat
ion
de
mét
ho
de
30
INCERTITUDES (niveaux, choix du mode de calcul, interprétation) : Mode de calcul (cf. SH GTA 14) :
Quantification de l'incertitude
(niveau 1 : Niveau XXX)
Quantification de l'incertitude
(niveau 2 : Niveau XXX)
Interprétation :
Robustesse
Objectif : Démontrer la capacité de la méthode à maintenir ses performances lorsqu’elle est soumise à de petites variations fortuites liées aux conditions expérimentales. La robustesse donne un ordre de grandeur de la fiabilité de la méthode aux conditions normales d’utilisation.
Méthodologie : Méthodologie des plans d’expériences ou étude facteur par facteur
• Identifier les facteurs pouvant avoir un impact • Définition des niveaux à tester pour chacun de ces facteurs • Définition et réalisation du protocole expérimental • Analyse de l’impact des effets des facteurs testés (et/ou de leurs
interactions selon l’approche sélectionnée)
Réponses étudiées : Critères chromatographiques, Concentration.
Val
idat
ion
de
mét
ho
de
31
Comparaison de méthodes
Objectif: Déterminer s’il y a une différence significative entre les résultats obtenus pour un même paramètre sur plusieurs équipements ou par des méthodes différentes.
Méthodologie :
• Au préalable, chaque méthode/équipement dispose de la preuve de ses performances
• Analyser un même échantillon sur les méthodes/équipements et exploiter les résultats (concentration estimée).
Approches possibles:
• Statistique (Test de Shapiro-Wilk, Test Fischer, Test de Student etc.)
• Biologique (Calcul des normes de suivi, normes d’interprétations)
Val
idat
ion
de
mét
ho
de
32
CONSEILS DE MISE EN ŒUVRE POUR LES MÉTHODES QUALITATIVES (SH FORM 44)
Validation de méthode (Portée B) : Apporter des éléments de preuves objectives des performances de la méthode
Val
idat
ion
de
mét
ho
de
33
Objectif : Assurer la qualité des résultats
• Est-ce que la méthode qualitative décrite est, quel que soit la matrice (Sang, urine, LCR) :
• Spécifique ? Sensible ? Robuste ?
• Comparable avec une autre méthode utilisée au laboratoire ?
• La méthode induit-elle du Carry-Over ?
• Existe-t-il des interférences pouvant impacter la qualité d’interprétation du chromatogramme ?
• La stabilité des réactifs utilisée pour cette méthode est-elle démontrée ?
• Finalité : Quels sont les moyens de maîtrise employés pour assurer la qualité des résultats rendus ? Ces moyens permettent-ils de démontrer que la méthode est Fidèle ?
Val
idat
ion
de
mét
ho
de
34
Sensibilité / Spécificité clinique
Objectifs: Sensibilité clinique c’est la capacité d’un test à détecter une maladie lorsque celle-ci est présente. Spécificité clinique c’est la capacité d’un test à être réellement négatif quand une maladie est absente.
Méthodologie : Reprendre rétrospectivement les données patients et faire le bilan en fonction des données cliniques disponibles.
Val
idat
ion
de
mét
ho
de
35
Présence AA Absence AA Total
Présence de maladie M+ a (VP) b (FN) TM+ = a + b
Absence de maladie M- c (FP) d (VN) TM- = c + d
Total TP = a + c TN = b + d a + b + c + d
Se (fréquence de P chez M+) = VP
TM+ x 100 Sp (fréquence de N chez M-) =
VN
TM− x 100
VPP (% de vrais M+ quand P) = VP
TP x 100 VPN (% de vrais M- quand N) =
VN
TN x 100
Sensibilité / Spécificité analytique
Objectifs : Sensibilité analytique représente la quantité minimale que le test parvient à détecter (LLOD) Spécificité analytique indique sa capacité à ne détecter qu’un produit à analyser bien précis à l’exclusion de tout autre.
Méthodologie : • Sensibilité analytique revient à la détermination de la LLOD :
Méthode des dilutions (Profil de linéarité avec Rapport S/N = 3) ou méthode des blancs (LLOQ = 3 x SD).
• Spécificité analytique : Comparaison et superposition des Chromatogrammes «Blanc» / «Blanc Surchargé» / «Echantillon» / «Echantillon surchargé». Présentation des chromatogrammes dans le dossier.
Réponses étudiées : Critères Chromatographiques (Tr, Trr et R) et qualité de signal (Aires).
V
alid
atio
n d
e m
éth
od
e
36
Contamination inter-échantillon
Méthodologie : Analyser n fois un échantillon « fort » suivi de n « blancs ». Présentation des chromatogrammes dans le dossier. Réponse étudiée: Vérifier l’absence des analytes dans le « blanc » aux Tr attendus (Rapport S/N < 3).
Val
idat
ion
de
mét
ho
de
37
Objectif : Evaluer le transfert d’un échantillon « fort » (évaluation du système de de rinçage de la chaîne analytique complète). Etude du « Carry-Over ».
Stabilité des réactifs
Méthodologie : • Lister de façon exhaustive les réactifs intervenants dans la méthode • Tenir compte des modalités de conservation • Définir les modalités d’évaluation de la stabilité:
• Possibilité : Disposer du J0 (fabrication) et du Jn (DLU) et comparer les résultats (si réalisés sur même échantillon)
• Moyen d’évaluation : patient ? CIQ ? Test de performance ? • Réponse à comparer : Qualité du signal (Aire ? FR ?)
Val
idat
ion
de
mét
ho
de
38
Objectif: Démontrer et/ou déterminer la durée de stabilité des réactifs de la méthode, notamment après fabrication(Solution de déprotéinisation, solution EI etc.).
Robustesse
Méthodologie : Méthodologie des plans d’expériences ou étude facteur par facteur • Identifier les facteurs pouvant avoir un impact • Définition des niveaux à tester pour chacun de ces facteurs • Définition et réalisation du protocole expérimental • Analyse de l’impact des effets des facteurs testés (et/ou de leurs
interactions selon l’approche sélectionnée)
Réponses étudiées : Critères chromatographiques, qualité du signal
Val
idat
ion
de
mét
ho
de
39
Objectif : Démontrer la capacité de la méthode à maintenir ses performances lorsqu’elle est soumise à de petites variations fortuites liées aux conditions expérimentales. La robustesse donne un ordre de grandeur de la fiabilité de la méthode aux conditions normales d’utilisation.
Comparaison de méthodes
Méthodologie : • Au préalable, chaque méthode/équipement dispose de la preuve de
ses performances • Analyser un même échantillon sur les méthodes/équipements
Réponse étudiée : Comparaison de l’absence / présence de l’analyte d’intérêt. Détermination du % de concordance. V
alid
atio
n d
e m
éth
od
e
40
Objectif: Déterminer s’il y a une différence significative entre les résultats obtenus pour un même paramètre sur plusieurs équipements ou par des méthodes différentes.
Méthode à comparer Total
Présence AA Absence AA
Méthode
initiale
Présence AA a b a + b
Absence AA c d c + d
Total a + c b + d a + b + c + d
Compléments de validation
Méthodologie:
• Présenter les résultats des différents moyens de contrôle
• Analyser un même échantillon sur les méthodes/équipements
Réponses étudiées:
• Réponse attendue (présence/absence) : % de conformité
• Critères chromatographiques: Reproductibilité des Trr, de la résolution R
• Critères de détection: reproductibilité des Aires, abondances relatives des ions etc.
Val
idat
ion
de
mét
ho
de
41
Objectif: Présenter les autres moyens de maîtrise de la qualité des résultats rendus par la méthode qualitative : CIQ (ou témoins), EEQ, CNQ par exemple
CONCLUSIONS
Validation de méthode (Portée B)
Val
idat
ion
de
mét
ho
de
42
Assurer la qualité des résultats
• Constitution des dossiers de validation initiale de méthode:
• Disposer de preuves objectives pour apporter la preuve des performances de la méthode quel que soit la matrice biologique étudiée.
• Veiller à toujours présenter, pour chaque étude :
• Moyens mis en œuvre (méthodologie)
• Date de réalisation/opérateur
• Résultats
• Conclusion et dispositions prévues
• Validation de l’étape par le responsable de l’étude (Biologiste)
• Le dossier final doit comporter la conclusion générale d’aptitude de la méthode décrite dans le dossier.
• Validation en continu: il s’agira de prouver formellement en continu les performances initialement démontrées dans les dossiers. Les moyens, critères et modalités de surveillance en continu seront propres à chaque méthode (quantitative, qualitative).
Val
idat
ion
de
mét
ho
de
43
MERCI DE VOTRE ATTENTION
Validation de méthode (Portée B)
Val
idat
ion
de
mét
ho
de
44