Agence nationale de lévaluation et de la qualité des établissements et services sociaux et médico-sociaux Journée dinformation pour les organismes candidats

Agence nationale de l’évaluation et de la qualité des établissements et services sociaux et médico-sociaux

Journée d’information pour les organismes candidats à l’habilitation

23 juin 2009

Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009 2

Sommaire

L’agence, ses missions

Le cahier des charges de l’évaluation

- le cadre légal - les objectifs de l’évaluation externe

Méthodologie de l’évaluation

Rapports d’évaluation et d’activité

11

22

33

44


Objet de l’Anesm

• Créée par la loi de financement de la sécurité sociale de 2007 ;

• Elle intervient en appui des établissements et services dans la démarche d’amélioration continue de la qualité ;

• Accompagne les établissements et services sociaux et médico-sociaux dans la mise en œuvre de l’évaluation interne et externe instituée par la loi du 2 janvier 2002.


Principales missions

• Habiliter les organismes extérieurs qui procèdent à l’évaluation externe des activités et de la qualité des prestations des établissements visés par l’article L.312.1 et en dresser la liste ;

• Déterminer les principes fondamentaux garantissant la qualité des procédures suivies en matière d’évaluation interne et externe et assurant leur articulation et complémentarité ;

• Concevoir et exploiter un système d’information renseignant d’une part la mise en œuvre et le suivi des évaluations dans les établissements et services et d’autre part la publicité des habilitations des organismes d’évaluation ;


Principales missions

• Valider, élaborer ou actualiser des procédures, références et recommandations de bonnes pratiques professionnelles ;

• Contribuer à l’évaluation des établissements et services à caractère expérimental ;

• Proposer aux pouvoirs publics les évolutions législatives ou réglementaires de nature à favoriser le développement de la qualité dans le secteur social et médico-social.

(convention constitutive du GIP Anesm du 17 juillet 2007)


Le cahier des charges de l’évaluation

- Le cadre légal - Les objectifs de l’évaluation externe

22


Cadre légal de l’évaluation : l’évaluation interne (art. L.312-8 CASF)

• Les établissements et services mentionnés à l’article L.312-1 du CASF procèdent à l’évaluation de leurs activités et de la qualité des prestations qu’ils délivrent, au regard notamment de procédures, de références et de recommandations de bonnes pratiques professionnelles validées ou élaborées par l’Agence nationale de l’évaluation et de la qualité des établissements et services sociaux et médico-sociaux.

• Les résultats de l’évaluation doivent être communiqués à l’autorité ayant délivré l’autorisation.


Cadre légal de l’évaluation : l’évaluation externe (art. L.312-8 CASF)

• Les établissements et services font procéder à l'évaluation de leurs activités et de la qualité des prestations qu'ils délivrent par un organisme extérieur.

• Les résultats de cette évaluation sont également

communiqués à l'autorité ayant délivré l'autorisation.

• Les organismes habilités doivent respecter un cahier des charges fixé par décret (n° 2007-975 du 15 mai 2007). La liste de ces organismes est établie par l'Anesm.


Le décret n° 2007-975 du 15 mai 2007

Fixe le cahier des charges pour l’évaluation des activités et de la qualité des prestations des établissements et services sociaux et médico-sociaux :

• Chapitre I principes généraux

• Chapitre II objectifs de l’évaluation externe

• Chapitre III engagement de la procédure d’évaluation externe

• Chapitre IV étapes de la procédure

• Chapitre V résultats de l’évaluation externe


Les objectifs de l’évaluation externe

• Interroger la mise en œuvre, la pertinence, des effets prévus et imprévus, l’efficience au regard du contexte

• Élaborer un cadre d’évaluation spécifique en vue d’un diagnostic partagé

• Promouvoir des outils de mesure adaptés

• Viser à la production de connaissance et d’analyse (…) dans une logique d’intervention et d’aide à la décision

• Mieux connaître et comprendre les processus

• Apprécier les impacts produits au regard des objectifs

Ni audit, ni contrôle, ni certification

Chapitre I Section 1 : fondements de l’évaluation



• L’action sociale et médico-sociale « tend à promouvoir, dans un cadre interministériel, l'autonomie et la protection des personnes, la cohésion sociale, l'exercice de la citoyenneté, à prévenir les exclusions et à en corriger les effets. Elle repose sur une évaluation continue des besoins et des attentes des membres de tous les groupes sociaux, en particulier des personnes handicapées et des personnes âgées, des personnes et des familles vulnérables, en situation de précarité ou de pauvreté, et sur la mise à leur disposition de prestations en espèces ou en nature ».

• Les domaines explorés sont déterminés par les orientations des politiques sociales et médico-sociales en référence aux fondements de l’action sociale et médico-sociale

Le champ des évaluations interne et externe doivent être les mêmes

Chapitre I Section 2 : : conditions particulières



• Ces évaluations portent sur les activités et la qualité des prestations délivrées

• Elle s’appuie sur l’observation des pratiques sur le terrain

Ses résultats sont pris en compte pour le renouvellement de l'autorisation de l'établissement

Chapitre I Section 2 : : conditions particulières

Chapitre II section 1 : objectifs de l’évaluation externe

• Porter une appréciation globale sur– l’adéquation des objectifs par rapport

aux besoins et aux missions– l’atteinte des objectifs, la production des

effets attendus et non prévus– les conditions d’efficience de l’action,

l’impact des pratiques– la réactualisation régulière de

l’organisation– Les suites réservées à l’évaluation interne


Etapes de la procédure d’évaluation externe : le cadre évaluatif

• Identifier les missions, les orientations de l’organisme gestionnaire, le contexte et le territoire où se déploie les activités et ses évolutions

• Rappeler les repères de bonnes pratiques concernant spécifiquement l’établissement ou le service inclus dans les recommandations de l’Anesm

• Caractériser le profil de la population effectivement accompagnée et son évolution

• Spécifier les objectifs de l’accompagnement notamment ceux relatifs à la :

– Promotion de l’autonomie et de la qualité de vie– Personnalisation de l’accompagnement– Garantie des droits et de la participation – Prévention et gestion de risques inhérents à la situation

des usagers

Identifier les informations nécessaires à l’évaluation : éléments de structure, déploiement effectif des activités et processus structurants, effets pour les usagers,

leur disponibilité et les moyens et outils pour les recueillir et les actualiser

Chapitre IV section 1 : observation et description

• Adapter le question-nement évaluatif à chaque établissement ou service


Etapes de la procédure d’évaluation externe : le recueil des informations

• L’analyse s’appuie sur une observation des pratiques collectives à des moments clé

• Visites et entretiens individuels ou collectifs des professionnels, des usagers et de leur proche

Chapitre IV section 1 : observation et description ;

section 2 : étude et analyse

• Méthodes et outils de l’observation

Adapter les modalités de recueil de perspective des usagers aux difficultés spécifiques de communication


Etapes de la procédure d’évaluation externe : l’analyse

• Apprécier la capacité d’adaptation de l’établissement ou du service au regard des évolutions constatées

• Apprécier la pertinence des activités déployées au regard des effets pour les usagers

• Décrire le niveau de réalisation des objectifs principaux

• Porter un avis sur les conditions de réalisation : moyens matériels et humains, gestion des ressources humaines, intégration des ressources du territoire, articulations et coordination interne et externe, cadre de vie…

Chapitre IV section 2 et 3 : étude et analyse, synthèse

Les résultats sont transmis avec des propositions et/ou préconisations

• Confronter la situation observée au cadre de référence défini


Méthodologie de l’évaluation 33


Introduction

La partie méthodologique est consacrée :

• à un rappel des objectifs propres à la démarche d’évaluation et des principes et exigences de méthode qui en découlent ;

• au rôle de l’évaluation externe dans la dynamique d’amélioration de la qualité des prestations des ESSMS.


Les principes généraux

Les principes généraux énoncés par le décret du 15 mai 2007 stipulent que l’évaluation permet de :• viser à la production de connaissance et d’analyse (…) dans une

logique d’intervention et d’aide à la décision ; • mieux connaître et comprendre les processus ;• apprécier les impacts produits au regard des objectifs ;• promouvoir des outils de mesure adaptés.

La démarche d’évaluation externe contribue à l’objectif général d’amélioration de la qualité des activités des ESSMS à travers notamment :

• une appréciation globale de celles-ci ;• un examen les suites réservées à l’évaluation interne.


Des caractéristiques communes à l’accompagnement en ESSMS

• L’évaluation des activités déployées dans les ESSMS exige de bien identifier et prendre en compte leurs particularités ;

• Les évaluateurs auront à préciser les objectifs de chaque type d’accompagnement dans son contexte pour porter une appréciation sur sa mise en œuvre ;

• Il est à noter qu’un certain nombre d’enjeux sont communs

à toutes les situations d’accompagnement : ils sont à prendre en compte car ils conditionnent fortement la qualité des prestations.



L’identification des besoins et attentes

– La nécessité et la difficulté d’appréhender les besoins et attentes des usagers

La pluri-dimensionnalité de l’accompagnement

– Le nécessaire concours de différentes compétences (santé, social, éducatif, psychologique, pédagogique) pour un accompagnement adapté

– La complexité de l’organisation des articulations et des coordinations

L’inscription dans le parcours des usagers

– La nécessité d’intégrer les ressources du territoire et au-delà du passage dans la structure

– Le contexte évolutif de déploiement des activités des établissements et services (population, cadre réglementaire, ressources internes et externes).


Les conséquences pour l’évaluation

Caractérisation :

• Pour analyser l’adéquation des réponses apportées, il est nécessaire d’identifier précisément à qui elles sont proposées ;

• La caractérisation du profil de la population effectivement accompagnée, l’analyse de ses besoins et attentes et les évolutions éventuelles, sont préalables à la démarche d’évaluation ;

• Elles permettent de définir de manière spécifique les objectifs de l’accompagnement, les effets attendus et la manière dont ils seront observés et analysés.


Pluri-dimensionnalité, coordination, intégration :

• la qualité de l’accompagnement est directement tributaire de la capacité d’intégrer simultanément et de manière cohérente les différentes compétences (santé, social, éducatif, psychologique, pédagogique) inhérentes à toute intervention sociale ou médico-sociale.

Les conséquences pour l’évaluation



L’évaluation s’inscrit dans une perspective dynamique de l’ESSMS inscrit dans un projet d’accompagnement d’un parcours de la personne : la prise en considération des activités des ESSMS doit être faite dans la perspective de sa contribution à un parcours des usagers : en quoi les activités déployées permettent-elles un changement dans la situation des usagers considérée dans le temps et sur un territoire

• d’où la nécessité d’organiser les coordinations, d’intégrer les ressources locales, d’articuler l’ensemble des interventions : l’évaluation doit porter sur les articulations qui permettent le déploiement du cœur de métier ;

• dans un contexte mouvant sur les plans réglementaires, partenariaux, de la mobilisation des ressources humaines et matérielles dont il faut prendre en compte les incidences.


Un questionnement évaluatif à décliner

Les textes cadre du dispositif d’évaluation et d’amélioration de la qualité des prestations délivrées par les ESSMS ont pour objet de centrer la visée évaluative sur la pertinence de la réponse aux besoins et attentes des usagers comme socle et finalité des interventions, dans le cadre des missions imparties.

Ce qui revient à énoncer le questionnement évaluatif suivant :

Dans le cadre des missions imparties, les prestations proposées sont-elles adaptées aux besoins et attentes

spécifiques des personnes accompagnées ?


Structuration de la démarche évaluative

La qualité et la pertinence des activités procèdent de l’adaptation des objectifs aux spécificités de population particulière.

La démarche évaluative proprement dite porte sur le cœur de mission des ESSMS :

• les effets produits par les activités, • leur adéquation aux besoins et attentes des personnes

accompagnées

• Elle repose sur :• la caractérisation du profil de la population• la spécification des objectifs d’accompagnement• le recueil de données sur la structure, les processus mis en œuvre

et les effets• l’analyse des conditions de faisabilité



Le regard extérieur de l’organisme habilité présente un intérêt particulier dans l’ensemble du dispositif prévu par le législateur.

Il permet notamment d’apporter un regard extérieur sur la question de l’adéquation des objectifs aux profils des populations et à l’intégration des ressources.

L’évaluation externe n’est pas une évaluation pour elle-même, elle va s’inscrire dans la démarche globale d’amélioration de la qualité, elle est au service de établissements et services.



• Sa qualité procède donc également de la façon dont elle va alimenter la démarche d’amélioration continue de la qualité des ESSMS.

• Sont donc tout à fait important :

• accessibilité et transparence des principaux résultats ;

• accessibilité et transparence du choix des préconisations ;

• accessibilité et transparence des méthodes et données utilisées.



• L’évaluation porte sur :

• les effets produits par les activités,

• leur adéquation aux besoins et attentes des personnes accompagnées

• Elle repose sur :

• la caractérisation du profil de la population

• la spécification des objectifs d’accompagnement

• le recueil de données sur la structure, les processus mis en œuvre et les effets

• l’analyse des conditions de faisabilité


Rôle de l’évaluation dans l’amélioration de la qualité


Rappel

• L’évaluation est à distinguer des démarches d’audit, certification et contrôleElle constitue bien une démarche de meilleure compréhension d’un établissement ou service dans toute sa complexité et permet de concevoir des pistes de progrès dans le souci d’améliorer les pratiques et la qualité des prestations au regard des besoins et attentes des usagers.

• Une définition simple et généralement admise d’évaluer un objet (politique, programme, dispositif ou activités d’un organisme), c'est ‘juger’ de sa valeur au regard de critères explicites et sur la base d'informations spécialement rassemblées et analysées.

• Sur le plan méthodologique, toutes les approches de l’évaluation associent trois dimensions :– L’élaboration des critères d’évaluation par : la mise en évidence du

problème à traiter, des objectifs poursuivis, des publics-cibles, des résultats attendus ;

– La collecte d’informations systématiques et diversifiées sur le programme, les activités ;

– Une appréciation critique portée en référence aux critères et des préconisations en vue d’une décision.


Les étapes de l’évaluation

• 1. Définir le cadre évaluatif– mettre en évidence les missions, les caractéristiques des profils

populations accompagnées, les objectifs poursuivis et les résultats attendus (niveau de mise en œuvre et effets pour les usagers)

• 2. Recueillir et analyser des informations fiables et pertinentes– choisir puis analyser les informations pertinentes – porter un avis sur la pertinence des activités déployées (répondent-

elles aux besoins et attentes ?) qui fonde la qualité des prestations

• 3. Réaliser la synthèse– Elaborer des préconisations– Rédiger le rapport d’évaluation


1. Définir le cadre évaluatif

• Identifier les missions, contexte et objectifs généraux

• Recenser les repères de bonnes pratiques professionnelles

– Méthode : à partir des éléments contenus dans les documents disponibles concernant l’établissement ou le service, (le projet de l’organisme gestionnaire, le projet d’établissement ou de service, l’autorisation, les rapports d’activité…)

• Caractériser le profil de la population effectivement accompagnée et son évolution

– Quelles sont les caractéristiques principales de la population accompagnée? Quelles données sur les personnes, sur leur environnement et leur entourage, sur leur parcours

– Méthode : à partir des éléments contenus dans les projets de vie, projets personnalisés, le recueil des besoins (la nature des accompagnements nécessaires, les fragilités ou risques) et attentes des usagers, analyse de l’ESSMS complété de votre propre exploration si données incomplètes ou à actualiser.


1. Définir le cadre évaluatif• Préciser les objectifs de l’accompagnement

– Quel est l’impact de ces caractéristiques sur la déclinaison des objectifs principaux ? Quels constats sur les évolutions au cours des cinq dernières années ?

– Méthode : en répondant aux questions suivantes à l’aide des documents, de la consultation des professionnels et des usagers.

• Que signifie concrètement promouvoir l’autonomie ou accompagner sa perte, la qualité de vie et la santé, l’insertion sociale

• Que doit permettre une personnalisation adaptée de l’accompagnement dans le contexte d’exercice ?

• Qu’est ce que rendre les droits effectifs et favoriser la participation dans telle situation, (usagers et mode d’accompagnement)

• Quels risques spécifiques pour les usagers sont à prévenir dans cet établissement ou service?

• Quels sont les effets attendus et recherchés pour les personnes accompagnées ?


2. Recueillir des informations fiables et pertinentes

• Identifier les sources de données • Recueillir les informations qualitatives et quantitatives portant sur

les principales activités• Recueillir la perspective des usagers et des professionnels

– Méthode : Sur le plan méthodologique, recueillir les informations qualitatives et quantitatives est un passage obligé et les moyens doivent être adaptés à chaque situation

• Certaines informations sont contenues dans des documents existants et l’évaluation comprend une appréciation de leur validité.

• Certaines informations sont à actualiser ou à constituer. – Les informations portant sur les principales activités sont de nature

différentes :• Données sur les ressources réglementaires, humaines, matérielles, les

références internes ;

• Données sur les réalisations, et la mise en œuvre, les coordinations ;

• Données sur les évolutions et les changements constatés, les effets pour les usagers.


3. Réaliser la synthèse

• Structurer l’analyse :Les données recueillies permettent d'établir des réponses argumentées, notamment aux questions suivantes :– Les activités déployées répondent-elles aux besoins et attentes des

usagers ? Quels sont les effets observés, attendus et inattendus, pour les usagers ?

– Quel est le niveau de réalisation des objectifs ?• L’autonomie, la qualité de vie et la santé sont-elles promues ?

• La personnalisation est-elle effective ?

• Les droits sont-ils garantis ?

• Quels sont les résultats obtenus par les actions de prévention des risques ?

– Quelle analyse porter sur l’inscription de l’établissement ou du service dans son environnement, sur le projet de l’établissement ou du service ?


3. Réaliser la synthèse

Cette analyse permet d’identifier– des causes singulières ou communes aux écarts et les marges de

progression ;– les points forts de l’organisation ou les pratiques qui produisent des

effets positifs et qui sont à relayer ou généraliser

• Rédiger le rapport d’évaluation

– décrire le niveau de réalisation des objectifs principaux ;

– apprécier la capacité d’adaptation de l’établissement ou du service au regard des évolutions ;

– apprécier la pertinence des activités déployées au regard des effets pour les usagers ;

– porter un avis sur les conditions de réalisation ;

– proposer des pistes d’amélioration et des préconisations.


Le rapport d’activité rendu à l’Anesm par les organismes habilités44


Le décret n°2007-975 du 15 mai 2007

• Parmi ses missions et en application du décret précité, l’Anesm assure le suivi de la mise en œuvre de l’évaluation interne et externe. Pour cela, l’Anesm s’appuie sur les rapports d’activité que les organismes habilités en charge de l’évaluation externe devront lui transmettre.

• Le suivi des résultats de l’évaluation est inscrit au programme de travail 2009 de l’Agence.

• L’ensemble s’inscrit dans un processus global qui vise à garantir le respect des critères de l’habilitation par les organismes, la qualité des procédures des différentes évaluations, la remontée des informations indispensables à l’exercice des missions de l’Anesm.


• Art.D.312-202 : les organismes habilités rendent à l’Agence nationale de l’évaluation et de la qualité des établissements et services sociaux et médico-sociaux, selon les formes et une périodicité qu’elle détermine (…) un rapport d’activité qui permet notamment d’examiner le respect du présent cahier des charges et des critères d’habilitation.

NOTA BENE– Le rapport d’évaluation est le rapport adressé par les organismes

habilités à l’ESSMS évalué qui par la suite le transmet à l’autorité.

– Le rapport d’activité est le rapport adressé par les organismes habilités à l’Anesm.

Le décret n°2007-975 du 15 mai 2007


Les attendus de l’Anesm

• S’assurer du respect des exigences du cahier des charges par les organismes habilités (décret n°2007-975 du 15 mai 2007)

• Disposer d’informations sur les principaux champs couverts et la méthodologie employée

• Disposer d’éléments de synthèse sur les résultats des évaluations (interne et externe) et la dynamique d’amélioration de la qualité dans le secteur social et médico-social.


Structuration du rapport

Afin de répondre à ces objectifs, une structuration du format de la synthèse adressée à l’Anesm est proposée :

• Synthèse rédigée à l’issue de chaque mission d’évaluation, construite autour de cinq thématiques principales

1. Identification de l’organisme habilité et du commanditaire de l’évaluation externe

2. Respect des critères d’habilitation

3. Profil de l’établissement ou du service évalué

4. Méthode d’évaluation externe

5. Eléments de synthèse de l’évaluation conduite

• Une notice d’accompagnement sera mise à disposition des évaluateurs externes


• 1. Identification de l’organisme habilité et du commanditaire de l’évaluation externe

• organisme habilité• commanditaire de l’évaluation• documents contractuels

• 2. Respect des critères d’habilitation

• Données relatives à la mission d’évaluation (durée, coût…) • Evaluateurs ayant réalisé la mission (expériences, compétences)

• 3. Profil de l’établissement ou du service évalué

• type d’établissement & secteur d’activité• caractéristiques générales et spécifiques

Eléments attendus


4. Méthode d’évaluation externe

– informations recueillies : De quelles informations relatives à la structure, au contexte d’exercice, au profil des personnes accueillies, aux objectifs d’accompagnement, aux activités, à leur suivi, aux effets pour les usagers, l’évaluateur externe a-t-il disposé pour forger son appréciation ? Étaient-elles disponibles, ont-elles été actualisées ?

– modalités de participation des parties prenantesDes outils et méthodes doivent être employées pour recueillir le point de vue des usagers et analyser les pratiques collectives. L’appréciation des usagers sera recherché sur la base d’informations déjà collectées (appréciation de l’évaluateur sur la validité du recueil), du recueil direct quand il en a la possibilitéElle repose sur l’observation par l’évaluateur externe de temps-clef dans l’accompagnement. Le recueil de données est également réalisé auprès des différentes catégories de professionnels

Eléments attendus


4. Méthode d’évaluation externe (suite)– rapport d’évaluation transmis à l’ESSMS

o modalités de validation des étapes de l’évaluation externe

Le décret prévoit la validation des différentes étapes : il s’agit de s’assurer que ces modalités ont bien été respectées

o éléments constitutifs du rapport

Les éléments attendus prévus dans le décret sont-ils présents ?

Eléments attendus


5. Eléments de synthèse de l’évaluation conduite

– Profil de la population accueillie

– Appréciation du niveau de réalisation des objectifs principaux (leur suivi et le constat des effets pour les usagers)

– Appréciation sur les moyens mis en œuvre pour une amélioration continue de la qualité des prestations (notamment plan d’amélioration, outils de suivi issus de l’évaluation interne)

– Champ des actions d’amélioration et des préconisations

Eléments attendus

Documents

Agence nationale de lévaluation et de la qualité des établissements et services sociaux et médico-sociaux Journée dinformation pour les organismes candidats