Dans la continuité de notre article publié le 1er février 2022, dans lequel nous avons exploré ce que sont les contrats à impact social (CIS), leurs avantages, limites et conditions optimales d’utilisation, le présent article vise à questionner les enjeux et pratiques en matière d’évaluation d’impact social qui accompagnent cet instrument financier. Cette réflexion s’inscrit dans un contexte où les CIS sont soit tancées pour leur complexité, leur coût et l’absence de preuve tangible de leur efficacité et de leur efficience, soit présentées comme la panacée pour résoudre les problèmes sociaux demeurés des angles morts des politiques publiques ou pour apporter une réponse aux besoins de financement des innovations sociales. L’état des connaissances nous invite à une plus grande nuance. Nous proposons donc ici d’aborder ce à quoi sert l’évaluation dans les CIS, d’identifier les difficultés possibles dans sa mise en oeuvre et de d’explorer les différentes approches possibles en fonction des objectifs que poursuit l’intervention financée.
Le dispositif d’évaluation d’impact social : la clé de voûte des CIS
L’évaluation revêt une importance stratégique, non seulement pour valider les résultats qui conditionnent le paiement de sommes aux investisseurs privés, mais aussi parce qu’elle peut servir à analyser la manière dont le contrat à impact social a été mis en œuvre et a fonctionné. L’évaluation permet également d’identifier les causes qui ont permis que les résultats soient atteints ou non, y compris en abordant les questions de causalité (OCDE, 2016). Enfin, l’évaluation peut servir l’amélioration continue de l’intervention financée grâce à un travail de suivi régulier, d’analyse approfondie et de recommandations concrètes de l’évaluateur auprès de l’opérateur.
Dans cet esprit, pour l’Avise (2018), l’évaluation d’impact est centrale dans les CIS à deux niveaux :
- Elle est au cœur de la construction juridique et financière du contrat à impact social et des engagements entre les trois acteurs principaux : opérateur social, investisseur privé et tiers payeur public. En effet, le déclenchement du paiement de l’investisseur par le tiers-payeur public est conditionné par l’atteinte des résultats fixés dans le contrat, objectivés par l’évaluateur désigné dans le contrat sur la base d’indicateurs fixés également dans le contrat.
- Par ailleurs, l’évaluation nourrit une logique d’innovation ou d’expérimentation sociale.
Plus récemment, Impact Track (2021), propose d’assigner à l’évaluation d’impact social des CIS trois objectifs :
- Permettre aux acteurs du projet de s’accorder sur les objectifs que l’on veut atteindre et la manière de le faire d’une part et les indicateurs d’impact que l’on veut mesurer, d’autre part.
- Construire un système d’évaluation qui crédibilise le mécanisme de financement et permette que tous les acteurs puissent travailler en confiance et en transparence.
- Permettre en fonction des résultats vérifiés par l’évaluateur, le remboursement des investisseurs.
Enfin, il est important de noter qu’une évaluation permet d’analyser les externalités positives ou négatives c’est-à-dire les conséquences inattendues, tant positives que négatives, des actions menées dans le cadre du CIS. Elle peut aussi servir à explorer les différents niveaux d’impact. Par exemple, l’évaluateur pourra analyser si les changements observés pour les bénéficiaires découlent de l’intervention financée par le CIS, de l’accent mis sur les résultats, ou du mécanisme du CIS lui-même (Disley et al., 2011).
Quelles sont les difficultés et risques liés à l’évaluation d’impact social des CIS ?
Plusieurs difficultés peuvent survenir dans l’évaluation d’un CIS et doivent donc être anticipées. Selon Rijpens et al. (2020), elles peuvent être de quatre ordres :
- La première difficulté réside dans la capacité de l’évaluateur à mesurer des résultats dans la durée afin de vérifier si les objectifs fixés initialement ont été atteints ou non. Quels résultats faut-il suivre ? Comment les mesurer ? Avec quels indicateurs ? Quels moyens de collecte faut-il mettre en place ?
- La deuxième question est d’établir et de comprendre la causalité entre les actions d’un programme et l’impact impact mesuré/observé. Comment identifier la part du résultat attribuable à l’intervention ?
- Une autre difficulté réside dans la différence de temporalité. Le temps du contrat à impact social s’inscrit dans un horizon de temps court là où les changements que l’on souhaite voir advenir pour les bénéficiaires peuvent intervenir plusieurs années après (Albertson & al., 2018). Dans ces conditions, comment peut-on s’assurer que les effets seront maintenus dans le temps, et/ou prendre en compte les effets à plus long terme ?
- Le quatrième point concerne le processus de définition des indicateurs et d’évaluation de l’impact. Qui doit être impliqué et comment organiser le processus d’évaluation de l’impact ? d’évaluation de l’impact ? E. Scognamiglio et al. (2019) souligne l’importance de de veiller à ce que toutes les parties prenantes potentielles acquièrent les compétences nécessaires pour comprendre et rendre compte des résultats financiers et sociaux.
Quelles approches et méthodes faut-il privilégier pour évaluer un contrat à impact social ?
La conception d’une évaluation ou l’approche retenue en évaluation (en anglais evaluation design) fait référence à la manière dont la démarche d’évaluation est conçue et aux choix de questions évaluatives, de méthodes de collecte et d’analyse des données ainsi qu’à l’utilisation des résultats (Wholey, Hatry, & Newcomer, 2010, p. 2). Ces approches peuvent être définies de différentes manières :
- Selon Devaney & Rossi (1997), le choix de l’approche en matière d’évaluation doit être lié aux besoins spécifiques du programme ou de l’initiative en question.
- Le TIESS (2018) propose un choix des méthodes d’évaluation en fonction de la finalité recherchée par le porteur de projet.
- En matière d’innovation sociale, Pache et al. (2021) considèrent aussi que le choix des approches en matière d’évaluation d’impact social dépend du stade de maturité du projet. Une phase d’expérimentation nécessitera par exemple de clarifier les effets en mobilisant des outils sociologiques et en rédigeant une théorie du changement, un stade de développement du modèle économique fera davantage appel aux méthodes monétaires (SROI, Analyse Coûts-Bénéfices) et un stade de changement d’échelle des expérimentations à valeur de preuve comme les essais contrôlés randomisés.
De manière générale, la logique d’évaluation et les méthodes utilisées dans un contrat à impact social dépendent en grande partie de la logique de paiement retenue et donc de la manière de définir le résultat et de la nature des indicateurs, qui conditionnent le paiement de l’acteur public aux investisseurs privés (OCDE, 2016).
Gustafsson-Wright et al. (2015) ont ainsi montré dans une étude qui porte sur les cinq premières années de mise en œuvre des contrats à impact social que :
- Une logique de paiement axée sur un nombre de bénéficiaires s’appuie davantage sur des méthodes de mesure des résultats avec la plupart du temps une comparaison sur des données publiques validée mais rarement des méthodes expérimentales ou quasi-expérimentales.
- Une logique de paiement fondée sur l’évolution en pourcentage d’un indicateur par rapport à une population donnée s’appuiera quant à elle davantage sur des méthodes par groupe témoin (méthodes expérimentales et quasi-expérimentales) (tableau 1).
Tableau 1 : Exemples de méthodes et d’indicateurs retenus en fonction de la logique de paiement
| CIS / SIB | Thématique | Logique de paiement retenu | Méthode d’évaluation | Type d’indicateur | Indicateurs retenus |
| CIS de l’Adie | Emploi | Paiement par bénéficiaire à un tarif fixé | Recueil de données de suivi par l’opérateur social (avant / après) avec validation par l’évaluateur indépendant
Comparaison avec les données publiques |
Résultat | Nombre de bénéficiaires qui ont eu accès à un financement et un accompagnement
Nombre de personnes insérées durablement par l’activité économique (entreprise pérenne ou retour à l’emploi) |
| CIS Apprentis d’Auteuil – Relais familiaux | Action sociale | Recueil de données de suivi par l’opérateur social avec validation par l’évaluateur indépendant | Réalisation
Résultat |
Nombre de jours d’accompagnement
Nombre de placements évités après 12 et 24 mois |
|
| SIB Peterborough | Justice | Paiement en fonction de l’évolution en pourcentage de l’indicateur par rapport à une donnée de référence pour une population donnée | Groupe témoin
Appariement sur score de propension |
Impact | Diminution du taux de récidive par rapport à un groupe témoin (reconstitution à partir de statistiques publiques) |
| SIB Denver | Justice | Groupe témoin
Méthode expérimentale |
Impact | Nombre d’individus ayant passé la nuit dans leur logement pendant au moins 12 mois
Diminution des nuitées en prison par rapport au groupe témoin (ECR) |
Pour l’Avise (2018), l’approche contrefactuelle (par groupe témoin) fournit « des éléments d’opposabilité pour la partie financière du contrat mais « permet également d’apporter la preuve plus ou moins scientifique du bien-fondé du projet expérimenté ».
Cependant, les approches par groupe témoin peuvent s’avérer difficiles à mettre en place. En effet, le lien de causalité peut être complexe à déterminer (Leeuw et Vaessen, 2009) et la mise en œuvre de la démarche coûteuse (Zandniapour et Vicinanza, 2013). Un groupe de comparaison réel, dont les membres sont par définition en situation de besoin et exclus de l’intervention proposée de façon aléatoire, peut également représenter un dilemme éthique pour l’opérateur (Avise, 2019).
Pour toutes ces raisons mais aussi pour explorer davantage la manière dont l’impact se produit et pour se placer dans une logique d’amélioration des pratiques, il peut s’avérer pertinent d’avoir également recours à des démarches qualitatives. L’Avise l’illustre dans son étude de cas du SIB de Denver, où, au-delà de la mise en place d’un Essai Contrôlé Randomisé (ECR), les évaluateurs ont réalisé une étude sur les processus de mise en œuvre de la démarche pour « comprendre les mécanismes qui conduisent aux cas de succès pour mieux les répliquer ». Cette évaluation permet ainsi de comprendre la manière dont les bénéficiaires sont identifiés et orientés et de faire la distinction entre l’aide qui est proposée par l’intervention évaluée et celle fournie habituellement par d’autres acteurs.
Quels sont les différents types d’indicateurs utilisés ?
3 niveaux d’indicateurs peuvent être distingués dans l’évaluation d’un contrat à impact social (Social Finance, 2016) :
- Un premier niveau composé d’informations de gestion utilisées par les opérateurs sociaux et investisseurs pour améliorer la prestation de services, mais aussi à des fins d’information, afin de maximiser les résultats qui déclenchent le paiement. Le rapport Lavenir les répartit en indicateurs de moyens et en indicateurs de réalisations ;
- Les indicateurs de résultats contractuels constituent le deuxième niveau. Il s’agit des indicateurs sur lesquels reposent le déclenchement du paiement du contrat par le financeur public aux investisseurs privés. Ces indicateurs portent sur des questions comportant des risques financiers et présentant des enjeux de réputation pour les financeurs publics comme pour les investisseurs.
- Le troisième niveau concerne la dimension d’évaluation de l’impact à visée d’apprentissage. Le but est de collecter des données utiles pour développer la connaissance des décideurs politiques, des concepteurs d’intervention, des évaluateurs sur le domaine d’action du Contrat, comme sur le processus d’évaluation lui-même . Ces informations ne présentent pas de caractère essentiel pour la mise en œuvre du contrat à impact social mais sont en revanche précieux dans une démarche d’innovation sociale et d’essaimage.
Figure 2 : Les trois niveaux de données collectées dans un contrat à impact – Source : Social Finance UK, 2016
Dans une perspective orientée vers la mesure de l’efficacité et l’efficience, Emily Gustafsson-Wright et Izzy Boggild-Jones identifient, quant à elles, quatre types de données cruciales dans la collecte de données (2019) :
- Des données sur les coûts de l’intervention : Combien cela coûte-t-il réellement pour obtenir les résultats souhaités ? Et combien cela coûterait-il de faire passer l’intervention à l’échelle, sur un périmètre ou un territoire plus vaste ?
- Des données sur le coût de l’inaction : Combien cela coûterait-il au gouvernement / à la société si les résultats n’étaient pas atteints ?
- Des données de performance de l’intervention en temps réel : Qu’est-ce qui, dans le projet financé, fonctionne (ou ne fonctionne pas) et pour qui ? Que peut-on faire pour améliorer l’intervention ?
- Des données sur les résultats : Les résultats finaux sont-ils atteints ?
Comment choisir et suivre les indicateurs de résultats contractuels ?
Dans un contrat à impact social, l’évaluation a pour finalité de mesurer l’atteinte des objectifs fixés pour le programme financé, afin de déclencher le paiement des sommes prévues dans le contrat par le tiers-payeur public aux investisseurs privés. La définition de ces objectifs et des indicateurs de suivi qui leurs sont associés est donc stratégique au début du contrat.
Plusieurs conditions doivent être remplies pour que le CIS constitue une réponse adaptée au problème social à résoudre : il convient de s’assurer que les objectifs sont clairement définis et précisément délimité dans le temps et l’espace et d’autre part qu’un dispositif d’évaluation d’impact reposant sur des indicateurs de rélaisation de résukta et d’imapct social robuste en termes de faibilité des données collectées, équilibré en termes de moyens à mobiliser et réaliste en termes de disponibilité des données et d’efforts à réaliser pour collecter les données est prévu. C’est la seule façon de savoir si les objectifs fixés ont été atteints, ce qui déclenche le paiement de l’investisseur et justifie la dépense publique (Avise, 2019). Pour ce faire, il est nécessaire de :
- Établir et s’accorder sur un équilibre entre l’objectif de performance sociale et le risque que les investisseurs privés sont prêts à prendre.
- Définir précisément des indicateurs du programme. Par exemple, dans le CIS lié à l’insertion par le logement de personnes sans-abri fondé sur l’approche « Housing First » dans la ville de Denver, deux indicateurs ont été retenus (Fair, 2020) :
- Un indicateur de résultat sur la stabilité dans le logement : nombre d’individus ayant passé la nuit dans leur logement pendant au moins 12 mois,
- Un indicateur d’impact : diminution des nuitées en prison par rapport au groupe témoin ;
- Définir le niveau d’exigence du projet financé à travers le choix du type d’indicateur (de moyen/réalisation, de résultat, d’impact) sur lequel la rémunération est fixée. Ainsi, le SIB de Peterborough s’est fixé un unique indicateur d’impact : diminution de 10% de la récidive pour les bénéficiaires du programme dans les douze mois suivant la sortie de prison (Avise 2017).
- Prévoir un dispositif qui n’aboutisse pas à des incitations négatives et qui empêche les phénomènes d’éviction comme par exemple la sélection de certains bénéficiaires et l’exclusion de certains autres éligibles, pour maximiser la probabilité d’atteindre les objectifs fixés. Pour y remédier, l’Adie a par exemple développé un score d’exclusion pour évaluer si les bénéficiaires de l’action financée par le contrat à impact social correspondaient bien à la cible fixée contractuellement (Fair, 2020)
- s’accorder sur des conditions de collecte de données qui permettent de s’assurer du respect des différentes étapes, prévues en amont, de l’accompagnement des bénéficiaires de l’intervention.
Maha Keramane et Emmanuelle Davy soulignent quant à elles, dans un article pour BNP Paribas, banque qui a investi dans plusieurs contrats à impact social, que « l’enjeu est d’identifier des indicateurs clairs, mesurables, incontestables, à la fois ambitieux et réalistes. »
Quelles sont les bonnes pratiques pour mettre en œuvre un dispositif d’évaluation dans un CIS ?
Trois facteurs clés de succès sont identifiés dans le rapport Lavenir (2019) :
- La définition d’une vision commune des objectifs fondamentaux du projet ;
- Une compréhension par chaque acteur de la logique et des contraintes des autres acteurs ;
- Une renonciation à la complexité et à la recherche de la perfection au profit d’une approche simplifiée et conforme aux objectifs de politique publique.
Pour Raphaëlle Sebag et Mathilde Pellizzari, auteurs du rapport “Retour d’expérience sur les contrats à impact social en France” publié par FAIR en décembre 2019, plusieurs conditions sont par ailleurs nécessaires à l’établissement d’un dispositif d’évaluation :
- Une infrastructure de données qui doit reposer à la fois sur des données existantes en nombre suffisant et sur l’ajout d’indicateurs pertinents.
- Le développement d’une culture de l’évaluation pour les porteurs de projets, les investisseurs privés et les acteurs publics.
- Un bon niveau d’équilibre entre la rigueur nécessaire à une évaluation dont dépend la logique de paiement et la simplicité pour une mise en œuvre efficace qui “ne prenne pas le pas sur le travail social et ne mobilise pas trop les équipes d’accompagnants au détriment des bénéficiaires”.
- Une réflexion approfondie sur la nature et le type des indicateurs choisis qui vont nécessairement orienter l’intervention.
- Un calcul, chaque fois que possible, des coûts évités par l’intervention pour identifier le seuil à partir duquel les économies réalisées pour la dépense publique dépasse les coûts du projet. Ainsi une mesure de l’efficience pourrait être pertinente, pour une intervention qui nécessiterait plus de dépenses que les dispositifs existants, mais qui apporterait de meilleurs résultats que ces dispositifs.
Conclusion
Les Social Impact Bonds et leur équivalent français, les contrats à impact social, constituent un outil de financement de l’action sociale émergent et en fort développement.
Le contrat à impact social a cristallisé un certain nombre de tensions et fait l’objet de vifs débats.
Ses partisans y voient un moyen de financer des solutions à des problématiques sociales en faisant porter le risque sur des investisseurs privés, de développer une culture de l’efficacité, de faire de l’expérimentation sociale et de passer des interventions efficaces à l’échelle. Ses détracteurs y voient une marchandisation de l’économie sociale et solidaire, une financiarisation des politiques publiques et une orientation vers la performance qui se feraient au détriment des opérateurs sociaux forcés de rentrer dans une logique concurrentielle et de marché et surtout au détriment des populations fragiles elles-mêmes.
Le caractère récent de ces outils ne permet pas le recul suffisant pour trancher de façon certaine sur leur utilité avérée. Les retours d’expérience mettent en revanche en évidence que cet outil de financement doit être utilisé avec prudence et à certaines conditions, comme par exemple une population bien définie, une problématique sociale ciblée et pour laquelle il n’existe pas de solution éprouvée, un intérêt pour les parties prenantes, des résultats mesurables et un fort potentiel d’impact.
Le dispositif d’évaluation et le choix des indicateurs sont donc cruciaux, puisque des indicateurs retenus, découle la logique de financement du programme et permet notamment de déterminer l’ampleur du risque pris par l’investisseur privé. L’évaluation constitue aussi un mécanisme clé dans le cas des contrats à impact social qui financent de réelles innovations sociales. En déterminant et quantifiant les résultats obtenus et en analysant leurs causes, l’évaluation sert à la fois d’outil de pilotage au service de l’amélioration de l’action et d’outil d’aide à la décision en permettant le cas échéant un passage à l’échelle des solutions réellement porteuses.
Note de Veille rédigée par Louis Raynaud de Lage, sous la direction de Thierry Sibieude et d’Elise Leclerc
Recent Comments