Veille n°21 : Les dernières actualités

Février-Mars 2023

Événements et actualités du secteur

En France

• • La deuxième session du Petit déjeuner de la mesure d’impact 2023 co-animé par Convergences, l’Avise et Improve aura lieu jeudi 23 mars prochain avec pour objectif d’approfondir les réflexions autour des angles morts des approches de la mesure d’impact. 
  • L’Avise, qui porte le Fonds social européen + (FSE+) au niveau français, lance un nouvel appel à projets à destination des acteurs de l’ESS pour “soutenir la conception, l’expérimentation et la diffusion des outils et démarches d’évaluation d’impact social”. Cet appel à projet vise particulièrement le développement de pratiques d’évaluation dans des secteurs ou sur problématiques sociales ou environnementales pour lesquels les démarches évaluatives sont encore rares.
  • Le Sommet de la mesure d’impact organisé par l’Impact Tank a eu lieu le 13 février à l’Assemblée nationale et a rassemblé plusieurs centaines de participants. Le replay est disponible ici.
  • La Fondation Caritas France a lancé le programme Acteurs de Transition-s pour accompagner et soutenir sur trois ans, huit associations et entreprises de l’insertion sociale dans le but de faire des plus fragiles, les acteurs de la transition écologique de demain. Pour cela, les lauréats obtiendront une aide aide financière à hauteur de 45 000€ par an et par lauréat ainsi que le financement d’accompagnements, tels que la mesure d’impact social, qui sera réalisée par Kimso.
  • Le 17 janvier, Collectif Mentorat a organisé un Webinaire pour décrypter les impacts et accompagner le déploiement de programmes. Pendant une heure, les participants ont pu échanger en présence de Charlotte Caubel, secrétaire d’État chargée de l’Enfance, sur l’impact social du mentorat proposé aux jeunes de l’Aide Sociale à l’Enfance. Une amélioration de la scolarité, de l’ambition et la projection professionnelle, du quotidien et de la situation sociale et affective ont été observées et quantifiées. Le replay est disponible ici.
  • L’Agence Phare propose des formations sur comment évaluer son impact social dans le cadre d’un accompagnement collectif mis en place par Paris Initiative Entreprise. Cette introduction à la méthodologie de l’évaluation d’impact social sera à destination des associations parisiennes et se déroulera en octobre et novembre 2023.

A l’international 

• • Le J-Pal fête cette année ses 20 ans et dresse à cette occasion un bilan des actions effectuées : plus de 1640 études ont été conduites par un réseau de chercheurs dans 95 pays. L’organisme a formé plus de 20000 personnes à l’évaluation randomisée et noué des partenariats avec plus de 25 gouvernements pour mettre l’évaluation d’impact au cœur de la création de politiques publiques contre la pauvreté. 
  • Social Value International a organisé en février une consultation autour des “Drafts Standards,” un document exposant, pour chacun des huit principes de SVI, les actions qu’un praticien doit entreprendre afin de répondre à ces principes, au-delà de la formalisation d’un rapport. 
  • L’IAIA (International Association for Impact Assessment) propose deux cours en ligne intitulés “Une évaluation d’impact plus efficace : outils pour une argumentation plus solide et une rédaction plus claire” et “Un engagement efficace dans l’évaluation d’impact : travailler selon les normes internationales” (en anglais) à partir des 14 mars et 21 mars 2023 respectivement. Plus d’informations ici.
  • GEI annonce la prochaine édition de la gLOCAL Evaluation Week du 29 mai au 2 juin 2023. 
  • Social Value UK propose sa formation “Value & SROI practitioner » en ligne, avec un format de cinq rencontres sur deux semaines. Les prochaines sessions démarreront les 25 avril et 15 mai prochains. 

Rapports d’impact

En France

• • L’institut Break Poverty a publié ce mois-ci, son rapport d’impact annuel 2022 sur le programme DAT (Dotation d’Action Territoriale) et mené par le cabinet d’évaluation d’impact social Koreis. Trois axes principaux de bénéfices ont été dégagés : un renforcement des capacités d’action des associations partenaires, une sensibilisation des entreprises locales sur le mécénat et l’accompagnement des jeunes. Au total, plus de 40 territoires et 12 000 jeunes ont pu bénéficier du programme, avec un objectif de 100 000 jeunes à l’horizon 2028. 
  • L’Agence Phare a restitué l’évaluation du plan de déploiement numérique scolaire à Saint-Quentin en Yvelines. En lien avec l’Éducation nationale, cette commune a lancé un plan d’équipement numérique et de formation pour ses écoles maternelles et élémentaires. Cette évaluation vise à mieux comprendre l’apport du numérique aux pratiques pédagogiques mais aussi les conditions d’intégration des ces  nouveaux outils à l’apprentissage et les usages qui en sont faits.

A l’international

• • Cleber Lopes et Rafael Rossato, de l’Universidade Estadual de Londrina, publient l’évaluation d’impact d’un programme nommé Escola Segura, mis en place dans l’état du Parana (Brésil) en 2019 pour mettre fin aux violences dans les écoles en embauchant des policiers militaires à la retraite pour travailler à leur prévention. Les données d’une enquête de victimisation menée dans l’école étudiée et dans une autre école similaire qui n’a pas bénéficié du programme sont utilisées. Les résultats montrent que l’Escola Segura n’a pas d’impact sur les variables analysées (sentiment de sécurité, victimisation, graffitis et consommation de drogues illicites).
  • L’envoi de SMS suggérant des activités ludiques et pédagogiques aux parents peut-il améliorer le développement du langage des enfants ? Susanna Loeb (Stanford), Michala Iben Riis-Vestergaard (J-Pal) et Marianne Simonsen (Aarhus University) ont étudié le programme Tipsbytext proposé aux parents d’enfants âgés de 3 à 6 ans dans des écoles maternelles danoises. Bien que le programme ait été généralement apprécié par les parents et qu’il ait été mis en œuvre comme prévu avec un taux d’abandon relativement faible, il n’a pas eu d’effet sur le développement du langage des enfants. 
  • Emoha a réalisé l’évaluation du programme éducatif EJO, déployé par PLAY International au Burundi, au Sénégal, au Liberia et au Kosovo, et soutenu par l’Agence Française de Développement. EJO est un programme de formation aspirant à renforcer les compétences pédagogiques et didactiques des acteurs éducatifs locaux via l’apprentissage de jeux socio-sportifs, afin de travailler avec les enfants à partir de 6 ans à leur éveil thématique sur des sujets clefs et contemporains et leur développement et renforcement de compétences psychosociales. Le rapport d’évaluation a pu mettre en lumière les effets du programme tant sur les acteurs éducatifs formés, que sur les enfants bénéficiaires de séances d’éducation par le sport, mais aussi sur les communautés locales qui profitent indirectement de l’implémentation d’EJO.

Publications

En France 

• • France Stratégie a publié un rapport intitulé “Impact, responsabilité et performance globale”. Les auteurs reviennent sur les spécificités de l’évaluation des politiques publiques et de l’évaluation d’impact dans l’ESS. Ils font également la distinction entre différents usages du terme « impact » dans le champ de la RSE, qu’il s’agisse de l’impact des produits et activités des entreprises ou de l’impact entendu comme une contribution intentionnelle des entreprises à des enjeux sociétaux. Le rapport aborde aussi les enjeux méthodologiques de l’évaluation d’impact et notamment les questions des indicateurs et de la monétarisation.
  • Fair publie une réflexion sur ce qu’est un contrat à impact rigoureux. L’une des conditions réside dans l’évaluation d’impact, qui suppose d’envisager le cadre évaluation en partant des problématiques sociales, en réalisant une théorie du changement cohérente, en impliquant les parties prenantes, en adaptant la démarche évaluative au caractère expérimental du CI, notamment en limitant le nombre des indicateurs étudiés, en intégrant une démarche quantitative pour mesurer les résultats et en adoptant dès le départ une réflexion sur la pérennisation du projet et du suivi de son impact.
  • Les Échos a mis en ligne une tribune sur le thème des mesures alternatives de la croissance. En effet, aujourd’hui le PIB ne représente que partiellement la dynamique d’un pays en se focalisant uniquement sur une croissance matérielle, sans prendre en compte les inégalités, la durabilité environnementale, la qualité de vie, la santé ou encore le bien-être social. Des indicateurs sociaux alternatifs et leurs mesures sont mis en avant pour compléter le PIB et le rendre plus juste dans l’objectif de s’assurer qu’une croissance économique s’accompagne d’un impact positif sur la société.
  • Cyrille Tassart réalise une recherche-action sur l’approche systémique appliquée aux associations qu’il définit comme une manière  « d’aborder, de chercher à comprendre différemment un besoin social  et peut être améliorer ses modes d’actions ou en trouver de nouveaux ;  le tout à l’aide de la pensée systémique ». Il y questionne notamment le rôle d’avocat des associations qu’endossent souvent les évaluateurs d’impact social en fournissant des preuves de leur impact. Se faisant, selon lui, ils rendent difficile la prise en compte d’un changement systémique dans la mesure où les associations se sentent renforcées dans leur recherche d’un impact direct, qui ne contribue en réalité que peu à résoudre réellement une problématique sociale.
  • Le nouvel Économiste propose une réflexion sur l’importance pour les associations d’être transparentes financièrement. En plus d’obligations légales, une demande grandissante des donateurs s’observe. En effet, les donateurs sont de plus en plus soucieux de la façon dont leurs dons sont utilisés. Cependant, cette transparence a un coût et un équilibre doit être trouvé entre transparence et gestion efficace des coûts. Les études d’impact social sont devenues incontournables pour financer durablement de tels programmes car elles permettent de maximiser leur impact tout en permettant de rassurer les donateurs et d’en attirer de nouveaux.
  • L’institut Choiseul a publié une étude sur le thème d’une problématique de plus en plus présente chez les dirigeants : l’impact. On retrouve retrouve tout au long de cette étude conseils et bonnes pratiques,comme par exemple une introduction à la mesure d’impact, dans le but d’inspirer les entrepreneurs d’aujourd’hui et de demain à proposer un “Leadership d’impact”.
  • À l’occasion du prix de l’Entrepreneur social, le Boston Consulting Group à publié son Rapport sur les Licornes à impact. Une licorne à impact désigne une start-up à impact avec à la fois un fort potentiel de croissance mais aussi un fort apport social et/ou environnemental. Dans ce rapport, BCG en collaboration avec Mouvement Impact France et le Laboratoire E&MISE de l’ESSEC propose un critère concret pour mesure cet impact : les coûts que ces entreprises évitent à la société (ou SROI) remplace alors la valorisation financière de la définition classique d’une licorne dans le monde de l’entreprenariat. L’objectif avec cette nouvelle définition est de faire émerger les premières Licornes d’ici 2030 et le rapport en profite pour couvrir déjà un panel de 11 start-up à impact, social, environnemental et sur la santé.
  • Les associations sont-elles poussées vers le marché ? C’est en tout cas le constat de l’observatoire citoyen de la marchandisation et des associations dans son premier rapport annuel. Né d’un besoin de comprendre les logiques de marché dans le paysage associatif, cet observatoire citoyen propose une liste exhaustive des différents investissements à impact en France ainsi qu’une analyse commune sur le processus de marchandisation, le financement et les différentes logiques de marché qui traversent le monde associatif. Une partie entière de ce rapport est dédiée à une proposition critique de la mesure d’impact social dans le contexte associatif.

A l’international 

• • Mario La Torre et Sabrina Leo, de l’Université de Rome (Italie), publient un ouvrage intitulé “Contemporary Issues in Sustainable Finance, Exploring Performance, Impact Measurement and Financial Inclusion,” incluant deux articles portant sur la mesure de l’impact dans l’investissement (How to Scale Impact Measurement? Evaluating the Application of the Synthetic Control Method in Impact Measurement et Impact Investments Measurement: Bridging Research and Practice).
  • Comment le changement s’opère-t-il dans des contextes complexes et dynamiques ? C’est à cette question que cherche à répondre la méthode du suivi des processus (« Process tracing ») présentée par Jewlya Lynn, Jennifer Byers et Sarah Stachowiak dans un document publié par le Center for Evaluation Innovation (Etats-Unis). Les autrices ont rédigé cette note pour aider les acteurs à opérationnaliser les concepts et à connaître les étapes pratiques pour utiliser cette méthode plus facilement.
  • Le J-Pal (Etats-Unis) publie un article de blog sur la mesure des résultats de long terme basé sur son expérience du sujet. Après avoir défini ce qu’est un résultat de long terme (en reprenant les travaux de Bougen et al. qui retiennent 10 ans ou plus après l’intervention) et pourquoi il est intéressant de le mesurer, des exemples de tendances observées sont données. Les résultats à long terme de certaines études commencent notamment à révéler des effets différentiels entre les groupes traités, notamment en fonction du sexe. Les autrices donnent enfin des pistes méthodologiques pour intégrer la collecte de résultats de long terme au design des études. 
  • Lisa Hehenberger (Espagne) publie dans la Stanford Social Innovation Review un article intitulé « Prioritizing Impact Measurement in the Funding of Social Innovation, » dans lequel elle revient sur les pratiques d’évaluation d’impact des investisseurs et des subventionneurs, ainsi que sur les principaux enjeux à l’oeuvre : développement de normes d’impact et de comptabilité d’impact ou la nécessité de construire la transparence et une culture de l’apprentissage.
  • EvalAcademy (Canada) publie un guide de cadrage à destination des évaluateurs, recensant les questions que les évaluateurs peuvent poser aux gestionnaires de programme ou à d’autres parties prenantes pour mieux comprendre la portée du programme et de son évaluation.
  • BetterEvaluation (Etats-Unis) propose des conseils à destination des évaluateurs pour améliorer la façon dont ils communiquent leurs résultats. Il s’agit notamment d’identifier les messages les plus importants, d’axer la structure du rapport sur ces messages, de se débarrasser des détails sans importance, de veiller à la cohérence de leurs conclusions et de rédiger avec clarté.

Newsletters

• La newsletter de l’Avise sur l’évaluation d’impact social en France
• La newsletter de Stanford Social Innovation Review (SSIR)

Retrouvez tous les mois notre veille internationale sur l’évaluation d’impact social sur la page LinkedIn du Labo.

Des questions ? Des propositions de contributions ou des solutions pour l’évaluation d’impact social ? Contactez-nous via leclerc@essec.edu 

Note de Veille rédigée par Clara Cohade, Gaspard Cherruault et Louis Raynaud de Lage, sous la direction d’Elise Leclerc.