Un guide simple pour l’évaluation et l’analyse sommative des projets du FEDER

Le Department for Communities and Local Government (DCLG) a publié des lignes directrices pour préparer les analyses sommatives des projets financés par le Fonds européen de développement régional (FEDER) en Angleterre.Regeneris Consulting a aidé le DCLG à rédiger ces lignes directrices, et nous en comprenons bien les exigences.

Depuis leur publication, les équipes de plusieurs projets du FEDER ont communiqué avec nous pour savoir si elles s’appliquent à eux. Nous avons donc pensé répondre ici aux principales questions qui nous sont posées et fournir quelques conseils.

1 – Les nouvelles lignes directrices s’appliquent-elles à mon projet?
Des bénéficiaires de subventions ont demandé s’ils doivent préparer une analyse sommative s’ils ont déjà soumis le modèle logique de leur projet au DCLG.
La réponse courte est oui. Tous les bénéficiaires de subventions du FEDER doivent effectuer une analyse sommative de leur projet, quelle que soit sa taille. Le modèle logique n’est qu’une étape de ce processus d’analyse.

2 – Est-ce que l’analyse sommative est la même chose que l’évaluation de projet?
Encore une fois, la réponse courte est oui. Le DCLG parle d’analyse sommative plutôt que d’évaluation, car les répercussions ne seront pas toutes mesurables au moment de l’analyse. Bien que cela puisse être un défi pour certains types de projets, tous les bénéficiaires de subventions devront fournir une analyse de l’ampleur et de la nature des répercussions attendues dans le cadre de l’analyse sommative.

Les lignes directrices spécifient que l’analyse sommative doit aborder tous les volets d’une évaluation de projet normale :

• la vérification de la conception du projet;
• l’évaluation du rendement, y compris le rendement par rapport aux objectifs;
• l’évaluation des processus, y compris l’approche d’exécution et de gestion;
• l’évaluation des répercussions économiques, y compris l’atteinte des résultats et les répercussions sur les bénéficiaires et l’économie locale ciblée;
• l’évaluation économique axée sur l’optimisation des ressources pour les bailleurs de fonds.

En pratique, l’importance de chacun des éléments de l’analyse peut varier selon la nature et la taille du projet à l’étude.

3 – Quelle part de nos ressources devrions-nous consacrer à l’analyse sommative?
Les directives du DCLG indiquent clairement que les ressources consacrées aux évaluations sommatives doivent être proportionnelles à la taille du projet, jusqu’à un maximum de 1 % des dépenses totales du projet.
Il s’agit d’une recommandation, car les ressources nécessaires varient selon le type de projet. Nous encourageons tous les bénéficiaires de subventions du FEDER à consacrer un nombre suffisant de ressources pour permettre une évaluation solide et pertinente.

Après tout, même si nous ne sommes pas certains de ce qui remplacera les fonds structurels, la concurrence pour les ressources sera certainement féroce, et des preuves de l’efficacité de votre projet amélioreront ses chances d’obtenir du soutien au cours des prochaines années.

4 – Quelles sont les méthodes les plus appropriées pour mesurer l’impact de mon projet?
Les nouvelles lignes directrices tiennent compte de l’importance accrue que le gouvernement accorde aux preuves de retombées économiques. C’est évident vu l’accent mis sur les méthodes contre-factuelles pour l'évaluation des répercussions (CIE). Autrement dit, les méthodes CIE s’appuient sur des zones ou des groupes de comparaison pour mesurer la contribution économique ou autre d’un projet indépendamment de tous les facteurs influençant les conditions locales.

Les méthodes CIE peuvent être complexes, surtout dans le cas de projets sans bénéficiaires directs comme la construction de nouvelles infrastructures. Les bénéficiaires de subventions devraient toutefois être ouverts à l’idée d’utiliser les méthodes CIE dans le cadre de leurs analyses sommatives, et devraient travailler avec des experts chargés de l’évaluation pour vérifier la faisabilité et la pertinence de ces méthodes.

Il est important de noter que les méthodes CIE ne sont pas toujours appropriées et qu’elles peuvent, si elles sont utilisées à mauvais escient, mener à de fausses conclusions et gaspiller beaucoup de temps, d’efforts et de ressources. Les bénéficiaires de subventions peuvent décider que d’autres méthodes d’évaluation d’impact sont plus appropriées. Il peut s’agir entre autres de diverses méthodes de recherche dans le cadre d’une théorie du changement, mais les experts responsables de l’évaluation doivent faire attention au poids attribué aux opinions subjectives et reconnaître qu’en comparaison avec les méthodes CIE, ces approches ne permettent pas une analyse des répercussions aussi rigoureuse.

Les prochaines étapes pour votre évaluation de projet…
Si le Royaume-Uni souhaite mettre sur pied des programmes de croissance locale plus efficaces après le Brexit, il est important de comprendre ce qui a fonctionné et ce qui n’a pas fonctionné dans le programme du FEDER.

L’évaluation de projet est au cœur de cet enjeu, mais elle est souvent complexe et nécessite l’aide de spécialistes chevronnés pour concevoir et mettre en œuvre les méthodes appropriées. Une planification minutieuse est requise, et les bénéficiaires de subventions du FEDER devraient effectuer leur analyse sommative en avance. Nous recommandons en particulier aux candidats d’examiner attentivement dès maintenant les données à recueillir pour assurer une future évaluation complète et pertinente.

Les lignes directrices sont un bon point de départ pour le bénéficiaire d’une subvention qui souhaite connaître les exigences d’évaluation et retenir les services d’experts. Bien que les lignes directrices orientent les lecteurs vers des directives d’évaluation plus détaillées, nous recommandons fortement aux bénéficiaires de subventions de trouver des solutions dès que possible et d’en discuter avec des experts de l’évaluation avant de se tourner vers une aide extérieure.

Pour en savoir plus sur les exigences de l’analyse sommative et sur la façon dont elle s’applique à votre projet du FEDER, veuillez communiquer avec Neil Evans ou Stuart Merali-Younger.