Nouvelle démarche de suivi et d’analyse : le point avec Tristan Klein

Cette approche par les résultats repose moins sur la dépense des crédits communautaires que sur la mesure des réalisations et des résultats atteints. Ce changement de logique dans le pilotage des programmes FSE est d’autant plus important que le suivi des données est désormais un processus continu et systématique : avec le choix fait par l’autorité de gestion du programme de dématérialiser totalement la saisie des indicateurs par les porteurs de projets, les informations sont désormais collectées et capitalisées en permanence. L’approche ouvre des opportunités inédites qui ne concernent pas seulement la gouvernance du programme : premiers concernés par la collecte et la saisie des indicateurs, les porteurs de projets se retrouvent au cœur du dispositif et peuvent y trouver des solutions concrètes pour le pilotage de leurs propres opérations.

Tristan Klein, Chef-adjoint Mission appui au déploiement des programmes du Fonds Social Européen (Direction générale à l’emploi et à la formation professionnelle), nous en dit plus.

Tristan Klein, la programmation 2007-2013 marquait déjà une étape importante pour le pilotage du Fonds Social Européen avec la mise en place d’un suivi évaluatif par publics cibles, l’introduction d’indicateurs de résultats et la production de rapports d’évaluation annuels. En quoi la nouvelle génération de programme est-elle différente pour le suivi des programmes ?

Tristan Klein : Il est vrai qu’en matière d’évaluation, des points avaient été marqués dans le cadre de la programmation 2007-2013 mais les acquis en matière d’évaluation des fonds européens ont permis de voir plus loin pour la période actuelle. Je dirais que, pour la nouvelle génération de programmes, l’approche par les résultats tire les enseignements de la précédente programmation qui était davantage centrée sur une approche financière et ne rendait pas totalement compte des résultats obtenus. Les indicateurs financiers restent d’actualité mais l’accent est davantage mis sur les indicateurs de réalisation et de résultats. Ni plus ni moins, il s’agit d’identifier le plus précisément possible la valeur ajoutée du FSE.

Ce qui est particulièrement intéressant avec cette nouvelle génération de programmes, c’est que le suivi et les indicateurs s’appuient désormais sur des micro-données, c’est-à-dire des données individuelles qui vont permettre un suivi de chaque participant des opérations cofinancées. On passe d’une approche un peu « macro » entre 2007-2013 à un suivi très fin des personnes qui bénéficient du Fonds social européen. La dématérialisation de cette collecte dans l’applicatif de gestion du programme fait elle aussi passer le suivi à un niveau supérieur puisqu’il nous est désormais possible d’exploiter les informations saisies en temps réel. Cela ouvre un champ très large de possibilités pour analyser les résultats observés et ce, à tous les niveaux, puisqu’il faut aussi travailler dans le sens où les porteurs de projets puissent accéder facilement à ces données pour mieux cerner les réussites de leur projet et en corriger plus rapidement les éventuelles faiblesses.

“ Pour la nouvelle génération de programmes, (…) l’accent est davantage mis sur les indicateurs de réalisation et de résultats. Ni plus ni moins, il s’agit d’identifier le plus précisément possible la valeur ajoutée du FSE.” Tristan KleinChef-adjoint Mission appui au déploiement des programmes du FSE (DGEFP)

Dans cette logique d’approche par les résultats, le porteur de projet passe au premier plan puisqu’il joue un rôle central en collectant régulièrement des informations, y compris parfois sur des données personnelles des individus. Est-ce qu’on peut dire que les porteurs de projets deviennent, eux aussi, acteurs de la performance ?

T.K. : Oui, c’est un vrai changement par rapport à la période précédente dans la mesure où les porteurs de projet sont parties prenantes du pilotage d’un ensemble plus global. C’est pourquoi l’intérêt de la démarche ne sera pleinement atteint que si l’ensemble des acteurs de cette chaîne, les bénéficiaires et les gestionnaires, se saisissent de cette opportunité. Il ne s’agit pas de collecter seulement les données, il s’agit surtout d’avoir une connaissance précise des résultats obtenus sur les participants pour que chacun puisse se poser les bonnes questions : est-ce que le projet s’adresse aux bonnes personnes ? Est-ce que les résultats obtenus à la sortie immédiate de l’opération sont intéressants et significatifs ? Pour le porteur de projet, il s’agit ni plus ni moins d’ajuster son opération pour une meilleure efficacité ; pour les gestionnaires, c’est sélectionner les bons projets ; pour la DGEFP, c’est nourrir la réflexion pour réorienter le programme vers d’autres types d’opérations s’ils s’avèrent plus pertinents ou conforter les opérations programmées le cas échéant. Désormais, un lien direct est fait entre l’atteinte de cibles pour les participants et l’obtention de la réserve de performance, ce bonus financier qui ne sera versé par la Commission européenne que si les cibles fixées pour certains indicateurs du programme sont atteintes. Dès lors, on voit bien qu’il y a une chaîne de responsabilité qui se met en place où chacun doit prendre une part active pour obtenir ce « bonus » et éviter le « malus », c’est-à-dire le non versement de la réserve de performance par l’Europe, voire la suspension de paiement du programme ou des corrections financières.

Ce lien entre le suivi des participants et l’obtention de la réserve de performance focalise beaucoup d’attention. Pour autant, l’approche par les résultats ne se réduit pas à cet enjeu, même s’il est évidemment très important pour la France. Le corpus d’indicateur mis en place pour le programme FSE est plus vaste et il est aussi pensé comme un outil de pilotage politique du FSE. Justement en quoi consiste ce pilotage politique des programmes? Quel est l’enjeu global du système évaluatif au-delà de l’enjeu financier ?

T.K. : C’est vrai que l’attribution d’un bonus financier parce qu’on a des résultats conformes aux objectifs est évidemment très important. Il focalise l’attention sur ce qu’on appelle le « cadre de performance », c’est-à-dire cette sélection d’indicateurs faite au début du programme et dont l’atteinte ou non déterminera l’obtention de la réserve de performance. Mais, il ne faut pas oublier que l’enjeu principal, c’est avant tout de s’assurer que le FSE est bien destiné aux personnes qui en ont le plus besoin. Le système de suivi contient donc une batterie d’indicateurs beaucoup plus large que ceux examinés pour la réserve de performance.
En 2016, nous n’en sommes pas encore à constater les résultats formels du programme mais ces indicateurs permettent déjà de vérifier que les personnes qui participent aux opérations sont bien les personnes prioritaires. Si on prend l’inclusion active, par exemple, on est déjà capables de dire si les actions pour lever les freins à l’emploi s’adressent bien majoritairement aux individus les plus éloignés de l’emploi. Pour cet axe d’intervention, nous avons choisi de viser en priorité les chômeurs et les inactifs et le « relevé » régulier des indicateurs nous permet de savoir presque en temps réel si nous ne déviions pas de cette cible. Par « nous », je parle bien évidemment de l’autorité de gestion, mais aussi des autorités de gestion déléguées et des porteurs de projets !

On voit bien la chaîne de responsabilité qui se met en place, où chacun doit prendre une part active, qu’il soit bénéficiaire ou responsable du programme. Mais comment mobiliser davantage les porteurs de projet et faire en sorte que l’approche par les résultats soit perçue non pas comme une contrainte mais comme un outil de pilotage de la performance au niveau du projet lui-même ?

T.K. : Pour assoir une mesure fiable de la performance, il faut collecter des données sur tous les individus participants, ce qui peut être compliqué à mettre en place, y compris par les bénéficiaires. La responsabilité des porteurs de projets est, on le voit, montée d’un cran dans cette nouvelle génération de programmes. D’un autre côté, les indicateurs peuvent parfois sembler « hors sol » ou trop fermant par rapport aux réalités des territoires ou des bénéficiaires. Aujourd’hui, tout l’enjeu est de montrer que ce cadre permet d’avoir une vision partagée de la direction à prendre, y compris pour faire évoluer, éventuellement, le système de suivi. La démarche d’évaluation n’a de sens que si l’ensemble des acteurs s’en saisit pour nouer un dialogue avec l’autorité de gestion et discuter au fond des résultats. Ce n’est pas l’affaire d’un petit cercle d’initiés ! Bien au contraire, je dirais que c’est un sport d’équipe où tous les membres ont un rôle déterminant à jouer. Si on veut qu’elle soit fiable, la méthode impose une identification complète des caractéristiques des personnes.

Quand on aborde les critères de discrimination, avec l’obligation de collecter des informations personnelles – une approche qu’on a peu l’habitude de voir en France - les choses peuvent devenir compliquées pour les porteurs de projet. La solution, c’est de démontrer qu’on est dans un partenariat gagnant-gagnant : pour le porteur de projet, une collecte réussie lui permettra de proposer aux bénéficiaires de son action la meilleure solution possible en fonction de leur situation personnelle ; pour la DGEFP, cela permet de conduire des évaluations d’impact de qualité, compatibles avec les standards européens et internationaux les plus élevés. En tant qu’autorité de gestion, elle est déjà en capacité de rendre compte de ses résultats auprès de la Commission européenne dans le cadre de rapports annuels. Si on veut pleinement être dans l’esprit d’équipe que j’évoquais, les bénéficiaires comme les gestionnaires doivent maintenant pouvoir visualiser plus souvent et plus facilement les données amassées. En tant qu’autorité de gestion, notre effort doit donc être de construire des outils de pilotage qui permettront à chacun, à son niveau, de piloter au mieux le bout de la chaîne qui le concerne C’est, au final, un gage de qualité pour la meilleure utilisation possible des fonds publics et l’assurance que les porteurs de projet pourront se saisir, à leur niveau, des opportunités offertes par l’approche par les résultats.

• A-
• A+