Évaluer pour mieux décider : guide pratique pour améliorer les politiques publiques

Moderniser et renforcer la fonction publique, c’est l’objectif que le gouvernement entend atteindre en prônant l’efficacité et la transparence, selon les termes de l’accord de coalition actuel. Et si la pratique de l’évaluation faisait partie de la solution ? C’est ce qu’estiment Jacques-Félix Wirtz et Constantin Keith, respectivement Director et Associate Consultant au sein du département « Industry & Public Sector Consulting » de PwC Luxembourg. Pourquoi évaluer une initiative publique ? Selon quels critères et quelles méthodes ? Et, surtout, comment s’approprier les résultats ainsi obtenus ? Éléments de réponse.

Une pratique aux multiples bénéfices…

À ne pas confondre avec l’audit, l’évaluation est un processus systématique et structuré permettant de mesurer la pertinence, la cohérence, l’efficacité, l’efficience, l’impact et / ou la durabilité de projets, programmes et autres politiques. « Ces critères – retenus par l’OCDE – visent notamment à assurer que les initiatives publiques répondent à un réel besoin, se coordonnent adéquatement et n’entrent pas en contradiction les unes avec les autres. Ils permettent également de vérifier qu’un programme, un projet ou une politique atteigne effectivement ses objectifs et que les ressources à disposition (humaines, financières ou encore technologiques) soient correctement utilisées pour ce faire. Quant aux deux derniers critères, ils permettent d’évaluer les effets à moyen et long terme (attendus ou non) des mesures mises en place », explique Jacques-Félix Wirtz.

In fine, l’analyse de tous ces critères doit mener à une prise de décision éclairée, basée sur des données probantes, mais pas seulement. Pour le secteur public, il s’agit aussi d’une affaire de transparence. « Nous vivons dans un monde qui priorise l’opérationnel et dans lequel nous prenons rarement le temps de faire pause pour réfléchir à nos actions et les réorienter le cas échéant. L’évaluation, en ce sens, permet de consacrer du temps à l’amélioration continue. C’est d’autant plus important dans le secteur public où projets et programmes sont menés avec l’argent du contribuable. Les évaluer, c’est rendre compte de l’utilisation de ces ressources financières. Il est ainsi question de redevabilité, mais aussi d’accroître la confiance du citoyen envers les pouvoirs publics », considère Constantin Keith.

« Ainsi, l’évaluation permet de répondre aux ambitions de l’accord de coalition 2023-2028, qui plaide justement pour une fonction publique modernisée, digitalisée, mais aussi plus transparente et efficiente. Malheureusement, force est de constater qu’une telle culture évaluative fait défaut au Luxembourg », souligne Jacques-Félix Wirtz.

… mais encore trop peu répandue

Plusieurs facteurs peuvent expliquer l’intérêt limité pour les pratiques évaluatives. La première relève d’une maîtrise parfois incomplète du processus au sein du secteur public. En effet, les administrations ne disposent pas toujours des outils, des connaissances et des compétences nécessaires pour mener à bien une évaluation de laquelle elles pourraient tirer de véritables leçons. « La pratique évaluative n’est pas encore institutionnalisée au Luxembourg. À ma connaissance, aucun organisme ne propose actuellement de formation y dédiée aux employés et fonctionnaires du secteur public », remarque Jacques-Félix Wirtz. Par ailleurs, ressources humaines et financières font souvent défaut elles aussi. « C’est pourquoi nous recommandons toujours, en amont, de dédier un pourcentage du budget d’un projet à l’évaluation », conseille Constantin Keith.

Autre explication à ce désintérêt pour l’évaluation : le manque de pression externe. « Sauf dans le cadre d’initiatives financées par des fonds européens et d’autres cas spécifiques, nos administrations ne sont pas tenues de procéder à l’évaluation de leurs actions. Or, en l’absence d’obligation, il est fréquent que ces démarches ne soient pas systématiquement entreprises », soulève Jacques-Félix Wirtz.

Et puis, il y a la crainte non négligeable des résultats. « La peur de constater qu’on mène un programme ou une politique non efficiente ou qui ne porte pas ses fruits est réelle. Certains porteurs de projet, qui recourent parfois à l’autoévaluation, nous ont déjà confié faire abstraction des résultats déplaisants de leurs rapports d’évaluation ! En plus d’être plus subjective qu’objective, cette façon de faire ne laisse pas la place à l’amélioration, ôtant tout intérêt à l’exercice. Rappelons-le : l’évaluation doit être vue comme un soutien et non comme un contrôle », affirme Jacques-Félix Wirtz.

Alors que faire ?

Pour que la démarche porte réellement ses fruits, confier l’évaluation à un professionnel objectif et rompu à l’exercice semble alors tout indiqué. « Nous évaluons systématiquement les initiatives de nos clients à l’aune de la théorie du changement. Il s’agit d’identifier les « inputs » (les ressources mises à disposition du projet), les activités réalisées avec ceux-ci et leurs « outputs » (résultats). Suite à cela, nous pouvons analyser l’effet du projet et son impact, ce qui nous permet de déterminer objectivement si l’intervention fait sens », explique Jacques-Félix Wirtz.

Sorte de préambule à l’évaluation, la théorie du changement permet aux équipes de PwC de comprendre les tenants et aboutissants du projet de leur client avant de se pencher sur les critères d’évaluation les plus pertinents. « Nous veillons toujours à organiser une session de cadrage avec le commanditaire afin de comprendre précisément ses attentes. En effet, certains clients souhaitent évaluer la pertinence et la cohérence de leur projet plutôt que son efficacité, son efficience ou son impact, par exemple. Des critères à étudier dépendront alors les méthodes à appliquer, les données nécessaires à l’évaluation (et, par conséquent, les sources dont nous pourrons extraire ces informations) et la mise en place d’une matrice évaluative complète et cohérente garantissant la pertinence de l’exercice », indique Jacques-Félix Wirtz.

Le cabinet de conseil intervient avec une approche formative et participative qui implique le commanditaire au maximum afin que celui-ci s’approprie non seulement le processus évaluatif, mais aussi et surtout ses résultats. « Nous organisons des ateliers collaboratifs pour travailler ensemble sur les éléments clés qui permettraient d’améliorer les éventuelles faiblesses détectées au terme de l’évaluation. C’est primordial pour tirer des leçons et des bénéfices de la démarche. Sans cela, les résultats risquent de terminer au fond d’un tiroir », précise Constantin Keith.

Quant au bon timing pour se lancer ? Il n’y en a pas. Tout dépend des attentes placées dans le processus. « L’exercice peut être effectué à différents stades d’un programme. L’évaluation dite « ex-ante » se rapproche de l’étude de faisabilité et l’évaluation « ex-post » est généralement réalisée plusieurs années après l’achèvement du projet, du programme ou de la politique en question pour juger son impact à long terme. Plus courante, l’évaluation finale vise à en mesurer les effets directement à son terme. Intéressante également, l’évaluation à mi-parcours permet de réajuster le tir en cours de route si nécessaire. Elle est particulièrement utile dans le cadre de programmes pluriannuels qui se succèdent directement, par exemple », poursuit Constantin Keith.

Une constante néanmoins : l’évaluation se prépare en amont, par l’allocation d’un budget et la mise en place d’un système de collecte de données, sans quoi il est impossible de procéder à une évaluation rigoureuse !