Sélection de la langue

Gouvernement du Canada / Government of Canada

Recherche

Initiative des orientations stratégiques de l'EFPC - Évaluation sommative intégrée : Résumé du rapport

Mai 2018

Évaluation sommative intégrée – version définitive – résumé du rapport

 Résumé

Historique et contexte

En novembre 2014, le Conseil du Trésor (CT) a approuvé l'Initiative des orientations stratégiques (l'IOS ou l'Initiative), un projet échelonné sur 3 ans (de 2014-2015 à 2016-2017) visant à examiner l'exécution et la gestion de l'apprentissage à l'École de la fonction publique du Canada (l'EFPC ou l'École) ainsi que la programmation, le modèle opérationnel et les stratégies qui permettraient de mettre en œuvre un nouveau modèle. L'Initiative visait à établir une plateforme d'apprentissage plus accessible, plus pertinente et plus adaptable. Elle comportait des projets de modernisation des activités opérationnelles de l'École et de modification du modèle de financement, dans le but d'instaurer une nouvelle approche à l'égard de l'apprentissage. Selon cette nouvelle approche, il incomberait aux ministères d'offrir l'apprentissage propre à leur mandat respectif, tandis que l'École offrirait un programme de cours commun s'adressant à l'ensemble de la fonction publique et favoriserait une culture axée sur l'apprentissage dans la fonction publique.

Les 3 dernières années ont été fécondes à bien des égards : consultations auprès des ministères et organismes fédéraux, mise en œuvre progressive du nouveau modèle de financement, révision du programme de cours et mise au point de technologies d'aide à l'apprentissage et de systèmes de renseignements d'affaires. À la fin de l'exercice 2016-2017, les fonctionnaires n'avaient besoin que d'une connexion Internet pour accéder à la plateforme en ligne de l'École, GCcampus, et à la série de produits d'apprentissage qu'elle contient.

Objet et portée de l'évaluation

L'Initiative a fait l'objet d'une évaluation dont le but était de fournir aux décideurs de l'École une rétroaction neutre, fiable et pertinente au regard des engagements faits au premier ministre et au Conseil du Trésor en 2014. Deux exercices d'évaluation ont été menés. Premièrement, en décembre 2016, une évaluation formative a fourni un bilan à mi-parcours de l'Initiative. Cette évaluation portait sur la mise en œuvre de l'IOS et répondait aux questions principalement liées aux activités, aux extrants et aux résultats immédiats de celle-ci. Deuxièmement, le présent document, intitulé Initiative des orientations stratégiques de l'EFPC : Évaluation sommative intégrée, aborde les questions liées aux résultats à moyen et à long terme de l'IOS. Plus précisément, l'évaluation sommative portait sur l'état de la situation après la mise en œuvre de l'IOS, notamment en ce qui concerne les points suivants : pertinence du financement de l'École et de ses autorisations; mesure dans laquelle il y a eu une amélioration du degré de satisfaction des apprenants, des connaissances acquises et de la capacité d'appliquer les connaissances; pertinence du programme de cours de l'École; incidence de l'IOS sur la gamme de produits d'apprentissage de l'EFPC; mesure dans laquelle un programme de cours commun de base a été mis en place; rendement de l'École à l'égard de la présentation des résultats de formation.

L'évaluation sommative portait également sur la façon dont l'École pourra mesurer les résultats de son écosystème d'apprentissage.

Sources de données

Les constatations issues de 5 sources de données ont été résumées pour répondre à chaque question portant sur l'examen des résultats et l'examen du modèle de financement.

Les données ont été recueillies notamment au moyen d'un examen documentaire (plus de 150 documents ont été consultés, y compris des documents internes de l'École, allant des plans de projets aux rapports, ainsi que divers outils de suivi) et d'une collecte de données administratives sur les inscriptions et les évaluations relatives aux produits d'apprentissage qu'a consignées l'École de 2013-2014 à 2016-2017. Des entrevues ont été menées auprès de 45 informateurs clés (17 dirigeants externes, 18 autres représentants externes et 10 membres de l'École). Enfin, un examen documentaire des méthodes employées pour évaluer et communiquer les résultats d'apprentissage de l'écosystème d'apprentissage de l'École a été réalisé. L'examen du modèle de financement de l'École représentait la 5e source de données.

Constatations principales de l'évaluation

Le tableau comporte deux colonnes. Lire la première colonne pour voir les questions d'évaluation, puis la colonne de droite pour voir les constatations principales.
Question de l'évaluation Constatations principales

Le montant réaffecté à l'École était-il adéquat, compte tenu des dépenses permanentes requises pour exécuter le nouveau modèle opérationnel (question 2)?

Les niveaux de référence de l'École pour les années suivant la période de transition (2017-2018 et exercices subséquents) semblent en phase avec les besoins de dépenses projetés.

Les autorisations de dépenser et les recettes de l'École sont-elles convenables (question 3)? Le mandat législatif, les autorisations de dépenser et les recettes de l'École devraient-ils être modifiés de façon à tenir compte de son nouveau mandat et de son nouveau modèle opérationnel (question 1)?

Les autorisations de dépenser et les recettes de l'École sont convenables et n'ont pas à être modifiées.

Dans quelle mesure les orientations stratégiques ont-elles eu une incidence sur l'ensemble des produits d'apprentissage (question 8)?

Dans le cadre de l'IOS, la gamme de produits d'apprentissage de l'EFPC a été considérablement modifiée.

De façon générale, les représentants des ministères et organismes ont accueilli favorablement la nouvelle gamme de produits d'apprentissage, tout en admettant qu'il s'agit d'un processus continu et en rappelant à l'École la valeur de l'apprentissage en personne dans certains cas.

Un programme de cours commun de base a-t-il été établi (question 10)?

L'École a établi un programme de cours commun de base conformément à la définition du Comité consultatif de l'EFPC.

Les représentants des ministères et organismes ont généralement bien accueilli la clarté accrue du programme renouvelé, mais ils trouvent tout de même que l'opérationnalisation de la définition de « programme de cours commun de base » est restrictive.

Le programme de cours de l'École demeure-t-il pertinent pour les fonctionnaires et le gouvernement du Canada (question 7)?

À la fin de la période de 3 ans visée par l'IOS, le programme de cours de l'École a été jugé pertinent pour les fonctionnaires et le gouvernement du Canada.

Y a-t-il eu une augmentation de la satisfaction des apprenants (question 5b)?

La satisfaction des apprenants à l'égard des produits d'apprentissage en ligne à rythme libre a augmenté au cours de la période de 3 ans de l'IOS. Le niveau de satisfaction à l'égard des autres modes d'apprentissage est demeuré stable.

Le degré de connaissances acquises par les apprenants augmente-t-il, et les apprenants appliquent-ils ces connaissances dans leur travail (question 12)?

Une recherche ciblée effectuée par l'École a révélé des gains de connaissances des apprenants et des impacts positifs sur leur efficacité au travail à la suite de certaines activités d'apprentissage, mais ces observations ne peuvent être généralisées à tous les produits de l'École.

L'École peut-elle fournir des données sur les résultats de ses cours de formation (question 11)?

À la suite des activités menées dans le cadre de l'Initiative, l'École a investi dans un système de renseignements d'affaires amélioré qui, combiné aux pratiques existantes en matière de collecte de données, permet de fournir une vaste gamme de mesures des résultats.

Diverses versions de modèles de rapports externes n'ont pas encore répondu aux besoins des ministères et organismes clients.

Comment l'École peut-elle mesurer les résultats de l'écosystème d'apprentissage, qui évolue constamment (question 13)?

Un système qui mesure les résultats de l'écosystème d'apprentissage en évolution de l'École de manière convenable et efficace devra dépasser les concepts classiques d'évaluation de l'apprentissage et les méthodes de collecte de données.

L'École ne dispose d'aucun modèle stratégique exhaustif permettant d'adopter des méthodes harmonisées avec les besoins en matière d'évaluation établis en fonction des besoins prévus des décideurs.

Conclusions et recommandations

  1. Le nouveau modèle de financement de l'EFPC a été adopté avec succès, et les autorisations de dépenser et les niveaux de référence prévus semblent appropriés. Puisque les activités entreprises dans le cadre de l'IOS devront se stabiliser pendant encore au moins 2 ans et que les besoins futurs sont difficiles à prédire à ce stade précoce du cycle de vie du nouveau modèle, il est trop tôt pour évaluer avec certitude les besoins de l'École en matière de ressources. Cela dit, il semble que les niveaux de référence actuels pour 2017-2018 et ceux prévus pour les exercices subséquents soient suffisants à court terme, à condition que toute augmentation ultérieure des responsabilités de l'École soit assortie de fonds supplémentaires.

    La capacité de percevoir des redevances et de reporter à l'exercice financier suivant les recettes provenant de ces redevances fournit à l'École une marge de manœuvre suffisante pour mettre en œuvre le nouveau de modèle opérationnel de façon efficace et efficiente.

    Recommandation 1. À l'avenir, les coûts estimatifs associés à l'élaboration et à la prestation de l'apprentissage devraient devenir un élément distinct à prendre en compte dans les présentations au Conseil du Trésor et les demandes présentées au Cabinet.

  2. L'École a établi un programme de cours commun de base pertinent, tel qu'il est défini par les cadres supérieurs. L'École a réalisé des progrès considérables vers l'établissement d'un programme de cours commun de base pertinent. L'orientation de l'École s'est précisée aux yeux des intervenants, et les représentants des ministères et organismes font davantage confiance à l'École pour répondre aux besoins d'apprentissage fondamentaux, ce qui laisse aux organisations le soin d'offrir la formation propre à leur mandat.

    Le programme de cours commun de base s'entend essentiellement des sujets et des priorités jugés pertinents au regard des responsabilités de rendement d'une masse critique de fonctionnaires à l'échelle pangouvernementale, ainsi que des priorités déterminées aux échelons supérieurs. Toutefois, la définition n'a pas été systématiquement validée par les employés de première ligne. En outre, la présomption voulant que les besoins d'apprentissage doivent être pangouvernementaux semble freiner la formation d'importantes sous-populations; des représentants de certains ministères et organismes estiment que les besoins de leurs employés échappent à la nouvelle définition de l'École et qu'ils doivent offrir eux-mêmes la formation dont ont besoin leurs employés.

    Recommandation 2. L'École, en consultation avec les cadres supérieurs ainsi que les gestionnaires intermédiaires et le personnel de première ligne de toutes les régions, devrait continuer à clarifier, à valider et à préciser la définition de son programme de cours commun de base.

  3. La gamme de produits d'apprentissage de l'École a fait l'objet d'une refonte complète qui a amélioré l'accessibilité et le choix parmi les modes d'apprentissage. Dans le cadre de l'IOS, la gamme de produits d'apprentissage de l'EFPC a été fondamentalement modifiée. Le nombre de cours en classe est passé de 262 à 87 tandis que le nombre d'événements a presque quintuplé pour passer à 372. Le nombre de produits d'apprentissage en ligne à rythme libre est demeuré relativement stable (219 à la fin de 2016-2017), mais la plupart des produits sont dorénavant offerts en nouvelles versions. En outre, de nouveaux types de produits d'apprentissage sont désormais offerts.

    De façon générale, les représentants des ministères et organismes accueillent favorablement la gamme renouvelée de produits d'apprentissage et notent des améliorations en ce qui concerne le choix des modes d'apprentissage et l'accessibilité aux possibilités d'apprentissage. L'École semble plus apte à s'adapter rapidement aux nouvelles priorités. Toutefois, certaines préoccupations demeurent, principalement en ce qui concerne le passage d'un modèle axé sur l'apprentissage en classe à un modèle reposant sur les activités d'apprentissage en ligne. La réduction du nombre d'options d'apprentissage en classe peut amener les utilisateurs à croire à une pénurie de places. En outre, une trop grande dépendance aux modes d'apprentissage en ligne peut nuire à la formation des employés qui n'ont pas facilement accès à Internet.

    Recommandation 3. L'École devrait continuer à développer et à optimiser la gamme de modes d'apprentissage associés à son écosystème d'apprentissage.

  4. L'École doit établir un cadre solide de mesure des résultats. L'EFPC menait des évaluations de niveau 1 bien avant l'IOS. En comparant les données d'évaluation de niveau 1 avant et après la mise en œuvre de l'IOS, l'École a constaté que la satisfaction à l'égard des produits d'apprentissage en ligne au rythme de l'apprenant avait augmenté pendant cette période. Toutefois, les observations issues des évaluations de niveau 1 n'intéressent à peu près pas les représentants des ministères et organismes, qui souhaitent plutôt connaître la mesure dans laquelle leurs employés acquièrent de nouvelles connaissances et compétences grâce à l'École et utilisent ces nouveaux éléments dans le cadre de leurs tâches.

    L'École recueille des données fondamentales sur l'acquisition et la mise en application de connaissances pour la plupart des activités exigeant une inscription, ainsi que des données détaillées sur un petit échantillon d'activités d'apprentissage défini chaque année. Toutefois, elle n'a pas élaboré de protocole d'analyse permettant de satisfaire les organisations clientes. De plus, étant donné la façon dont évolue l'écosystème d'apprentissage de l'École, il faudra mettre en place un système qui permet de mesurer de manière convenable et efficace les résultats d'apprentissage et qui va au-delà des concepts d'évaluation classiques (le modèle Kirkpatrick) et des approches classiques de collecte de données d'évaluation. Les ministères et les organismes doivent participer à la collecte des données. En bref, il faudra adopter une approche plus exhaustive et plus stratégique pour répondre aux exigences des ministères et organismes ainsi qu'aux besoins de l'École, approche selon laquelle les méthodes sont instaurées en fonction des besoins en matière d'évaluation.

    Recommandation 4. L'École devrait s'appuyer sur les pratiques d'évaluation de l'apprentissage existantes et investir de façon appropriée dans la création d'un régime d'évaluation complet permettant la collecte, l'analyse et la communication des données sur l'apprentissage, l'application des acquis et la satisfaction des apprenants et tous les autres concepts fondés sur les besoins des utilisateurs.

  5. L'IOS a donné à l'École un système de renseignements d'affaires bonifié, capable de produire une vaste gamme de rapports; les rapports internes ont été bien accueillis; toutefois, les organisations clientes sont toujours insatisfaites. À la suite des activités menées dans le cadre de l'Initiative, l'École a investi dans un système de renseignements d'affaires amélioré qui, jumelé aux pratiques existantes en matière de collecte de données, permet de fournir une vaste gamme de mesures des résultats. En général, les responsables de l'École sont satisfaits des rapports produits destinés à l'interne. Toutefois, les différentes versions des modèles de rapports externes ne répondent pas encore pleinement aux besoins des ministères et organismes clients. Les responsables des ministères et organismes souhaitent obtenir des chiffres sur l'utilisation mensuelle, des renseignements sur les cours terminés ou annulés et des mesures des résultats d'apprentissage, y compris des renseignements statistiques comme les taux de réponse.

    Recommandation 5. L'École devrait améliorer ses rapports externes en établissant un système produisant des rapports qui répondent aux exigences des clients sur le plan de la fréquence, du contenu et du format.

Réponse et plan d'action de la direction

Lire la première colonne pour voir le numéro de la recommandation (de 5.1 à 5.5), puis les colonnes suivantes pour voir la recommandation, la réponse de la direction, les mesures à prendre, les échéanciers et les bureaux de première responsabilité.
Numéro Recommandation Réponse de la direction Mesures Échéances BPR
5.1

À l'avenir, les coûts estimatifs associés à l'élaboration et à la prestation de l'apprentissage devraient devenir un élément distinct à prendre en considération dans les présentations au Conseil du Trésor et les demandes présentées au Cabinet.

Acceptée.

L'EFPC collaborera avec le SCT pour donner suite à cette recommandation.

L'EFPC collaborera avec le SCT pour élaborer une approche de ressourcement devant être respectée lorsque les demandes ont une incidence pangouvernementale sur l'apprentissage, dépassant la capacité de l'EFPC.

Avril 2018

Direction générale des services ministériels, dirigeant principal des finances

L'EFPC collaborera avec les responsables des autres ministères pour veiller à ce qu'on tienne compte de ses coûts lorsque les propositions exigent des offres adaptées de la part de l'EFPC.

De la façon et au moment prescrits

Direction générale des programmes d'apprentissage, vice-président
5.2

L'École, en consultation avec les cadres supérieurs ainsi que les gestionnaires intermédiaires et le personnel de première ligne de toutes les régions, devrait continuer à clarifier, à valider et à préciser la définition de son programme de cours commun de base.

Acceptée.

L'EFPC demandera une validation annuelle du cadre du programme de cours de base, par l'intermédiaire de la gouvernance existante (Comité consultatif des sous-ministres de l'EFPC).

En juin 2017, l'EFPC a obtenu l'approbation du cadre du programme de cours de base, de la part du Comité consultatif des sous-ministres de l'EFPC.

Juin 2017

Direction générale des programmes d'apprentissage, DG, Gestion du programme de cours, politique et relations stratégiques

Des consultations seront menées auprès des gestionnaires intermédiaires et des employés régionaux pour vérifier si des améliorations sont requises.

Avril 2018

Le cadre du programme de cours de base sera présenté chaque année à la gouvernance de l'EFPC (Comité consultatif des sous-ministres de l'EFPC) pour vérifier si des améliorations sont requises.

Juin 2018
5.3 L'École devrait continuer à développer et à optimiser la gamme de modes d'apprentissage associés à son écosystème d'apprentissage.

Acceptée.

L'EFPC utilisera les analyses de données, les commentaires des clients et l'examen des méthodes d'apprentissage pour optimiser l'utilisation des modes d'apprentissage afin d'atteindre les objectifs d'apprentissage.

L'EFPC accroîtra l'utilisation des données propres à l'apprenant et des renseignements d'affaires en élaborant une stratégie personnalisée liée à l'apprenant.

Juin 2018

Direction générale des programmes d'apprentissage, DG, Communications, GCcampus et solutions d'apprentissage

L'EFPC élaborera un plan visant à optimiser l'utilisation des modes d'apprentissage.

Septembre 2018

L'EFPC élaborera une feuille de route de deux ans et un plan de mise en œuvre pour l'évaluation continue de GCcampus afin d'améliorer les fonctions et l'expérience des utilisateurs.

Juin 2018
5.4

L'École devrait s'appuyer sur les pratiques d'évaluation de l'apprentissage existantes et investir de façon appropriée dans la création d'un régime d'évaluation complet permettant la collecte, l'analyse et la communication des données sur l'apprentissage, l'application des acquis et la satisfaction des apprenants et tous les autres concepts fondés sur les besoins des utilisateurs.

Acceptée.

L'EFPC tirera parti des analyses de données et des systèmes pour créer un nouveau cadre d'évaluation.

L'EFPC présentera à la gouvernance de l'EFPC un plan exhaustif visant à renforcer les fonctions d'évaluation et de production de rapports, y compris de nouveaux outils et systèmes d'analyse de données, aux fins d'examen. On doit s'efforcer de garantir qu'une analyse rigoureuse appuie les indicateurs du Cadre des résultats ministériels approuvés par le Conseil du Trésor.

La mise en œuvre doit être achevée en 2018-2019.

Direction générale des services ministériels, DG, Résultats et responsabilisation
5.5

L'École devrait améliorer ses rapports externes en établissant un système produisant des rapports qui répondent aux exigences des clients sur le plan de la fréquence, du contenu et du format.

Acceptée.

L'EFPC livrera un système adapté aux besoins des clients externes en matière de production de rapports.

Un projet pilote lié aux rapports ministériels sur l'apprentissage a été mené et les rapports ont été transmis aux organisations, aux fins de commentaires. L'EFPC consultera les organisations clientes pour apporter des améliorations aux rapports ministériels sur l'apprentissage afin de veiller à ce qu'ils répondent aux besoins des clients. La gouvernance de l'EFPC (comité consultatif des sous-ministres adjoints et des sous-ministres) doit être mobilisée. De nouveaux rapports ministériels sur l'apprentissage doivent être publiés pour répondre aux commentaires.

Printemps 2018

Direction générale des services ministériels, dirigeant principal de l'information

Les données sur les clients doivent être mises à la disposition des ministères, chaque trimestre.

Mise en œuvre progressive au début du mois de septembre 2018.
Date de modification :