Évaluation du Programme global de subventions et de contributions à l'appui de la recherche, de la sensibilisation et de l'éducation en sciences et technologies spatiales

Pertinence

Les objectifs du Programme global de S et C sont alignés sur les priorités du gouvernement fédéral et les résultats stratégiques ministériels. Par le biais des deux volets du Programme, l'implication de l'ASC dans l'apprentissage, la sensibilisation, l'innovation et la recherche liées à l'espace est conforme aux responsabilités essentielles du gouvernement fédéral. Le Programme continue de répondre à un besoin démontrable, car il joue un rôle unique dans le secteur spatial canadien et la collaboration internationale. Cependant, il existe des besoins non répondus par le Programme. Ces besoins non comblés comprennent des opportunités de financement récurrentes, des processus allégés, ainsi qu'un meilleur alignement avec les besoins des communautés.

Rendement

Dans l'ensemble, les extrants du Programme global de S et C sont produits et les résultats immédiats, intermédiaires et finaux sont atteints. Les connaissances, le développement des capacités et la collaboration liés au domaine spatial ont augmenté. Le nombre d'AOP a augmenté significativement par rapport à la période précédente, mais le nombre de propositions soumises et le taux de succès de ces dernières sont variables d'une année à l'autre. Il y a tout de même de plus en plus de projets financés et des efforts ont débuté pour rendre le financement plus accessible. Cependant, les données opérationnelles et de rendement pourraient être mieux structurées en prenant avantage des outils disponibles, tandis que certaines informations sont manquantes dans la base de données centralisée. Il y a également certaines opportunités d'amélioration concernant la mesure du rendement du Programme en raison de quelques cibles non définies et indicateurs absents ou non mesurés.

Efficience

Plusieurs processus opérationnels et façons de faire sont bien établis, mais certaines facettes sont à améliorer pour rendre le Programme encore plus efficient, accroître les synergies et faire preuve d'innovation : partager plus d'informations sur les processus d'évaluation et de sélection pour une plus grande transparence; clarifier et mieux communiquer les rôles et responsabilités pour favoriser la collaboration; ainsi qu'offrir de la formation, plus de coordination et davantage d'harmonisation afin de mieux soutenir les opérations.

À la lumière des principaux constats d'évaluation, l'évaluation recommande les actions suivantes pour améliorer l'accessibilité et l'efficience du Programme global de S et C de l'ASC :

1. Établir des opportunités de financement régulières en tenant davantage compte des besoins de la clientèle diversifiée, tout en harmonisant et coordonnant davantage entre les directions générales et les bénéficiaires.
2. Clarifier les règles et exigences associées à la collaboration ministérielle avec les bénéficiaires de S et C, et les communiquer aux parties prenantes.
3. Utiliser une base de données opérationnelle unique pour l'administration et la gestion du Programme et faire le contrôle de la qualité, de la continuité et de l'intégralité des données.
4. Explorer la possibilité d'utiliser des outils standardisés pour alléger le processus de soumission des demandes, par exemple en utilisant un processus de demande par étapes.
5. S'assurer d'offrir une rétroaction systématique pour toutes les demandes de financement.
6. Communiquer les rôles et responsabilités du Centre d'expertise en S et C aux directions générales utilisatrices du Programme de S et C afin de s'assurer d'une compréhension commune et répondre aux besoins des directions générales en termes de services et d'expertise dont elles ont besoin.
7. Dans la mise à jour de la mesure du rendement, s'assurer d'avoir des indicateurs du modèle logique de l'ASC pour chacun des volets et clientèles du Programme, et d'établir des cibles spécifiques concertées pour le Programme.

Gouvernance, rôles et responsabilités

Il y a quatre niveaux d'acteurs impliqués dans la gouvernance du Programme. Selon les modalités du Programme (ASC, 2009), il n'y a pas d'autorité principale du Programme, bien qu'il soit sous la responsabilité du dirigeant principal des finances. Voici un survol des rôles et responsabilités (les trois premiers niveaux sont décrits en partie dans les modalités du Programme (ASC, 2009)) :

1. Les directions générales

   Les directions générales, c'est-à-dire Sciences et technologies spatiales (STS)^{Note de bas de page 3}, Utilisation de l'espace (UE) et Exploration spatiale (ES), définissent quelles initiatives seront financées afin que les résultats attendus soient atteints. Ils évaluent, surveillent et signalent de façon précise les risques liés à l'utilisation du Programme par leur secteur. Ils sont en rapport direct avec les bénéficiaires et surveillent la faisabilité et l'admissibilité des projets de S et C, ainsi que leur état d'avancement. Ils sont en charge des opérations et de l'administration du Programme.

2. Le Centre d'expertise en S et C (CESC)

   Le CESC est responsable de fournir une expertise en S et C aux directions générales de l'ASC. Il offre des avis, des conseils et des orientations sur la gestion des S et C. Il assure également la surveillance, la revue et la reddition de compte en matière de S et C. Il fournit des outils standardisés pour l'élaboration des AOP et les approbations. Il appuie les comités décideur et directeur des S et C. Le CESC se rapporte à la direction des Finances.

3. Le Comité directeur des S et C^{Note de bas de page 4}

   Le Comité directeur des S et C assure la surveillance de la gouvernance et de la gestion des S et C. Il est coprésidé par le dirigeant principal des finances et directeur général des services corporatifs et l'un des directeurs généraux (au moment de l'évaluation, le directeur général de STS coprésidait le Comité). Il fournit des orientations et des conseils stratégiques à l'échelle de l'ASC sur l'utilisation du financement.

4. Le Comité de revue et d'intégration des investissements (CRII)

   Le CRII assure la saine gestion (gouvernance et approbation) nécessaire pour garantir que les dépenses de l'ensemble de l'ASC sont effectuées et contrôlées afin d'optimiser les ressources et les résultats attendus, entre autres ceux du Programme de S et C.

Ressources du Programme

Le financement alloué par l'ASC dans le cadre du Programme global de S et C au cours de la période d'évaluation est de 117 906 570$, plus de la moitié ayant été dépensé en contributions. La presque totalité des fonds a été utilisée dans le cadre du volet Recherche (98%). Les fonds ont été principalement alloués sous le PDCS, suivis par le PUE et le PES. Plus de détails sur l'allocation du financement et le nombre d'ententes sont présentés à la section Rendement du rapport.

En mars 2015, des changements ont été apportés à l'égard du financement du Programme et du CESC. D'abord, il y a eu une augmentation des fonds disponibles pour le Programme, du volume d'ententes signées et de la proportion des fonds alloués sous forme de contributions aux entreprises (au lieu des contrats). En effet, le financement alloué s'est accru de 113% au cours de la période d'évaluation (hausse de 33% pour les subventions, 247% pour les contributions) pour un total de 23,5 M$ en 2019-2020. À titre indicatif, le financement alloué en 2014-2015 était de 7,8 M$.

Deuxièmement, le CESC a été déplacé en 2015 : il est passé de la direction générale STS aux Services internes (sous la direction des Finances). Les ressources allouées au CESC ont augmenté de 62% au cours de la période d'évaluation et le nombre d'équivalent temps plein (ETP) de 49%.

Les données de budget de fonctionnement sont disponibles seulement pour le CESC, les directions générales ne distinguant pas cette information financière pour le Programme global de S et C au sein de leur programme respectif. L'évaluation précédente (ASC, 2017c) avait d'ailleurs rapporté qu'il n'y avait pas d'information sur les ETP, les salaires et les dépenses spécifiquement pour les initiatives en S et C dans les directions générales. L'évaluation avait conclu (mais non recommandé) que les données relatives à l'ensemble des frais administratifs du Programme global de S et C devraient faire l'objet d'un suivi afin de connaître l'ampleur des coûts du Programme.

Évaluation précédente du Programme

L'évaluation précédente, dont le plan d'action a été complété, avait tiré plusieurs conclusions suite à l'évaluation de la pertinence, du rendement et de l'efficience et recommandait :

1. de revoir les modalités du Programme pour déterminer si le volet S et É est toujours aligné sur les priorités de l'ASC;
2. de normaliser et communiquer clairement à la communauté spatiale canadienne les processus de demande, de sélection et de rétroaction s'appliquant aux propositions sollicitées et non sollicitées;
3. de revoir la stratégie de mesure du rendement du Programme, de même que les processus de saisie, de collecte et de stockage des données, ainsi que de normaliser la méthode pour établir les listes de priorités de financement qui s'appliquent à l'ensemble des initiatives de S et C (ASC, 2017c).

Mesure du rendement et indicateurs

La période d'évaluation couvre la stratégie de mesure du rendement (SMR) de 2010 pour le volet S et É et la SMR de 2013 pour le volet Recherche, ainsi que les Profils d'information sur le rendement (PIR) de 2017 des trois programmes du CMR (ASC, 2010; 2013; 2017b). Considérant qu'il n'y a pas de cible spécifique pour le Programme de S et C dans les PIR de 2017, les indicateurs de la SMR de 2013 avec leur cible ont été utilisés pour le volet Recherche. Pourtant, l'évaluation précédente (ASC, 2017c) indiquait qu'il était nécessaire de mettre à jour la SMR du Programme pour qu'elle contienne des indicateurs de rendement, des données de référence et des cibles liés aux extrants. Pour les cibles non définies ou lorsque les données ne permettaient pas de répondre directement à l'indicateur, l'année de référence 2013-2014 a été utilisée. Pour le volet S et É, les indicateurs de la SMR de 2010 ont été utilisés, mais sans cible spécifique car aucune n'était spécifiée. De plus, aucune année de référence n'a été utilisée puisque ce volet a fait l'objet d'une pause suite à la révision des programmes en 2012. Les modèles logiques des SMR de 2010 (S et É) et 2013 (Recherche) se trouvent à l'Annexe 1.

Limitations

Les principales limites rencontrées dans le cadre de l'évaluation concernent les données.

• Au début de la période d'évaluation, certaines propositions non financées n'ont pas été inscrites dans la base de données. À ce moment, l'utilisation d'Unitas n'était pas généralisée et les documents des propositions non retenues étaient simplement sauvegardés dans Livelink. Puisque ces documents n'ont pas été consultés, certains non-bénéficiaires n'ont pu être rejoints dans le cadre du sondage externe et, pour certains AOP, il y a une légère surestimation des taux de succès des propositions étant donné que certaines propositions n'ont pas été incluses dans l'analyse du nombre de propositions soumises. Le nombre de propositions manquantes dans la base de données n'a toutefois pas été évalué, mais est estimé comme étant faible.
• Le Sondage IR consiste en la collecte d'information des rapports de progrès et des rapports finaux exigibles pour l'évaluation du progrès et du rendement au terme de la Politique sur les paiements de transfert (SCT, 2008a). Ils sont demandés, soumis et évalués via la plateforme du système Unitas (Rapport d'étape et Rapport final pour les subventions; Format moyen pour les contributions^{Note de bas de page 10}) et sont améliorés d'année en année. Les taux de réponses sont très élevés (96% pour la période d'évaluation). Cependant, les changements fréquents à ce sondage rendent difficile la comparaison annuelle des données. Cela avait d'ailleurs été soulevé lors de l'évaluation précédente (ASC, 2017c). De plus, les bénéficiaires de contributions de l'initiative Développement des technologies spatiales (DTS) du PDCS ont complété entre avril 2014 et mars 2019 un rapport différent du Sondage IR, nommé Rapport final – Mesures de rendement, qui colligeait des informations sur les indicateurs de rendement clés de projets financés en contributions. Ces données étaient rapportées globalement (concernant l'ensemble du projet) et non annuellement comme c'est le cas avec le Sondage IR, mais elles étaient compilées et accessibles en format Excel. Pour cette raison, les données de contributions DTS sont présentées séparément dans ce rapport, mais agrégées lorsque possible.
• La localisation géographique des bénéficiaires et non-bénéficiaires accessible via la base de données Unitas, les données sommaires fournies au meilleur des connaissances du chercheur principal dans le Sondage IR relativement à la composition des membres de l'équipe de projet et les réponses aux questions démographiques soumises dans le sondage externe ont permis de réaliser une analyse régionale minimale.
• À l'ASC, Unitas est le système principal d'information centralisé^{Note de bas de page 11} pour les opérations des S et C, des contrats, des protocoles d'ententes, et pour l'information sur le répertoire canadien de l'aérospatial, et SAP est le système de référence pour les données financières et plusieurs informations officielles, dont les circonscriptions électorales fédérales et les numéros d'entreprises. SAP ne permet toutefois pas de faire la distinction entre les ententes de projets sollicités et non sollicités, ou d'extraire les données par AOP. Malgré qu'une vue des données financières de SAP est disponible dans Unitas pour des besoins opérationnels, les données financières sources (SAP) ont été utilisées directement lorsqu'il était question de données financières.

Alignement entre les objectifs du Programme et les priorités gouvernementales

Le but du Programme est d'appuyer « le développement des connaissances et l'innovation dans des domaines prioritaires de l'ASC et [d'accroître] la sensibilisation et la participation des Canadiens aux disciplines et aux activités liées à l'espace » (ASC, 2021d). Il s'agit d'un programme de paiements de transfert ayant été conçu pour fournir du financement dans trois grandes sphères d'activité, c'est-à-dire la recherche, la sensibilisation à l'espace et l'éducation spatiale (ASC, 2021e). Tel que décrit précédemment, le Programme est composé d'un volet Recherche et d'un volet S et É.

Harmonisation avec les responsabilités essentielles du gouvernement fédéral

La Loi sur l'Agence spatiale canadienne indique que l'ASC a pour mission de « promouvoir l'exploitation et l'usage pacifiques de l'espace, de faire progresser la connaissance de l'espace au moyen de la science et de faire en sorte que les Canadiens tirent profit des sciences et techniques spatiales sur les plans tant social qu'économique » (art. 4). Le Programme contribue à la mission de l'ASC, car ses objectifs et activités sont alignés sur deux fonctions majeures attribuées à l'ASC dans sa loi constituante. Il incombe à l'ASC de « concevoir, réaliser, diriger et gérer des programmes et travaux liés à des activités scientifiques et industrielles de recherche et développement dans le domaine spatial et à l'application des techniques spatiales » (art. 5(2)b); et l'ASC peut également

« contribuer au financement de programmes ou travaux liés à des activités scientifiques et industrielles de recherche et développement dans le domaine spatial et à l'application des techniques spatiales, mais ne visant pas l'exploitation commerciale de la science et des techniques spatiales, sauf s'il s'agit de travaux destinés à élaborer, vérifier, évaluer ou utiliser des données, procédés, produits ou systèmes, nouveaux ou améliorés, se rapportant à ce domaine et visant à déterminer le potentiel commercial des sciences et techniques spatiales » (art. 5(3)c).

Selon ces dispositions, l'ASC appuie la R-D dans le domaine spatial au Canada et est habilitée à concevoir et soutenir des initiatives relatives à la recherche, l'étude et la collecte d'information liées à l'espace (ASC, 2017c). De plus, conformément à son mandat de faire progresser la connaissance de l'espace par la science, l'ASC encourage les Canadiens à participer à des activités de sensibilisation et d'apprentissage pour consolider l'expertise du Canada dans certains créneaux spatiaux d'envergure et soutenir le développement d'une masse critique de chercheurs et de PHQ dans le domaine spatial. Le Programme global de S et C est donc l'un des moyens permettant à l'ASC d'utiliser l'attrait unique de l'espace pour encourager les étudiants à poursuivre des études et une carrière en STIM, ainsi que pour promouvoir la culture scientifique et technologique dans le domaine spatial au Canada (ASC, 2010). Ce faisant, le Programme contribue à assurer la présence du Canada dans l'espace, conformément à la responsabilité essentielle de l'ASC indiquée dans le CMR (ASC, 2018a).

Besoin continu du Programme

Les données recueillies dans le cadre de la revue documentaire, du sondage interne auprès des employés de l'ASC et du sondage externe auprès des bénéficiaires et non-bénéficiaires de financement indiquent que le Programme continue de répondre à un besoin démontrable au Canada. 94% des employés de l'ASC et 97% des bénéficiaires et non-bénéficiaires sondés considèrent très fortement qu'il y a un besoin continu au Canada pour le Programme global de S et C de l'ASC, considérant qu'il représente un cadre unique dans l'écosystème canadien pour soutenir la R-D dans le domaine spatial, ainsi que la sensibilisation et l'éducation en sciences et technologies spatiales. Parmi les répondants externes, les taux s'élèvent à 97,7% pour le volet Recherche et à 94% pour le volet S et É. Les deux volets du Programme sont d'ailleurs très sollicités et reçoivent de nombreuses demandes de financement. Ce constat s'inscrit en continuité avec les résultats des évaluations précédentes, où il était précisé que le Programme « fournit un support financier dans des secteurs où il n'y a pas d'autres sources de financement » (TPSGC, 2008) et « qu'il n'existe aucun autre programme fédéral […] entièrement consacré au développement du secteur spatial » (ASC, 2017c).

Plus précisément, les données recueillies dans le cadre de l'évaluation ont démontré que le Programme répond principalement aux trois besoins interreliés suivants :

Faire avancer la science et les technologies spatiales. La majorité des bénéficiaires et non-bénéficiaires ont affirmé que le Programme de l'ASC représente un cadre unique pour soutenir la R-D dans le domaine spatial au Canada, et que les programmes non spécifiques à l'espace pourraient difficilement jouer ce rôle. En effet, le Programme stimule la mise en œuvre de projets de recherche, le développement de connaissances et les avancées technologiques liées à l'espace au profit des Canadiens. Plusieurs répondants internes et externes ont précisé que le Programme de l'ASC a le mérite d'offrir du financement dans des sphères d'activités où les fonds disponibles sont limités (e.g. recherche en sciences planétaires), qu'il offre la possibilité unique de tester des prototypes de plateformes spatiales et qu'il finance de la R-D liée à l'espace dans les premiers stades de développement technologique, ce qui peut être d'intérêt limité pour l'industrie et difficilement justifiable pour les organisations qui doivent orienter leurs activités sur des besoins à court terme. Son rôle en observation de la Terre a également été souligné à plusieurs reprises par les répondants.

Lorsque l'évaluation a demandé aux répondants externes ce qui est arrivé à leur(s) projet(s) non financé(s) par le volet Recherche (répondants n=113), 32% de ces répondants ont indiqué que leur projet (ou au moins un de leurs projets) ne s'était pas concrétisé. Parmi les répondants qui ont au moins un projet non financé, seulement 3% ont confirmé que leur projet non financé par le Programme a été réalisé comme prévu, et environ 26% ont répondu que leur projet a été réalisé, mais a subi des impacts en termes de taille et/ou de délais. Ces projets ont utilisé du financement provenant d'autres programmes fédéraux (e.g. le programme Innovation pour la défense, l'excellence et la sécurité (IDEeS) du MDN, le Programme d'aide à la recherche industrielle (PARI) du Conseil national de recherches du Canada (CNRC)), d'organismes sans but lucratif (OSBL), de ressources internes, d'universités, de provinces et/ou de l'international. D'ailleurs, 35% des répondants ayant au moins un projet non financé ont mentionné que leur projet pourrait ou non aller de l'avant selon les opportunités de financement à venir^{Note de bas de page 14}. La section Efficience du rapport fournit plus d'informations sur la complémentarité du Programme avec d'autres programmes fédéraux.

Accroître et renforcer la capacité du secteur spatial canadien. Le Programme de l'ASC est le seul programme à offrir du financement dédié spécifiquement aux organisations qui jouent un rôle clé dans le secteur spatial canadien. En ce sens, il permet d'accroître l'innovation, la compétitivité et le dynamisme des entreprises du secteur spatial au Canada, ce qui engendre des retombées positives sur l'économie canadienne. De plus, le Programme joue un rôle important dans le développement et le perfectionnement de PHQ en sciences et technologies spatiales au Canada, car il finance des opportunités de sensibilisation et d'apprentissage uniques pour les Canadiens (e.g. former la prochaine génération de scientifiques et d'ingénieurs canadiens qui travailleront sur les missions spatiales habitées). La majorité des bénéficiaires du volet S et É estiment d'ailleurs qu'ils n'auraient pas été en mesure de participer aux activités liées à l'espace en l'absence du Programme.

Soutenir les collaborations et assurer la présence du pays sur la scène internationale. Conformément aux priorités fédérales et aux résultats attendus du Programme, ce dernier crée et appuie des opportunités de collaboration uniques aux niveaux national et international entre les organismes fédéraux, le milieu académique, l'industrie et les OSBL. De plus, les répondants externes ont été nombreux à mentionner que le Programme permet de renforcer la réputation du Canada dans certains créneaux d'envergure (e.g. robotique spatiale) et de consolider la présence du Canada sur la scène internationale. Les données recueillies indiquent qu'en l'absence du Programme, le milieu universitaire et l'industrie auraient plus de difficulté à créer des opportunités de collaboration et de formation dans le domaine spatial (e.g. accès aux infrastructures de la NASA et de l'ESA) et que les entreprises spécialisées dans le domaine spatial feraient face à des défis supplémentaires pour accéder au marché international.

Extrants attendus produits

Le Programme produit les extrants attendus selon le modèle logique de chacun des volets (Annexe 1). Cependant, les informations et données sur les extrants (e.g. les AOP, l'évaluation des rapports de progrès et finaux des bénéficiaires de financement) ne sont pas aisément accessibles ou complètes.

La liste des AOP publiés représente la liste de priorités de financement établie par chaque direction générale. Les AOP sont définis en fonction des priorités des programmes du CMR et des budgets disponibles, conformément au mandat plus large de l'ASC et des priorités ministérielles. En général, les AOP sont également développés en consultation avec la communauté et les autres directions générales, tel que mentionné précédemment. Les personnes interrogées dans le cadre de cette évaluation considèrent cette approche efficace. De plus, le rapport d'audit de 2020 (ASC, 2020a) avait conclu que les possibilités de financement étaient planifiées de manière appropriée. Néanmoins, plusieurs individus sondés à l'interne et à l'externe ont mentionné dans leurs réponses ouvertes qu'il y a place à amélioration en termes d'engagement et de consultations externes avec les parties prenantes et les différentes communautés scientifiques et de recherche, afin d'identifier les thèmes prioritaires et d'être davantage axé sur les besoins, et développer les AOP en conséquence. L'évaluation précédente avait d'ailleurs mentionné que l'ASC devrait normaliser le processus pour dresser les listes de priorités de financement s'appliquant à tous les AOP (ASC, 2017c). Il a été noté que les programmes tiennent compte de nouveaux domaines d'intérêt et les directions générales prévoient, dans leurs AOP, des mesures afin de favoriser la représentation de l'ensemble des groupes (ACS Plus).

Durant la période d'évaluation, il y a eu une augmentation progressive du nombre d'AOP publiés pour un total de 49 AOP pour le volet Recherche et 11 pour le volet S et É, ce qui est une nette augmentation par rapport à la période de l'évaluation précédente qui n'en comptait que 10 pour le volet Recherche (sur 5 ans) (ASC, 2017c). Certains AOP sont récurrents, avec de légères modifications faites d'année en année, mais sans date fixe, tandis que d'autres AOP sont uniques. Les informations des AOP dans Unitas n'indiquaient pas toujours le volet, ni la direction générale. Il y a d'ailleurs peu de champs obligatoires dans le système Unitas. De plus, il n'y a pas de liste claire des propositions non sollicitées dans la base de données centralisée : les propositions non sollicitées ne sont pas vues comme un processus, tel que le processus des propositions sollicitées, et ne sont donc pas systématiquement sauvegardées dans la base de données^{Note de bas de page 15}.

Concernant les communications, environ la moitié du personnel et des demandeurs de financement sondés indiquent qu'il y a place à l'amélioration en termes d'engagement avec les communautés bénéficiaires potentielles et de visibilité du Programme. Ces répondants internes et externes proposent d'informer de manière plus proactive la communauté sur les opportunités de financement (stratégie de communication élargie, listes de distribution ciblées), et d'avoir au moins quelques AOP récurrents réguliers à des dates préfixées. De plus, même si les AOP sont publiés sur le site web de l'ASC, l'information pourrait être plus facilement accessible (dès la page d'accueil, information interrogeable en fonction de filtres au lieu d'une recherche par mots clés). D'ailleurs, le rapport 2019-2020 sur la capacité universitaire canadienne en recherche spatiale (J.E. Halliwell Associates Inc., 2020) a également noté que les intervenants universitaires aimeraient une communication plus efficace entre l'ASC et la communauté universitaire. L'étude a révélé que les communications entre l'ASC et les communautés de recherche pourraient être mieux structurées et plus directes. Le rapport note que les institutions académiques seraient favorables à une interaction plus poussée avec l'ASC, mais voudraient un point de contact avec l'Agence et suggèrent un engagement plus large à travers le Canada. En ce sens, l'étude recommandait l'établissement de rôles de liaison formels, la tenue de réunions régionales entre l'ASC et les universités pour discuter des enjeux stratégiques; et le renforcement et l'élargissement du travail des comités consultatifs scientifiques de l'ASC.

Les 1315 propositions sollicitées reçues ont été évaluées et classées au sein de chaque direction générale, selon l'éligibilité du demandeur et les critères définis pour chaque AOP. Une liste classée des demandes éligibles est produite pour chaque AOP (une partie de cette information a été saisie dans Unitas, et cela s'est produit de plus en plus systématiquement au cours de la période d'évaluation). Le nombre de propositions reçues a varié au fil des ans, mais il tend à augmenter globalement pour les 2 volets. D'après les données disponibles, le taux de réussite global pour les propositions sollicitées de S et C au cours de la période d'évaluation était de 38% (total de 495 propositions sélectionnées). Le taux de réussite des contributions (44%) est plus élevé que celui des subventions (34%), ce qui reflète la faible proportion de subventions en S et É acceptées (16%) où il y a une forte demande. Le taux de réussite varie en fonction du type d'opportunités et du nombre de propositions reçues pour chaque AOP. Comme le nombre d'AOP varie d'une année à l'autre et que le nombre de propositions reçues varient pour chaque AOP (selon le type d'AOP et/ou pour différentes raisons, par exemple, le moment de l'année, la durée d'affichage, etc.), il est difficile d'avoir un portait annuel ou une comparaison entre les AOP et même entre les directions générales. Le portait global sur la période d'évaluation cependant donne une vue d'ensemble. De plus, il faut garder en tête que le taux de succès est calculé à partir des données disponibles dans Unitas : certaines propositions non-financées ne sont pas répertoriées dans la base de données et certaines propositions ne sont pas liées à un AOP, ce qui a pour conséquence de hausser légèrement les taux de succès. Par ailleurs, le nombre total de propositions non sollicitées reçues ne peut être estimé avec les données de Unitas car seules les propositions financées y sont inscrites (en majorité car certaines sont manquantes).

Pour les propositions sollicitées du volet Recherche, les universités ont un taux de réussite plus élevé (58%) que les entreprises privées (45%). Chaque province et territoire est représenté par au moins une proposition soumise pendant la période d'évaluation (voir figure ci-bas). Le taux de réussite est similaire entre les provinces et territoires (moyenne de 52%), mais il varie grandement (0-100%) pour les régions ayant soumis moins de propositions (entre 1 et 10 propositions).

Il est à noter que le nombre de propositions soumises et le nombre de propositions sélectionnées par région est représentatif du secteur spatial canadien.

Pour les propositions sollicitées du volet S et É, provenant principalement d'étudiants universitaires, l'Ontario représente près de la moitié des demandes, mais le taux de réussite le plus élevé (24%) est détenu par le Manitoba. Il n'y a pas de propositions soumises par des demandeurs provenant des trois territoires.

Du côté des ententes signées, il y en a eu 463 nouvelles au cours de la période d'évaluation, ce qui est une nette augmentation par rapport à la période de l'évaluation précédente qui en comptait 195 pour le volet Recherche (sur 5 ans) (ASC, 2017c). L'Ontario (44%) et le Québec (23%) sont les principaux bénéficiaires d'année en année (AB 12%, CB 10%, SK 4%, MB 4%) tandis que des bénéficiaires de certaines régions n'ont signé qu'une seule entente au cours de la période (IPE, TNO et YK en 2017-2018). La majorité des ententes signées au courant de la période d'évaluation était des propositions sollicitées (89%) et de recherche (83%). Le nombre d'ententes signées provenant de propositions non sollicitées a diminué au cours de la période, passant de 13 à 1 par année (selon les données disponibles).

Il n'y a pas de différence notable entre le début et la fin de la période d'évaluation quant à la répartition géographique des ententes, malgré que les directions générales soient plus sensibilisées aux enjeux de l'ACS Plus, dont la diversité régionale. Le fait que l'Ontario et le Québec représentent une grande proportion des propositions soumises et des ententes financées autant dans le volet Recherche que dans le volet S et É s'explique par le fait que la plupart des entreprises axées sur l'espace sont basées dans ces deux provinces qui comptent également un grand nombre d'établissements postsecondaires. D'ailleurs, le rapport 2019 sur l'État du secteur spatial canadien (ASC, 2019c) indique que : « Les employés des domaines des STIM [dans le secteur spatial] se trouvaient en majorité en Ontario et au Québec, et représentaient respectivement 43% et 26% de l'effectif dans ces domaines au Canada ».

Près de 61 % des projets de recherche qui ont conclu leur entente de financement au cours de la période d'évaluation ont été menés par des chercheurs universitaires et environ 38 % par des entreprises privées : il y a donc plus de compagnies privées que lors de la période d'évaluation précédente. Il y a peu de demandeurs d'autres types d'organisation qui postulent au Programme ou obtiennent un financement (< 1%; par exemple, des OSBL, des collèges, des centres de recherche). Du côté du volet S et É, l'ASC a soutenu 73 étudiants, via des AOP, qui se sont rendus à des conférences par le biais de l'initiative STEDiA^{Note de bas de page 16}, et a financé 6 projets non sollicités de 4 universités et de 2 OSBL.

D'après les données financières, l'Agence a alloué 117 906 570$ en S et C au cours de la période d'évaluation à 488 ententes (nouvelles et en cours), les ententes étant financées sur plus d'une année (74%). Cela représente 440 projets de recherche (98% du budget) et 48 projets ou activités en S et É^{Note de bas de page 17} (2% du budget). Le financement a été principalement alloué (montant et nombre d'ententes) par le PDCS, autant en subventions qu'en contributions.

Figure 14 - Montants alloués par année (pour les ententes nouvelles et en cours)

Figure 15 - Montants alloués par type de paiement de transfert et programme (ententes nouvelles et en cours)

Concernant les rapports de progrès et les rapports finaux, presque tous les bénéficiaires ont soumis annuellement leurs rapports au cours de la période d'évaluation (moyenne de 96%) via le Sondage IR. Le taux de complétion du nouveau rapport « Format moyen » pour les contributions était un peu plus faible (69%) lors de la première année, les rapports précédents ayant été soumis sous un autre format comme Word ou Excel (contributions DTS). Comme ce sont des rapports obligatoires selon la Politique sur les paiements de transfert (SCT, 2008a), les bénéficiaires qui n'ont pas utilisé le Sondage IR ont soumis leur rapport sous un autre format. Du côté des étudiants, ceux-ci soumettent un rapport après leur participation à l'activité en format Word ou PDF. Pour ce qui est du délai d'évaluation des rapports, il est régi par des normes de service, car le rapport doit être évalué avant d'effectuer le paiement aux bénéficiaires (pour les contributions). Les normes de service pour les paiements sont de 4 semaines pour les subventions et de 6 semaines pour les contributions. Selon le processus d'évaluation des rapports, les rapports sont évalués par l'autorité scientifique ou technique puis par l'autorité de programme. Cependant, les informations reliées à l'évaluation des rapports ne semblent pas avoir toujours été saisies correctement ou de manière cohérente dans la base de données centralisée, ce qui rend ces données inutilisables pour l'analyse. L'évaluation des rapports des étudiants ne se fait pas dans Unitas pour le moment. Il a cependant été constaté pendant l'évaluation que le Sondage IR est perçu parfois uniquement comme un sondage sur le rendement étant donné qu'il est aussi utilisé pour les contrats, en oubliant le lien avec les obligations des ententes de S et C selon la Politique sur les paiements de transfert (SCT, 2008a).

Résultats immédiats attendus réalisés

Le Programme atteint les résultats immédiats car l'augmentation des connaissances, des activités et du focus sur l'espace, ainsi que l'accès à du partenariat et de la collaboration sont tangibles dans les données. Certains indicateurs (e.g. la proportion de fonds bonifiés) ne sont toutefois pas directement mesurés dans les Sondage IR, ce qui rend difficile l'analyse des données. Dans les rapports des étudiants et des organisations offrant des activités d'apprentissage, les informations colligées demeurent utiles pour l'analyse. Il convient toutefois de noter que les questions posées dans ces rapports ne sont pas standardisées, et pour la plupart ouvertes.

Il y eu un accroissement des connaissances grâce aux projets de recherche menés dans les domaines prioritaires des S et T spatiales : il y a eu une augmentation de 48% du nombre de projets nouveaux et en cours et une augmentation de 121% du nombre de projets rapportant l'augmentation de connaissances. Les réalisations les plus fréquemment signalées étaient la technologie ou percée scientifique (65%; 95% contributions DTS) et l'utilisation des données satellitaires (65%). Du côté du volet S et É, 89% (16/18) des répondants S et É au sondage externe ont confirmé que leur participation à des conférences ou évènements d'apprentissage a augmenté leur sensibilisation et leur connaissance de la science, de la technologie ou des problématiques liés à l'espace. L'analyse d'un échantillon de 42 rapports de l'initiative STEDiA (42/75; 21 femmes, 21 hommes) montre qu'il existe un degré élevé de satisfaction parmi les étudiants financés. De plus, les organisations bénéficiaires ayant mené des activités d'apprentissage ont mentionné en entrevue qu'ils croient fermement que ces activités favorisent le développement de connaissances et une sensibilisation accrue des participants (qu'il s'agisse d'élèves de la maternelle à la 12e année ou d'étudiants de niveau post-secondaire), selon les informations qu'ils ont recueillis à travers leurs sondages et des commentaires informels.

Il y a eu une hausse de l'importance accordée au domaine spatial dans les universités, les compagnies privées et les OSBL en raison de la signature de nouvelles ententes et l'arrivée de nouveaux joueurs. Au cours de la période d'évaluation, il y a eu un total de 146 nouvelles ententes de S et C de recherche (pour les propositions sollicitées et non sollicitées) signées avec 65 différentes entreprises du secteur privé, 233 nouvelles ententes signées avec 37 différentes universités, et 5 nouvelles ententes signées avec 2 OSBL, 2 collèges/écoles/cégep et 1 centre médical/hôpital. À titre de référence, l'État du secteur spatial canadien (ASC, 2019c) indique qu'en 2018, 74 entreprises spatiales étaient engagées dans des activités de R-D. Du côté des opportunités d'apprentissage, la disponibilité et l'utilisation du thème de l'espace a été accrue puisque 11 AOP ont permis aux étudiants d'assister à des conférences ou de participer à des évènements d'apprentissage et que 3 nouveaux projets en S et É^{Note de bas de page 18} ont été menés par des organisations tierces auprès de la clientèle jeunesse (de la maternelle à la 12e année (équivalent à la 5e secondaire au Québec)) et des étudiants post-secondaires. Cependant, quelques personnes externes et internes interrogées ont indiqué que l'ASC pourrait faire davantage pour favoriser l'importance accordée au domaine spatial en soutenant les étudiants dans les collèges, en soutenant la participation à une plus grande variété d'événements pour les étudiants post-secondaires, en augmentant le soutien aux OSBL pour la prestation d'activités de sensibilisation et d'apprentissage aux jeunes, et en affinant la coordination des activités entre l'ASC (e.g. campagne Astronautes juniors) et les autres parties prenantes dans le domaine des STIM.

De nouveaux bénéficiaires ont rejoint le domaine de la recherche spatiale. Les personnes interrogées ont d'ailleurs fait remarquer qu'en raison de son accent spécifique sur l'espace, le Programme dessert une communauté relativement petite de bénéficiaires potentiels. Les personnes sondées et interrogées à l'interne ont d'ailleurs mentionné craindre que les principaux bénéficiaires soient les organisations établies connaissant déjà les processus de S et C de l'ASC. Cependant, même si le secteur spatial est une petite communauté et que certaines organisations sont établies depuis longtemps, plus de la moitié des chercheurs universitaires^{Note de bas de page 19} (88/143 individus), identifié comme chercheur principal dans le cadre d'une entente signée avec un bénéficiaire (université), et des entreprises privées (34/65) n'ont signé qu'une seule entente au cours de la période d'évaluation. De plus, 15% des organisations ayant signé une entente au cours de la période obtenaient du financement pour la première fois. Cependant, un certain nombre de bénéficiaires sont des joueurs récurrents (2 ententes et plus au cours de la période: universitaires 38%, secteur privé 48%).

Du côté des étudiants bénéficiaires, seulement 2 ont été financés plus d'une fois (2/71; 73 subventions). Par ailleurs, 56% des projets en moyenne annuellement ont déclaré avoir amené de nouveaux acteurs dans le domaine de la recherche spatiale. De plus, en 2018-2019 et 2019-2020, les équipes de recherche ont impliqué près de 2 000 membres pour qui le travail spatial était nouveau (moyenne de 6,2 nouveaux membres par équipe pour ces 2 années).

Des partenariats ont été établis ou maintenus, les organisations ont eu accès à de la collaboration internationale et des fonds ont été bonifiés. La majorité (87%) des projets de recherche sont de nature collaborative impliquant le maintien ou la création de nouveaux partenariats (79% contributions DTS). Il y a d'ailleurs eu une augmentation de 101% du nombre d'organisations (canadiennes et étrangères) impliquées dans les projets financés (bénéficiaires et partenaires impliqués directement dans les projets) au cours de la période. En général, les partenariats avec les universités (canadiennes et étrangères) sont les plus fréquents, suivis des partenariats avec le secteur privé, les entités fédérales et les centres de recherche étrangers :

• Les partenariats directs représentent environ 50 universités canadiennes différentes, 160 universités étrangères différentes dans 28 pays, 60 entreprises canadiennes du secteur privé et 24 organisations fédérales différentes (autres que l'ASC).
• Les autres partenariats (non directement liés à l'équipe de recherche)^{Note de bas de page 20} représentent environ 150 universités étrangères, 70 centres de recherche étrangers, 51 entreprises privées et près de 40 entreprises étrangères.

De plus, les rapports des étudiants dont la participation à une conférence a été financée par l'ASC montrent que ces derniers sont particulièrement enthousiastes à l'égard du réseautage qui se déroule lors des conférences et des événements organisés par les agences spatiales. Quelques étudiants ont noté qu'il pourrait y avoir de plus grandes opportunités pour les participants soutenus par l'ASC de réseauter entre eux lors des conférences et événements, afin d'accroître le maillage entre ces étudiants canadiens et les possibilités de collaborations futures.

Le nombre de projets déclarant avoir obtenu des fonds bonifiés (le financement de l'ASC a eu un effet levier sur d'autres financements), y compris des fonds internationaux, a augmenté au fil du temps, mais la proportion des projets déclarant cela a diminué (de 67% à 42%). Au total, 48% des projets indiquent l'obtention de fonds bonifiés. Cependant, la configuration du Sondage IR n'a pas permis la détermination de la valeur du financement obtenu. Il est à noter que le cumul d'aide^{Note de bas de page 21} fait partie des obligations de vérification financière pour les contributions et que ces informations sont complétées par l'intermédiaire d'un formulaire en format Word. Toutefois, étant donné que les informations du cumul d'aide ne sont pas regroupées ni compilées, elles n'ont pas été consultées dans le cadre de l'évaluation. D'ailleurs, la proportion des fonds bonifiés, malgré qu'elle soit incluse dans les indicateurs des plans ministériels pour 2017-2018, 2018-2019 et 2019-2020 (ASC, 2017d; 2018c; 2019e), n'est pas rapportée dans les rapports sur les résultats de ces années (ASC, 2018b; 2019d; 2020b). Cela pointe directement sur la nécessité de créer des sondages, des rapports et des formulaires électroniques ayant une bonne logique de programmation afin d'éviter les erreurs et les ambiguïtés, ainsi que de sauvegarder directement les données dans une base de données commune afin de faciliter l'accès, l'analyse et la reddition de compte.

Résultats intermédiaires attendus atteints

Les résultats intermédiaires découlent directement des résultats immédiats décrits précédemment. La disponibilité des connaissances et des renseignements liés à l'espace dans des domaines prioritaires s'est accrue, la capacité en S et T spatiales dans les secteurs ciblés a augmenté, et il y a eu plus de collaboration, qu'elle soit multidisciplinaire ou entre les établissements.

Au cours de la période d'évaluation, la diffusion accrue de l'information et des connaissances s'est maintenue (légère fluctuation sur 6 ans). Annuellement, une moyenne de 615 publications et 1097 présentations ont été générées par les projets de recherche selon les données du Sondage IR^{Note de bas de page 22}. Les articles sont la principale forme de publication : 79% des rapports complétés par les bénéficiaires de financement indiquent des articles évalués par les pairs reconnaissant le financement de l'ASC et 41% des rapports indiquent des articles évalués par les pairs rendus possibles grâce au financement de l'ASC (31% des projets de contributions DTS). Par ailleurs, 86% des rapports du Sondage IR et 44% des projets de contributions DTS ont indiqué dans leur rapport final que des présentations avaient eu lieu. Les données ne parlent toutefois pas de la « portée » de la diffusion.

Le développement du personnel hautement qualifié (PHQ) a augmenté. Les données du Sondage IR montre une augmentation du nombre de PHQ^{Note de bas de page 23} au fil du temps, et une nette augmentation en 2019-2020, mais cela est probablement dû à l'arrivée du Sondage IR – Format moyen spécifique aux contributions. En excluant la dernière année de la période d'évaluation, il y a en moyenne 421 PHQ annuellement impliqués dans les projets de recherche. Les équipes de projets se composent principalement de techniciens (22%) et d'étudiants de cycles supérieurs (maîtrise et doctorat; 22%), pour une moyenne annuelle de 14,5 membres par équipe de projet (toutes catégories). Il est à noter qu'il y a eu une augmentation de la participation de tous les groupes principaux au cours de la période d'évaluation. Ces valeurs sont attributives principalement aux universités qui représentent 90,1% des données (compagnies privées 7,8%, organisations sans but lucratif 1,7% et autres < 1%) dans le Sondage IR sur les 6 ans de la période d'évaluation. Un autre fait à noter est que la formation des PHQ est l'un des éléments les plus appréciés du Programme par les répondants internes et externes sondés. Par ailleurs, les résultats des rapports finaux du Sondage IR (subventions) ont confirmé le renforcement des capacités des étudiants au sein des projets de recherche : presque tous les projets impliquant des étudiants rapportent des opportunités d'apprentissage pour les étudiants participants aux projets liées aux compétences scientifiques et aux compétences globales de recherche (par exemple, travail d'équipe, confiance, adaptation, communication, conduite éthique, etc.).

Du côté des étudiants post-secondaires financés et ayant participé au sondage externe, certains d'entre eux (39%) ont confirmé qu'ils étaient maintenant diplômés de programmes liés à l'espace à tous les niveaux (le plus souvent de premier cycle). Le rapport 2019-2020 sur la capacité universitaire canadienne en recherche spatiale (J.E. Halliwell Associates Inc., 2020) a identifié près de 1800 étudiants et chercheurs universitaires travaillant dans les domaines spatiaux, soit environ le double par rapport à l'inventaire 2013-2014. Une grande partie de cette augmentation correspond à de nouveaux domaines et aux intérêts et opportunités de recherche émergents. Le rapport a conclu qu'il y a beaucoup plus de domaines spatiaux non traditionnels, et davantage multidisciplinaires, représentés dans l'inventaire 2019-2020. Cette information fournit un certain contexte sur la croissance des domaines de recherche liés à l'espace, mais ne précise pas si le financement en S et C de l'ASC peut être considéré comme ayant contribué à cette tendance. Étant donné que le montant du financement alloué aux activités de S et É est modeste, on ne peut s'attendre à ce que cette composante spécifique du Programme de S et C contribue massivement à une augmentation du nombre de PHQ. D'ailleurs, le nombre d'étudiants formés dans le cadre de projets de recherche dépasse probablement celui de la composante S et É et, comme l'a fait remarquer un répondant interne, ces deux populations pourraient en fait se chevaucher (par exemple, les étudiants soutenus par des AOP sous l'initiative STEDiA étant également impliqués dans des projets de recherche).

En ce qui concerne le genre, environ 30% des membres des équipes des projets financés par des subventions sont des femmes, et quelques personnes ayant une identité de genre fluide, non-binaire et/ou bi-spirituelle en 2018-2019 et 2019-2020^{Note de bas de page 24}. Ceci est comparable à la composition de la main-d'œuvre spatiale :

• Le rapport sur l'État du secteur spatial canadien (ASC, 2019c) indique qu'en 2018, les entreprises spatiales canadiennes ont embauché 741 employés, dont 26% (196) étaient des femmes et 74% (545) étaient des hommes.
• Selon Statistique Canada (2019), 30% des diplômés en STIM sont des femmes.

Cependant, pour les projets financés par les contributions, ce chiffre diminue (18% (n=42) dans les rapports du Sondage IR en 2019-2020; 14% (n=73) pour les contributions DTS au cours de la période).

La collaboration multidisciplinaire s'est accrue de 2014-2015 à 2019-2020. Au total, 51% des rapports des du Sondage IR indiquent une recherche multidisciplinaire, tandis que 35% des projets de contribution du DTS indiquent une implication avec des organisations partenaires et des membres d'équipe de plusieurs disciplines. La collaboration entre les établissements, c'est-à-dire les partenariats, a également augmenté (voir sous-section Résultats immédiats attendus réalisés). D'ailleurs, l'accessibilité au réseautage, aux partenariats et à la collaboration est l'un des éléments du Programme les plus appréciés par les répondants externes et internes sondés.

Du côté des étudiants et de la clientèle jeunesse, leur intérêt a été soutenu pour les disciplines liées à l'espace. Les étudiants financés dans le cadre de l'initiative STEDiA sondés confirment que leur participation a accru leur intérêt pour la recherche spatiale ou les domaines associés à l'espace (83% des répondants) et les a encouragés ou leur a permis de participer à des activités ou des formations additionnelles liées à l'espace dans une large mesure (61%). Bien que fondées sur un petit échantillon (23%, 18 étudiants bénéficiaires/80 étudiants (bénéficiaires et non-bénéficiaires) sondés), ces constatations sont également corroborées dans l'échantillon de rapports post-conférence analysés (56%, 42/75). Même s'il n'y a pas de liste de référence avec les domaines d'étude visés par l'ASC, les activités poursuivies sous l'initiative STEDiA tendent à encourager des étudiants d'un large éventail de disciplines d'étude à poursuivre une carrière dans le domaine de l'espace.

Par ailleurs, et même si cela n'a pas été rapporté systématiquement, les organisations bénéficiaires du volet S et É interviewées ont constaté, à travers un sondage auprès d'anciens participants^{Note de bas de page 25}, que la programmation de leurs activités a contribué à augmenter le niveau d'intérêt des participants à l'égard de l'espace et les a encouragés à participer à d'autres activités liées à l'espace. Certains de leurs participants ont poursuivi des études supérieures et font carrière dans le domaine spatial.

Finalement, le public cible, c'est-à-dire les élèves du primaire et du secondaire, ainsi que les étudiants postsecondaires, a été atteint grâce à des activités d'apprentissage et du matériel liés à la science et à la technologie :

• 80 étudiants universitaires^{Note de bas de page 26} ont été sélectionnés via l'initiative STEDiA pour assister à des conférences.
• Environ 70 000 élèves du primaire et près de 49 000 élèves du secondaire ont terminé le programme Espace vivant de l'organisation Parlons sciences, dont des élèves d'écoles dans des communautés sous-représentées, y compris de juridictions autochtones, et des communautés éloignées (par exemple, du Nord du Canada (Territoires du Nord-Ouest et Yukon);
• Le Canada-Norway Student Sounding Rocket (CaNoRock), un partenariat entre les universités de l'Alberta, de Calgary et de la Saskatchewan, le Collège militaire royal, l'Université d'Oslo et le Centre spatial Andøya en Norvège, a permis à 60 étudiants canadiens de participer à des semaines de formation en Norvège;
• Le Canadian Satellite Design Challenge (CSDC) du Canadian Satellite Design Challenge Management Society a rejoint jusqu'à 800 étudiants de niveau universitaire grâce à 4 défis organisés.

Il convient de noter que le programme CaNoRock a engendré des développements additionnels d'activités éducatives au sein des universités participantes, dont une programmation au niveau des cycles supérieurs afin de créer une voie permettant aux étudiants de poursuivre leurs études dans une discipline liée à l'espace.

Résultats finaux attendus atteints

Il n'y a pas d'indicateur associé au résultat final^{Note de bas de page 27} du volet Recherche dans la SMR (ASC, 2013), mais cette dernière indique que tous les résultats intermédiaires devraient contribuer au résultat à long terme. Le Canada devrait donc disposer de la capacité requise pour mener des activités de recherche et de développement dans le domaine spatial, ainsi que de connaissances et d'informations spatiales suffisamment avancées pour répondre aux besoins et aux priorités nationales (ASC, 2013). Le Sondage IR – Rapport final complété uniquement par les bénéficiaires de subventions collige d'ailleurs des données sur les impacts finaux des projets financés.

De plus, il est très difficile de mesurer les indicateurs des résultats finaux^{Note de bas de page 28} du volet S et É à partir des données disponibles, car les deux indicateurs formulés dans la SMR (ASC, 2010), soit le « nombre et proportion de bénéficiaires qui signalent une sélection ultérieure pour un stage ou un emploi dans des disciplines liées à l'espace, ou une prestation ultérieure de services dans des disciplines liées à l'espace » et le « niveau de connaissance du public cible rapporté par les bénéficiaires », ne font pas partie de l'information recueillie dans les rapports des étudiants ou des organisations bénéficiaires. Cependant, le sondage et les entrevues externes administrés dans le cadre de l'évaluation ont permis de recueillir quelques données. Néanmoins, le fait de favoriser le développement continu dans les disciplines liées à l'espace devrait aider à assurer une masse critique de PHQ dans des domaines pertinents aux priorités de l'ASC : cette masse critique de PHQ devrait donc être disponible pour des stages, des emplois ou des prestations de services ultérieurs dans des disciplines liées à l'espace (ASC, 2010).

Donc, en se basant sur les résultats intermédiaires, certaines données colligées par le Sondage IR – Rapport final, et les données du sondage et des entrevues externes, ainsi qu'en considérant la pertinence du Programme discutée précédemment, l'évaluation conclut que les éléments suivants contribuent à répondre aux besoins et aux priorités nationales dans le domaine de l'espace, soutenir et augmenter la capacité de mener la R-D et les opérations spatiales, ainsi qu'accroître la sensibilisation aux S et T :

• Le Programme répond aux besoins des bénéficiaires dans le domaine de la R-D spatiale au Canada et il s'aligne sur les priorités fédérales.
• Les projets terminés continueront de générer des publications et des présentations^{Note de bas de page 29}.
• La majorité des projets impliquent un nombre important d'étudiants universitaires, ces derniers représentant 56% des équipes de recherche, et contribuent au développement de leur expertise et de leurs compétences.
• Les partenariats établis après l'achèvement des projets se poursuivront.
• Les étudiants universitaires bénéficiaires ont cherché (44%) ou obtenu (22%) un emploi dans un domaine lié à l'espace, et certains participants au programme CaNoRock et du CSDC ont poursuivi des études supérieures et des carrières dans le domaine spatial.
• Suite à leur participation à une conférence, la majorité (89%) des étudiants universitaires bénéficiaires ont vu leur niveau de sensibilisation et leurs connaissances des sciences, de la technologie et des sciences spatiales accrus.
• Les activités menées par les organisations bénéficiaires du volet S et É ont sensibilisé les jeunes et les étudiants post-secondaires aux différents sujets liés à l'espace et aux choix de carrière dans le domaine spatial.

Il est important de rappeler que les résultats finaux du Programme de S et C contribuent à l'atteinte des résultats stratégiques au niveau de l'ASC et ultimement, à sa responsabilité essentielle (voir section Pertinence du rapport).

Cependant, quelques personnes interviewées à l'interne et à l'externe ont fait remarquer qu'il existe des inquiétudes quant à la continuité du financement. L'évaluation précédente avait d'ailleurs mentionné que, selon des informateurs clés et des bénéficiaires, l'absence de continuité dans le financement de domaines ciblés par les AOP antérieurs avait réduit la capacité de certains projets de R-D à atteindre un niveau de maturité supérieur et à exploiter leur potentiel pour l'acquisition de connaissances. De plus, une personne interrogée a souligné qu'afin de créer un continuum entre l'intérêt des jeunes pour les STIM, la poursuite d'études postsecondaires dans une discipline pertinente au domaine spatial et l'obtention d'un emploi lié à l'espace, il est nécessaire de maintenir des activités du volet S et É au fil du temps. Plusieurs répondants aux sondages interne et externe ont d'ailleurs soulevé l'importance de ce volet dans l'écosystème spatial.

Finalement, il y a peu d'informations disponibles sur les impacts du financement de l'ASC sur les différents groupes de l'ACS Plus. Seuls 9 % des répondants au sondage externe ont pu confirmer que le financement qu'ils ont reçu a profité d'une manière ou d'une autre à divers groupes.

Administration, gestion et planification du Programme

L'administration et la gestion de chaque AOP et de chaque entente relèvent des directions générales responsables des activités et non du Programme. L'un des éléments les plus appréciés par les répondants internes et externes est la flexibilité du Programme en termes de type ou thème de projets, ainsi que pendant les projets.

La majorité des répondants externes sont satisfaits ou très satisfaits (78%) du Programme et apprécient notamment l'augmentation des opportunités de financement. D'un point de vue régional, le degré de satisfaction est similaire d'une province à l'autre.

Plus particulièrement, les bénéficiaires ont un haut niveau de satisfaction en ce qui a trait à l'administration du Programme : l'émission des paiements, les modifications et les suivis sont effectués adéquatement et en temps opportun (83% à 89%), le soutien fourni en vue de la mise en œuvre de l'entente ou durant l'entente était adéquat (85%) et les exigences en matière de rapport sont très ou extrêmement raisonnables (72%; la proportion est plus grande pour les contributions (80%) que pour les subventions (69%)). Cela est probablement dû, en partie, à la publication des normes de service sur le site web de l'ASC, ce qui permet de fixer les attentes en termes de délais. Suite au rapport d'audit de 2020 (ASC, 2020a), un rappel annuel aux directions générales a été fait relativement à l'importance de capturer les informations dans le système Unitas afin de répondre aux obligations découlant des différentes politiques (e.g. Politique sur les paiements de transfert (SCT, 2008a), Politique sur les services et le numérique (SCT, 2020), Cadre de responsabilisation de gestion du SCT). L'ensemble des normes de service ont été atteintes en 2019-2020. Cependant, malgré qu'un rapport automatisé existe pour extraire les résultats des normes de service via la base de données Unitas, il est impossible de reproduire les résultats antérieurs publiés car des données manquantes ont été ajoutées manuellement dans les fichiers d'extractions et d'autres y ont été corrigées, tandis que les données manquantes ou erronées à la source, c'est-à-dire dans la base de données centralisée, n'ont pas été ajoutées ni corrigées.

Du côté des exigences en matière de rapports, les répondants externes ont mentionné qu'elles étaient similaires ou meilleures (63%) que d'autres programmes (programmes fédéraux, provinciaux ou d'organisations non gouvernementales), en indiquant que la plate-forme de rapport en ligne (Sondage IR) était pratique et que l'Agence offrait de la flexibilité et demandait des informations raisonnables. Cela dit, certains répondants ont mentionné que les rapports demandaient plus d'informations détaillées que ceux d'autres programmes. Le processus de rapport est qualifié de simple par la majorité des répondants externes et est l'un des éléments les plus appréciés du Programme.

Les employés de l'Agence sont un peu moins satisfaits du Programme (61%; satisfaits ou très satisfaits) dans son ensemble que les gens à l'externe. Il y a d'ailleurs une satisfaction moindre du personnel concernant l'administration du Programme : seulement 13% des répondants internes ont convenu que les processus opérationnels sont optimaux, 44% indiquent que la capacité (nombre d'employés, budget et expertise) est insuffisante dans leur secteur pour faire le travail, et 48% affirment que leur équipe dispose des outils et des moyens techniques nécessaires. Concernant les processus opérationnels, une préoccupation fréquemment soulevée par le personnel sondé et interrogé est la complexité des processus et la lourdeur de la gouvernance. L'évaluation précédente avait également identifié le problème des processus internes lourds. Quelques personnes interrogées à l'interne ont suggéré explicitement une délégation d'approbation des ententes à un niveau plus bas et la possibilité d'adopter une approche fondée sur les risques. Afin d'alléger la gouvernance, une nouvelle charte de délégation d'approbation des ententes à un niveau plus bas de l'organisation a été approuvée au cours de l'évaluation et est en vigueur depuis octobre 2021. Les répondants internes ont également suggéré une plus grande standardisation et coordination entre les différentes directions générales afin d'alléger les processus internes, le travail en silos étant l'un des éléments les moins appréciés du Programme. D'ailleurs, dans le cadre de la Politique sur les services et le numérique (SCT, 2020), la revue des processus du Programme global de S et C pourra être réalisée prochainement. Cette revue permettra de faire ressortir les écarts entre les processus actuels versus les processus théoriques documentés dans la Boîte à outils des S et C développée par le CESC et d'identifier les éléments spécifiques à améliorer afin d'harmoniser et alléger les processus communs, tout en revoyant la grille RACI^{Note de bas de page 30}.

En ce qui a trait à la capacité dans les différents secteurs de l'Agence, le personnel fait état d'une expertise limitée en matière de S et C et d'un roulement ou manque de personnel, ainsi que d'un goulot d'étranglement au CESC (le CESC reçoit plus de demandes que ce qu'il peut traiter). Le personnel de l'ASC relie aussi ces problématiques de ressources à la lourdeur des processus de S et C (processus de consultation, documents à compléter, etc.), que ce soit pour des ententes de petite ou grande envergure, et à la croissance des S et C. Le financement alloué par le biais des S et C et le nombre d'ententes signées ont plus que doublé, tandis qu'il y a des nouveaux formats d'AOP, comme les défis, qui nécessitent plus de temps d'élaboration. Concernant les outils et les ressources techniques, plusieurs éléments sont déjà en place, comme la Boîte à outils des S et C sur Livelink et le système Unitas, mais tel que mentionné dans la section Rendement du rapport et suggéré par les répondants au sondage interne, certains éléments sont à améliorer : une base de données centralisée, des formulaires électroniques, des améliorations à Unitas et au Sondage IR. D'ailleurs, un informateur clé a soulevé la possibilité qu'une formation soit offerte sur les S et C afin d'assurer une pleine compréhension du cadre et des règles du Programme.

Sur une note connexe, la croissance des S et C peut représenter une augmentation du risque pour l'Agence. Malgré que ce risque ne se retrouve pas dans le Profil de risque organisationnel 2021-2022 (ASC, 2021b), il est inscrit dans le Plan d'affaires 2021-2022 que le cadre de risque des S et C sera révisé (ASC, 2021c). Par ailleurs, le CESC a élaboré en 2010 un guide et un formulaire pour l'évaluation des risques des bénéficiaires^{Note de bas de page 31} en fonction du type de paiement de transfert et du niveau de suivi requis, tel qu'exigé par la Directive sur les paiements de transfert (SCT, 2008b). Les risques des AOP sont aussi évalués en utilisant ces mêmes outils, en regard des risques des bénéficiaires potentiels. Il est à noter qu'étant donné que l'évaluation des risques est réalisée à chaque projet, un bénéficiaire peut avoir plusieurs niveaux de risques (nature de projet différente, complexité des activités, valeur financière, etc.). Par ailleurs, les informations sur les niveaux de risques ne sont pas colligées d'une façon centralisée au sein de l'ASC. De plus, suite au rapport d'audit de 2020 (ASC, 2020a), le CESC a élaboré un plan de surveillance et vérification des bénéficiaires, tel qu'exigé par la Directive sur les paiements de transfert (SCT, 2008b), et a procédé à l'audit de deux bénéficiaires de contributions en 2020-2021.

L'utilisation du Programme global de S et C comme principal instrument d'octroi de S et C et la capacité de chaque direction générale de concevoir et de gérer des AOP reflétant leurs priorités et celles de l'ASC, ainsi que les besoins de leurs communautés respectives, est unique à l'ASC. Les autres ministères et agences ayant un programme global l'utilisent comme complément à d'autres programmes de S et C plus spécifiques. Même si cette utilisation est considérée comme une bonne approche, certains répondants internes reconnaissent que l'Agence a tendance à travailler en silos, mais qu'il existe pourtant des possibilités de coordination et de standardisation entre les différents secteurs de l'Agence. Le Comité directeur des S et C agit à titre consultatif et fournit une tribune pour le partage d'informations et une certaine coordination (certaines standardisations des processus ont eu lieu grâce aux travaux du CESC et de ce comité), mais selon certains répondants, le mandat de ce groupe n'est pas clair, il ne fournit pas vraiment d'orientation stratégique et ne rejoint pas un niveau des membres pertinent. D'ailleurs, une personne interrogée à l'interne a estimé que le Comité directeur des S et C pourrait être utilisé pour des discussions à plus haut niveau concernant les développements en cours et offrir l'occasion d'une plus grande coordination dans la planification. Il est à noter que des nouveaux termes de référence du Comité directeur des S et C ont été approuvés en décembre 2021 et que ce dernier est devenu un comité aviseur.

La planification du Programme à moyen et long terme est limitée et cela représente un défi pour l'ASC et dans plusieurs autres ministères et agences interviewés. Près de la moitié (43%) des répondants au sondage interne n'ont pas été en mesure de dire si la planification à moyen ou à long terme du Programme global de S et C est efficace : seul 9% étaient pleinement convaincus que c'était le cas. Les personnes interviewées à l'interne ont d'ailleurs expliqué qu'il y a très peu de planification à moyen ou à long terme au niveau du Programme : la planification est principalement effectuée dans chacune des directions générales, et même parfois par initiative spécifique plutôt qu'à travers l'ensemble d'une direction générale, quoique la retraite stratégique annuelle soit utilisée pour établir des priorités entre les différentes directions générales. De plus, toutes les directions générales ne sont pas en mesure de s'engager dans une planification à long terme, car ils sont influencés par des facteurs externes, comme par exemple les partenaires externes de l'ASC (autres ministères et agences spatiales). Bien qu'il existe un Comité directeur des S et C (Comité aviseur depuis décembre 2021), le personnel interviewé indique qu'il n'y pas de vue d'ensemble sur tous les AOP en cours d'élaboration et de lancement (par exemple, aucun tableau de bord global, aucune feuille de route). D'ailleurs, dans les éléments les moins appréciés du Programme, l'absence de vision commune et de planification à long terme a été soulevée par le personnel sondé.

La planification a été abordée dans les entrevues avec les autres ministères et agences et la plupart ont expliqué que cela demeure un défi en général. Bien que quelques ministères et agences effectuent une certaine planification stratégique pour les S et C, dans de nombreux cas, la planification à long terme se produit au niveau de la direction générale ou du programme spécifique seulement. Néanmoins, le personnel interrogé et sondé suggère une plus grande coordination et planification entre les directions générales (opportunités de concevoir des AOP intersectoriels pour éviter la duplication des efforts et la confusion des demandeurs, comme l'AOP sur l'analyse des données) en élaborant un calendrier pour certaines opportunités de financement récurrentes et en obtenant une approbation sur 5 ans par exemple, ainsi que le renforcement des capacités de planification et de gestion des S et C pour se concentrer sur une planification intégrée au niveau des directions générales. Certains suggèrent le développement d'une approche holistique de l'ensemble des S et C.

Selon les modalités du Programme, la gouvernance est gérée par le Comité directeur des S et C, l'harmonisation et l'uniformisation est la responsabilité du CESC, l'exécution du Programme est réalisée par les directions générales (les directions générales gèrent les AOP et les ententes), mais les modalités indiquent également que des « équipes de mise en œuvre ou des groupes de travail seront établis, en fonction de thèmes, pour déterminer à l'échelle de l'ASC les activités qui permettront de produire des extrants et d'atteindre les résultats attendus » (ASC, 2009). Les rôles et responsabilités clés de ces groupes sont de déterminer les possibilités d'amélioration des services; rationaliser, uniformiser et harmoniser les processus de demande; introduire des pratiques de gestion des risques; et améliorer la participation des intervenants (ASC, 2009). Concernant cela, quelques personnes interrogées ont suggéré la possibilité de créer une unité en charge de la coordination des opérations des S et C, tout en tenant compte du fait que la connaissance des besoins et la compréhension des bénéficiaires potentiels appartiennent aux directions générales. Quelques répondants internes ont également suggéré que l'établissement d'une communauté de pratique pourrait aider à faire progresser la collaboration dans l'ensemble de l'Agence. En général, les répondants recherchent une occasion pour les différentes directions générales d'échanger plus d'informations et d'avoir un aperçu des activités de S et C à l'échelle de l'ASC.

L'approche par AOP

La sollicitation de propositions par l'intermédiaire des AOP est une approche efficace. La conception et la gestion des opportunités de financement reflétant les besoins des différentes communautés et les priorités des programmes du CMR et par extension, celles de l'ASC, ainsi que les objectifs du Programme de S et C, sont considérés comme une approche efficace selon la moitié des répondants au sondage externe (50%) et la plupart des répondants au sondage interne (65%). Toutefois, une préoccupation fréquente à l'interne et à l'externe est le fait que les opportunités de financement sont ponctuelles et imprévisibles. Le besoin d'une plus grande prévisibilité et harmonisation afin de faciliter la planification interne avait également été identifié dans l'évaluation précédente. Le rapport 2019-2020 sur la capacité universitaire canadienne en recherche spatiale (J.E. Halliwell Associates Inc., 2020) fait également état de commentaires en faveur d'AOP VITES ^{Note de bas de page 34} plus fréquents et plus prévisibles. Des AOP prévisibles amélioreraient leur accessibilité et leur impact, ainsi que l'expérience des bénéficiaires de financement et faciliteraient également la planification et les opérations de l'ASC à l'interne. Certains répondants externes et quelques membres du personnel recommandent plus de coordination et d'harmonisation entre les différents secteurs de l'Agence afin de rendre les AOP plus efficaces, autant pour les demandeurs que pour les employés à l'interne. Jusqu'à maintenant, certaines standardisations des processus pour l'établissement des AOP ont eu lieu grâce aux travaux du CESC et avec l'appui du Comité directeur des S et C, mais davantage pourrait être fait selon les répondants : une plus grande prévisibilité et stabilité dans les critères des AOP récurrents, et la création d'AOP qui couvrent des thématiques communes entre les différents programmes du CMR, plutôt que de multiples opportunités spécifiques (par exemple, sur l'analyse des données satellitaires).

Malgré que plus de la moitié des répondants internes (52%) et externes (57%) aux sondages trouvent que les possibilités de S et C sont accessibles, des répondants internes (20%) et externes (14%) ont le sentiment qu'il y a des barrières à l'accessibilité de divers groupes (en fonction de la localisation géographique, de la langue, de l'origine ethnique, du sexe ou du genre, des capacités physiques ou intellectuelles et/ou d'autres facteurs identitaires). Ces répondants ont suggéré que plus de considération soit accordée à certaines organisations et types de chercheurs (par exemple les PME^{Note de bas de page 35}, les start-ups, les chercheurs en début de carrière, les groupes sous-représentés (e.g. les femmes)) lors du design des AOP (e.g. en regard du format, des critères, du calendrier scolaire et financier, etc.). Certains suggèrent qu'un soutien, tel que l'accès à une formation, soit offert dans le cadre du processus de soumission des demandes. Il est à noter que certains AOP récents ont déjà ciblés de plus petits joueurs et que des discussions et des développements sont en cours à l'Agence sur la façon de surmonter les obstacles potentiels à l'accès et d'assurer la diversité parmi les bénéficiaires de S et C suite à l'approbation du rapport d'évaluation de la mise en œuvre de l'ACS Plus en juin 2021 (ASC, 2021f).

Complémentarité et collaboration avec d'autres programmes

La majorité des demandeurs de financement sondés considèrent le Programme global de S et C de l'ASC comme un programme complémentaire à d'autres programmes (61%) et non redondant (76%). Le facteur différenciant réside dans l'accent mis sur l'espace par l'ASC. Cet élément est l'un des éléments les plus appréciés du Programme selon les répondants aux sondages interne et externe. Du côté du personnel de l'ASC sondé connaissant d'autres programmes (23/54 – 43%), 65% ont indiqué qu'il y avait un chevauchement avec d'autres programmes, mais plus de la moitié (52%) de ces derniers ont indiqué qu'il existait des possibilités de collaboration avec ces programmes afin d'augmenter l'impact du financement, dont le CNRC (PARI), le CRSNG et la FCI. Certaines collaborations ont déjà eu lieu et d'autres sont en cours, mais des répondants reconnaissent que certaines modalités administratives peuvent restreindre les possibilités et que la collaboration nécessite un investissement en temps et en ressources. Quelques répondants notent que la collaboration interministérielle est une discussion stratégique plus vaste actuellement en cours, notamment avec le Comité interministériel de S et C), mais que l'Agence essaie de ne pas dupliquer les programmes offerts dans d'autres ministères et agences. C'est d'ailleurs un des résultats escomptés de la Politique sur les paiements de transfert (SCT, 2008a) : « il y a collaboration au sein du ministère et entre les ministères en vue d'harmoniser les programmes de paiements de transfert et d'uniformiser leur administration, lorsqu'approprié ». Néanmoins, la complexité des relations interministérielles est l'un des éléments les moins appréciés du Programme par le personnel sondé. Concernant la collaboration, l'évaluation a constaté que la nouvelle norme recommandée de la Classification canadienne de la recherche et du développement (CCRD) (StatCan, 2020) qui est utilisée « par les organismes subventionnaires fédéraux et Statistique Canada pour recueillir et diffuser des données liées à la recherche et au développement au Canada » ne fait pas partie des informations recueillies dans Unitas, des thèmes de recherche internes à l'ASC étant sélectionnés. La CCRD vise entre autres à déterminer les possibilités de collaboration pour optimiser les efforts de recherche et améliorer les résultats, ainsi qu'améliorer les rapports sur les contributions combinées des organismes de recherche et de sciences au Canada.

Processus de soumission des demandes, d'évaluation et de sélection

Dans l'ensemble, les processus de soumission des demandes, d'évaluation et de sélection sont appropriés mais pourraient être améliorés à certains égards. Dans la majorité des cas, les répondants aux sondages internes et externes connaissant d'autres programmes ont indiqué que les processus reliés aux S et C d'autres organisations étaient meilleurs ou à peu près les mêmes que ceux de l'ASC et ont généralement le sentiment que les processus de l'ASC sont plus lourds ou plus complexes que ceux des autres organisations (en comparant entre autres aux programmes du CRSNG, MDN, CNRC et FCI). L'évaluation précédente a d'ailleurs indiqué que la standardisation des processus de soumission des demandes et de sélection, incluant la rétroaction, permettrait une optimisation des ressources et ce, autant pour les processus sollicités que non sollicités.

Du côté du processus de demande, l'ASC a principalement exigé le papier ou les clés USB pour la soumission des propositions au cours de la période d'évaluation. La plupart des répondants externes insistent sur le fait que les demandes devraient être effectuées en ligne via un portail convivial, simple et efficace. D'ailleurs, la Stratégie du Gouvernement numérique du Canada (GC, 2021b) vise notamment à remplacer les milliers de formulaires PDF qui ne sont ni accessibles et ni pratiques par des versions Web modernes et conviviales afin de soumettre de l'information facilement et en toute sécurité en ligne. Il est à noter qu'avec la nouvelle Stratégie de transformation numérique de l'ASC (ASC, 2021a), les processus du Programme seront revus avec une vision « client » et une approche de services « en ligne de bout en bout ». Cela s'inscrit également dans une perspective ACS Plus permettant une accessibilité égale peu importe le lieu de résidence. Il est à noter qu'en raison de la pandémie de la COVID-19, l'ASC a autorisé les soumissions électroniques pour les opportunités de 2021^{Note de bas de page 37}. Il n'y a toutefois pas d'approche pour le moment afin de mettre cela en œuvre de manière permanente, globale et obligatoire.

Par ailleurs, les répondants externes ne sont pas entièrement satisfaits du processus de soumission : la moitié seulement considèrent le niveau d'effort et le temps requis pour compléter une demande de financement comme très ou extrêmement raisonnables (51%; la proportion étant évidemment plus faible pour les non-bénéficiaires (33%)). Les répondants ont entre autres décrit le processus de soumission comme étant trop lourd, trop long, détaillé, répétitif, complexe et/ou disproportionné par rapport au montant du financement offert, et qu'il n'y a pas assez de temps pour soumettre les demandes. C'est l'un des éléments les moins appréciés du Programme. Toutefois, le personnel sondé et interviewé, ainsi que les répondants externes au sondage mentionnent que le processus de soumission pourrait être amélioré en ayant, par exemple, une interface améliorée et un processus de demande par étapes. L'utilisation des lettres d'intention comme étape initiale de soumission d'une demande pour certains AOP est une approche efficace en termes de réduction de la charge des demandeurs (qui peuvent savoir dès la première étape si leur projet est éligible) et pour les évaluateurs (car il y a moins de propositions complètes à évaluer à la seconde étape). Cette approche est une bonne pratique des autres ministères et agences et a également été suggérée par quelques répondants externes. De plus, un outil de demande par étapes est déjà en place dans le système centralisé Unitas (ainsi qu'un guide sur les AOP en 2 étapes dans le coffre à outils des S et C), où la première étape est une pré-sélection basée sur l'admissibilité du demandeur et l'admissibilité du projet, mais le processus et les normes de service associées n'ont pas encore été établis. Il demeure donc peu utilisé.

Du côté des processus d'évaluation et de sélection, les propositions sont évaluées dans l'ensemble en fonction de l'éligibilité des demandeurs et de la grille des critères établis pour chaque AOP. L'évaluation des propositions non sollicitées est réalisée en fonction de certains critères établis dans le Guide du demandeur^{Note de bas de page 38} (e.g. éligibilité du demandeur, éligibilité du projet, liens avec les priorités de l'ASC et objectifs du programme) et relève d'une décision des directions générales en fonction d'autres éléments (e.g. disponibilité budgétaire, calendrier, harmonisation avec les autres initiatives de l'ASC, collaboration avec les autres ministères et agences).

Les propositions sont généralement évaluées par le personnel de l'ASC de la direction générale concernée et des autres directions générales (revue interne par les pairs, groupe de 2-3 évaluateurs), mais STS, UE et ES font appel à des évaluateurs externes pour certains de leurs AOP. Dans certains cas, la liste des propositions classée est revue par la haute direction pour d'éventuels ajustements en fonction des éléments de sélection globale stratégique (répartition géographique, priorités, profil des bénéficiaires, etc.), qu'on nomme « critères souples » normalement inscrits dans l'AOP, ce qui constituent une 2e étape de sélection. Cela est d'ailleurs variable selon les directions générales et les AOP. La sélection finale des propositions est approuvée par le CRII ou, selon la nouvelle charte de délégation d'approbation des ententes effective depuis octobre 2021, à un niveau plus bas de l'organisation. Les résultats du sondage interne (56%) confirment que cette approche pour sélectionner les bénéficiaires est adéquate : les répondants qui ont confiance dans les processus de sélection utilisés pour les AOP estiment qu'ils sont complets, justes et rigoureux. D'ailleurs, le récent rapport de l'Évaluation de la mise en œuvre de l'ACS Plus (ASC, 2021f) considère l'approche de sélection en 2 étapes comme une pratique exemplaire à l'Agence. Cependant, les commentaires indiquent que la lourdeur, ainsi que la subjectivité du processus demeurent une préoccupation. Les répondants externes ne sont pas entièrement satisfaits du processus de sélection : environ la moitié seulement signalent que le processus de sélection est très ou extrêmement clair (53%) et très ou extrêmement équitable (55%) et sont très ou extrêmement d'accord avec le fait que l'ASC répond aux demandes en temps opportun (48%), le degré de satisfaction étant évidemment plus élevé pour les bénéficiaires et plus faible pour les non-bénéficiaires. Quelques personnes interrogées à l'interne ont reconnu que l'ASC n'indique pas toujours clairement comment les propositions sont évaluées. Les entrevues internes indiquent par ailleurs que la prise en compte de la diversité et de l'inclusion dans l'évaluation des propositions reste un défi pour les directions générales (comment tenir dûment compte des variables démographiques et comment celles-ci devraient interagir avec d'autres critères de sélection). Comme indiqué dans l'évaluation précédente, le personnel sondé et interviewé, ainsi que les répondants externes au sondage mentionnent que les processus d'évaluation et de sélection pourraient être améliorés en ayant, par exemple, plus de transparence (dont une explication et une communication plus claires du processus et du pointage), des critères d'évaluation récurrents et clairs, intégrés et communiqués dès le départ, une plus grande utilisation d'évaluateurs externes et d'évaluation par des pairs, ainsi qu'une rétroaction systématique pour tous les demandeurs. Une composante de rétroaction existe d'ailleurs dans le module d'évaluation des propositions du système Unitas : lorsque le résumé de l'évaluation de la proposition est complété par les évaluateurs, le document peut être annoté par des points positifs et constructifs, puis généré afin d'être envoyé au demandeur (il n'est toutefois pas envoyé automatiquement).

Résultats et impacts

Puisque le Programme global de S et C est un programme autonome, il possède sa propre mesure du rendement et ses propres indicateurs qui doivent être mesurés, tel que spécifié dans les modalités du Programme. Cependant, les PIR doivent clairement indiquer l'approche d'information sur le rendement spécifique au programme de paiement de transfert dans le cas où ce programme de S et C ne forme qu'une partie d'un programme dans l'inventaire des programmes (SCT, 2018), comme c'est le cas à l'Agence. Les résultats du Programme sont rapportés par le CESC, mais les directions générales rapportent également ces résultats pour les programmes du CMR, ceux-ci étant regroupés pour l'ensemble de leurs activités sectorielles. Les directions générales, responsables d'administrer leurs propres AOP, perçoivent davantage le Programme comme un mécanisme de financement. D'ailleurs, un formulaire nommé « Mécanisme de financement » supportant cette perception existe dans la Boîte à outils des S et C : ce formulaire est un outil d'aide à la décision pour choisir entre un paiement de transfert (AOP) ou un marché (demande de propositions). De plus, quelques répondants décrivent une discordance entre ce qui est attendu du Programme (ce qui est évalué, mesuré et rapporté) par rapport à ce que les directions générales poursuivent dans leur propre programme en utilisant les S et C. Néanmoins, un travail d'harmonisation est actuellement en cours avec la mise à jour des PIR, où 6 indicateurs du Programme global de S et C ont été associés aux indicateurs du CMR, indicateurs déjà inclus dans les PIR des trois programmes du CMR. Ce nouveau cadre de rendement devrait être effectif en 2022-2023. Cela conduit à une réduction du nombre d'indicateurs et un alignement plus direct avec les objectifs des programmes, ces éléments ayant été rapportés par quelques répondants internes (sondage et entrevues) comme étant problématiques (par exemple, désalignement entre les objectifs de DTS et les objectifs du Programme). Cependant, certains membres du personnel sondés et interviewés ont mentionné que l'ASC pourrait faire davantage pour raconter l'histoire de l'impact à long terme de ses investissements. D'ailleurs, l'initiative DTS sous le PDCS rapporte le potentiel ou l'impact commercial un an et cinq ans après la fin du projet, contrairement à ce qu'il est possible de faire avec le Sondage IR (court terme, pendant l'entente ou juste après la fin de l'entente).

Du côté des résultats inattendus du Programme, 38% des répondants externes au sondage ont indiqué qu'il y avait des répercussions imprévues à leur projet de recherche financé, principalement positives. Ces résultats inattendus incluent le développement de nouvelles collaborations, des connexions ayant mené à des opportunités ultérieures ou potentielles, et un effet levier sur d'autres ressources. Le personnel sondé a fait des commentaires sur les résultats inattendus à la fois positifs (impact supplémentaire des données, projets précurseurs de missions spatiales et visibilité canadienne accrue) et négatifs (biais inconscients et tendance à soutenir les mêmes clients, faible financement de la recherche poussant les chercheurs à s'orienter vers d'autres domaines), mais dans une moindre mesure (21%).

Du côté des impacts et avantages sur divers groupes, les informations sont plutôt limitées. Seuls 9% des répondants au sondage externe ont pu confirmer que le financement qu'ils ont reçu a profité à divers groupes (en fonction du lieu, de la langue, de l'origine ethnique, du sexe ou du genre, des capacités physiques ou intellectuelles et/ou d'autres facteurs d'identité), tandis que 35% des répondants internes ont affirmé que le Programme avait des répercussions différentes sur différents groupes. Par ailleurs, Parlons Sciences, par le biais de leur programme Espace vivant, a offert des activités d'apprentissage aux élèves d'écoles dans des communautés sous-représentées et éloignées, dont des communautés autochtones.

Opportunités de financement

Le nombre d'AOP et le montant annuel de financement octroyé dans le cadre du Programme global de S et C ont augmenté au cours des 6 dernières années. Les AOP pourraient cependant être davantage planifiés, harmonisés et récurrents, et simplifiés par un processus de soumission des demandes allégé, par étapes par exemple (lettre d'intérêt suivie d'une proposition complète), lorsque possible. Le processus est d'ailleurs déjà existant dans le système centralisé, mais il nécessite du peaufinage. Cela augmenterait l'impact des AOP, améliorerait leur accessibilité et l'expérience des demandeurs, et simplifierait la planification et les opérations internes. Des AOP prévisibles pourraient également faciliter la participation de réviseurs externes. Le Programme pourrait aussi répondre davantage aux besoins des communautés quant au moment du lancement des AOP, à l'accès aux installations et au mentorat (sous forme de collaboration), au soutien à certains niveaux de maturité technologique, à la collaboration avec d'autres ministères et agences et à des interactions plus soutenues avec les différentes clientèles. Cela pourrait être positif pour certains groupes, comme les PME et les chercheurs en début de carrière, quoique certaines opportunités ont déjà été adaptées à ces clientèles. Des mesures sont à prévoir pour faciliter l'accès et garantir la diversité parmi les bénéficiaires des S et C dans une perspective ACS Plus. L'harmonisation des AOP nécessitera par ailleurs une plus grande coordination entre les directions générales. Aussi, davantage d'informations sur le processus non sollicité pourraient être partagées au sein des différents secteurs de l'ASC et auprès des différentes communautés.

Outils, données et processus opérationnels

Un système d'information centralisé et plusieurs outils ont été mis en place et/ou améliorés, et leur utilisation a été de plus en plus grande au cours des 6 dernières années. Le système Unitas offre beaucoup de flexibilité et est utilisé dans d'autres contextes puisqu'il s'agit d'un système de gestion de la relation client. Malgré qu'il y ait un effort perceptible d'entrée de données aux différentes étapes des processus, certains éléments ne sont toujours pas systématiquement créés ou entrés correctement. Comme il y a peu de champs obligatoires dans le système, plusieurs données peuvent être omises. De plus, malgré qu'un lien ait été créé de SAP vers Unitas, les données financières extraites diffèrent en raison du codage des données dans SAP (façon et limitation). Également, les changements fréquents au Sondage IR et le format texte des champs rendent difficile l'analyse des données. Cependant, les rapports des étudiants et des organisations concernant le volet S et É sont en cours de révision afin qu'ils soient standardisés et en ligne. Les normes de service sont par ailleurs mises à jour et publiées adéquatement, quoique certaines données sont erronées ou manquantes dans la base de données. Une directive quant à l'utilisation du système centralisé pour tous les processus des S&C, une assurance qualité des données de façon plus systématique et une révision du format des données permettrait donc une meilleure qualité des données afin d'avoir une information plus riche, plus directe et sur une plus longue période concernant les AOP, les directions générales et les programmes, les bénéficiaires et non-bénéficiaires et les normes de service, qui serait utile pour la reddition de compte et l'aide à la prise de décision.

Plusieurs outils sont mis à la disposition des opérations des S et C. Ils se retrouvent sous la Boîte à outils des S et C dans Livelink. Certains éléments y ont été mis à jour, mais certains d'entre eux demeurent en attente par manque de ressources principalement, mais aussi par manque d'alignement avec les besoins des utilisateurs, les objectifs et les exigences. Les tâches de création de nouveaux outils ou de mise à jour pourraient être séparées en étapes et les principaux utilisateurs devraient être impliqués dès le début du processus de création ou de mise à jour. La Boîte à outils des S et C inclut également les étapes des processus opérationnels et la grille RACI, quoique ces processus ne sont pas alignés avec l'entrée de données dans Unitas (ni dans SAP). Les formulaires de collecte d'informations tel que celui de l'évaluation du risque des bénéficiaires auraient avantage à être en ligne (au lieu d'Excel) afin de colliger des données d'un point de vue centralisé.

Finalement, l'ASC a autorisé la soumission électronique des propositions pour certaines opportunités en 2021 en raison de la pandémie, mais une approche permanente et globale est à mettre en œuvre, tandis que l'interface et la fluidité du processus de demande en ligne pourraient être améliorées d'un point de vue utilisateur entre autres.

Processus d'évaluation et de sélection

Bien que les processus d'évaluation et de sélection du Programme global de S et C sont appropriés, ceux-ci, comparés aux autres ministères et agences, pourraient être améliorés en offrant une rétroaction systématique à tous les demandeurs (élément de rétroaction existant dans le module d'évaluation des propositions de Unitas). De plus, l'ASC devrait spécifier dès l'affichage des AOP la façon dont sont considérés les éléments de sélection globale stratégique comme la localisation géographique ou les facteurs démographiques. La composition de l'équipe des réviseurs (e.g. âge, poste et niveau, domaine d'expertise) pourrait également être communiquée afin d'augmenter la transparence des processus. La participation de réviseurs externes rendue davantage possible par des AOP récurrents et planifiés permettraient également de rendre les processus plus transparents.

Finalement, les processus non sollicités sont peu utilisés et sont perçus comme étant moins transparents. Les propositions non sollicitées sont examinées à la discrétion de l'ASC et peuvent être acceptées à titre exceptionnel. Il semble que plus d'informations sur ce type de processus et les critères d'évaluation pourraient être partagés au sein des directions générales et auprès des différentes communautés.

Rôles, responsabilités et coordination

Le CESC est une fonction importante dans la livraison du Programme global de S et C, mais ses rôles et responsabilités doivent être clarifiés et mieux communiqués. Des nouvelles ressources ont été ajoutées en 2021^{Note de bas de page 39} et cela permettra plus d'opportunités d'innovation, de réflexion stratégique, de collaboration et d'amélioration du Programme.

Des besoins d'expertise et de formation entre autres en S et C et en lien avec l'ACS Plus, ainsi qu'une plus grande coordination et harmonisation, ont été soulevés par les directions générales afin de mieux soutenir les opérations. Une plus grande coordination et harmonisation des opérations pourrait être favorisée par une communauté de pratique, un ou des groupe(s) de travail ou même la mise en place d'un groupe opérationnel dédié, qui consiste d'ailleurs en une bonne pratique des autres ministères et agences. Et, comme le Programme est sous la responsabilité du dirigeant principal des finances, l'ajout d'un groupe de travail opérationnel dans les directions générales pourrait permettre une structure d'imputabilité et d'échange d'information, ce qui amènerait un meilleur aperçu des activités de S et C à l'échelle de l'ASC. Par ailleurs, on observe déjà plus de synergies entre les différents secteurs de l'Agence: il y a maintenant un employé de STS qui travaille également avec l'équipe des Communications en ce qui a trait aux projets de S et É dans le cadre du PDCS.

Finalement, les nouveaux termes de références du Comité aviseur en S et C, qui était auparavant un comité directeur, favoriseront sans doute une plus grande coordination entre les différentes directions générales. De plus, la gouvernance a été en partie allégée avec la récente délégation d'approbation des ententes à un niveau plus bas de l'organisation.

Mesure du rendement

Avec ses propres modalités, le Programme global de S et C doit posséder sa propre mesure du rendement. Les PIR des trois programmes du CMR de 2017 ont remplacé les SMR de 2010 et 2013 du Programme, mais n'indiquaient pas l'approche pour mesurer le rendement spécifique du Programme et n'incluaient pas de cible spécifique pour ce dernier. La mise à jour actuelle des PIR permettra d'associer 6 indicateurs du Programme aux trois PIR, dont un indicateur au volet S et É (nombre d'étudiants impliqués dans les projets). Ceci est un pas en avant vers l'alignement du Programme au nouveau modèle logique de l'ASC récemment approuvé et représente donc un alignement plus direct avec les objectifs des programmes du CMR. Toutefois, il serait important de définir des cibles spécifiques pour le Programme global de S et C. De plus, il n'y a pas d'indicateur relié à la clientèle jeunesse du volet S et É, même si le nouveau modèle logique de l'ASC contient deux indicateurs qui pourraient y être associés. Également, les PIR n'indiquent pas la manière de mesurer l'efficience du Programme. L'ajout de mesures d'efficience dans les PIR, telles que les moyens pour exécuter le programme, les facteurs facilitants aux différentes étapes du cycle de vie du programme, et les processus mis en œuvre pour améliorer l'efficience des activités du programme, permettrait de définir des questions et des indicateurs en lien avec l'efficience des programmes. Conséquemment, puisqu'il y aura moins d'indicateurs pour le Programme global de S et C, le Sondage IR devrait être revu afin de s'assurer que seules les informations nécessaires sont demandées aux bénéficiaires de S et C.

Finalement, même s'il n'y a pas lieu de modifier les modalités du Programme global de S et C, la mise à jour prochaine prévue par le Conseil du Trésor de la Politique sur les paiements de transfert pourrait être une occasion de les mettre à jour au besoin afin, entre autres, d'être plus englobant concernant la R-D, l'innovation et la capacité commerciale avec le marché croissant du secteur spatial commercial, ainsi que de répondre davantage aux besoins des différentes clientèles et revoir la gouvernance et les responsabilités qui y sont décrites.

À la lumière des principaux constats d'évaluation mentionnés précédemment, l'évaluation recommande les actions suivantes pour améliorer l'accessibilité et l'efficience du Programme global de S et C de l'ASC :

1. Établir des opportunités de financement régulières en tenant davantage compte des besoins de la clientèle diversifiée, tout en harmonisant et coordonnant davantage entre les directions générales et les bénéficiaires.
2. Clarifier les règles et exigences associées à la collaboration ministérielle avec les bénéficiaires de S et C, et les communiquer aux parties prenantes.
3. Utiliser une base de données opérationnelle unique pour l'administration et la gestion du Programme et faire le contrôle de la qualité, de la continuité et de l'intégralité des données.
4. Explorer la possibilité d'utiliser des outils standardisés pour alléger le processus de soumission des demandes, par exemple en utilisant un processus de demande par étapes.
5. S'assurer d'offrir une rétroaction systématique pour toutes les demandes.
6. Communiquer les rôles et responsabilités du CESC aux directions générales utilisatrices du Programme de S et C afin de s'assurer d'une compréhension commune et répondre aux besoins des directions générales en termes de services et d'expertise dont ils ont besoin.
7. Dans la mise à jour de la mesure du rendement, s'assurer d'avoir des indicateurs du modèle logique de l'ASC pour chacun des volets et clientèles du Programme, et d'établir des cibles spécifiques concertées pour le Programme.

Documentation interne

• Agence spatiale canadienne (ASC, multiple années) Plan d'évaluation quinquennal.
• Agence spatiale canadienne (2009) Modalités du Programme global de subventions et contributions à l'appui de la recherche, de la sensibilisation et de l'éducation en sciences et technologies spatiales.
• Agence spatiale canadienne (2021a) Stratégie de transformation numérique.
• Agence spatiale canadienne (2021b) Profil de risque organisationnel 2021-2022.
• Agence spatiale canadienne (2021c) Plan d'affaires 2021-2022.
• Agence spatiale canadienne (2018a) Cadre ministériel des résultats.
• Agence spatiale canadienne (2017a) Politique sur l'analyse comparative entre les sexes plus.
• Agence spatiale canadienne (2017b) Profils d'information sur le rendement.
• Agence spatiale canadienne (2013) Stratégie de mesure du rendement du Programme global de subventions et contributions – volet Recherche.
• Agence spatiale canadienne (2010) Stratégie de mesure du rendement du Programme global de subventions et contributions.
• J.E. Halliwell Associates Inc. (2020) Canadian Academic Capacity in Space-related Research 2019/2020.

Documentation publique

• Agence spatiale canadienne (2021d) Plan ministériel 2020-2021 - Table de renseignements supplémentaires - Plan ministériel 2020-2021. [En ligne].
• Agence spatiale canadienne (2021e) Subventions et contributions. [En ligne].
• Agence spatiale canadienne (2021f) Évaluation de la mise en œuvre de l'analyse comparative entre les sexes plus (ACS Plus) à l'Agence spatiale canadienne. [En ligne].
• Agence spatiale canadienne (2020a) Audit du cadre de gestion du Programme global de subventions et contributions à l'appui de la recherche, de la sensibilisation et de l'éducation en sciences et technologies spatiales. [En ligne].
• Agence spatiale canadienne (2020b) Rapport sur les résultats ministériels 2019-2020. [En ligne].
• Agence spatiale canadienne (2019a) Exploration, imagination, innovation : Une nouvelle stratégie spatiale pour le Canada. [En ligne].
• Agence spatiale canadienne (2019b) Participation étudiante au Congrès international d'astronautique (IAC) 2019, avis d'offre de participation. [En ligne].
• Agence spatiale canadienne (2019c) État du secteur spatial canadien - Rapport 2019. [En ligne].
• Agence spatiale canadienne (2019d) Rapport sur les résultats ministériels 2018-2019. [En ligne].
• Agence spatiale canadienne (2019e) Plan ministériel 2019-2020. [En ligne].
• Agence spatiale canadienne (2018b) Rapport sur les résultats ministériels 2017-2018. [En ligne].
• Agence spatiale canadienne (2018c) Plan ministériel 2018-2019. [En ligne].
• Agence spatiale canadienne (2017c) Évaluation du Programme global de subventions et de contributions à l'appui de la recherche, de la sensibilisation et de l'éducation en sciences et technologies spatiales. [En ligne].
• Agence spatiale canadienne (2017d) Plan ministériel 2017-2018. [En ligne].
• Femmes et Égalité des genres Canada (2021) Analyse comparative entre les sexes plus. [En ligne].
• Gouvernement du Canada (2021a) Budget 2021. Une relance axée sur les emplois, la croissance et la résilience. [En ligne].
• Gouvernement du Canada (2021b) Stratégie du Gouvernement numérique du Canada. [En ligne].
• Gouvernement du Canada (2019) Charte : dimensions : équité, diversité et inclusion Canada. [En ligne]
• Gouvernement du Canada (2014) Cadre de la politique spatiale du Canada. [En ligne].
• Loi sur l'Agence spatiale canadienne, L.C. 1990, c. 13, [En ligne].
• Loi constitutionnelle de 1867, 30 & 31 Victoria, c. 3, [En ligne].
• Secrétariat du Conseil du Trésor (2021) Guide de la collaboration ministérielle avec les bénéficiaires de subventions et de contributions. [En ligne].
• Secrétariat du Conseil du Trésor (2020) Politique sur les Services et le numérique. [En ligne]
• Secrétariat du Conseil du Trésor (2018) Interim Guide on Results (en anglais seulement). [En ligne].
• Secrétariat du Conseil du Trésor (2016a) Politique sur les résultats. [En ligne]
• Secrétariat du Conseil du Trésor (2016b) Directive sur les résultats. [En ligne]
• Secrétariat du Conseil du Trésor (2008a) Politique sur les paiements de transfert. [En ligne]
• Secrétariat du Conseil du Trésor (2008b) Directive sur les paiements de transfert. [En ligne]
• Statistiques Canada (2020) Classification canadienne de la recherche et développement (CCRD) 2020 version 1.0. [En ligne].
• Statistiques Canada (2019) Parcours professionnels des titulaires d'un diplôme en STGM au Canada : analyse comparative entre les sexes. [En ligne].
• Travaux publics et Services gouvernementaux Canada (2008) Évaluation sommative du Programme de subventions et de contributions par catégorie. [En ligne].