Rapport sur la revue des pratiques des missions d’appréciation directe — Pour les missions d’appréciation directe réalisées au cours de l’exercice 2016-2017

Rapport sur la revue des pratiques des missions d’appréciation directe — Pour les missions d’appréciation directe réalisées au cours de l’exercice 2016-2017

Introduction

1. Le Bureau du vérificateur général du Canada (le Bureau) effectue des études et des audits indépendants qui fournissent de l’information, une assurance et des avis objectifs au Parlement, aux assemblées législatives territoriales, aux conseils d’administration des sociétés d’État, au gouvernement et à la population canadienne. Le Bureau effectue trois grands types d’audit législatif : les audits d’états financiers, les audits de performance et les examens spéciaux. Les audits de performance et les examens spéciaux sont qualifiés de missions d’appréciation directe.

2. Un audit de performance est une évaluation indépendante, objective et systématique de la façon dont le gouvernement gère ses activités et ses ressources et assume ses responsabilités. Les audits de performance favorisent l’efficacité au sein de la fonction publique et la reddition de comptes du gouvernement envers le Parlement et la population canadienne. Les audits de performance sont planifiés, réalisés et présentés conformément aux normes professionnelles d’audit et aux politiques du Bureau.

3. L’examen spécial constitue une forme d’audit de performance qui porte sur les sociétés d’État. Le Bureau audite la plupart des sociétés d’État, mais pas toutes. L’étendue des examens spéciaux est établie dans la Loi sur la gestion des finances publiques. Un examen spécial vise à déterminer si les moyens et les méthodes d’une société d’État lui fournissent l’assurance raisonnable que ses actifs sont protégés et contrôlés, que la gestion de ses ressources est économique et efficiente, et que ses activités sont menées efficacement.

4. La mission de l’Équipe de la revue des pratiques et de l’audit interne est d’accroître et de protéger la valeur de l’organisation en fournissant, de manière objective et en se fondant sur les risques, une assurance, des avis et des observations. L’Équipe soutient le Bureau dans la réalisation de ses objectifs en formulant des recommandations sur la gestion après avoir mené un exercice systématique et rigoureux d’évaluation et d’approbation de la conception et de l’efficacité des processus de gestion du risque, de contrôle et de gouvernance.

5. L’Équipe aide le Bureau à s’acquitter de ses obligations aux termes de la Norme canadienne de contrôle qualité 1 de Comptables professionnels agréés du Canada. Elle y parvient en procédant à des inspections qui visent à déterminer dans quelle mesure les responsables de mission se conforment aux normes professionnelles, aux politiques du Bureau, aux lois et règlements applicables dans la conduite de leurs audits. Ces inspections permettent aussi de confirmer que les rapports d’audit sont appropriés et bien étayés.

6. En outre, l’Équipe réalise ses travaux conformément au Plan de la Revue des pratiques et de l’audit interne le plus récent du Bureau, lequel a été recommandé par le Comité d’audit et approuvé par le vérificateur général. Ce plan prévoit une surveillance systématique et cyclique des travaux de tous les responsables de mission du Bureau.

7. Afin de s’assurer que ses audits sont exécutés selon les normes de Comptables professionnels agréés du Canada, le Bureau établit des politiques et des procédures pour encadrer ses travaux. Celles-ci sont énoncées dans le Manuel pour les missions d’appréciation directe du Bureau, dans son Système de contrôle qualité et dans divers outils d’audit qui aident les auditeurs à suivre les étapes requises. Les trois vérificateurs généraux adjoints qui sont responsables des missions d’appréciation directe assurent la direction et la surveillance de la pratique des missions d’appréciation directe au sein du Bureau et contribuent à la qualité de chacun des audits.

8. La mise à jour des méthodes du Bureau pour les missions d’appréciation directe de l’automne 2015 prévoyait des changements importants au Manuel pour les missions d’appréciation directe, aux procédures d’audit dans TeamMate et aux modèles. Ces changements ont été apportés surtout pour assurer la conformité à la nouvelle Norme canadienne de missions de certification (NCMC) 3001 — mission d’appréciation directe. Ces changements devaient entrer en vigueur progressivement, en fonction de la date de présentation du rapport d’une mission d’appréciation directe, jusqu’au printemps 2017. Les méthodes appliquées par l’équipe de la Revue des pratiques et de l’audit interne concordent avec ces changements.

9. Le présent rapport résume les principales observations découlant de la revue des pratiques des missions d’appréciation directe sélectionnées qui ont été réalisées au cours de l’exercice 2016-2017.

Aperçu

Objectif

10. Une revue des pratiques vise à fournir au vérificateur général l’assurance que :

Étendue et méthode

11. L’Équipe de la revue des pratiques et de l’audit interne a effectué une revue des pratiques de six missions d’appréciation directe (cinq audits de performance et un examen spécial) qui ont été réalisées au cours de l’exercice 2016-2017. Selon nos méthodes, nous devons passer en revue un échantillon d’audits terminés de manière cyclique, en examinant au moins une mission pour chaque responsable de mission à l’intérieur d’une période de surveillance de quatre ans. Nous avons sélectionné les responsables de mission et leurs dossiers par échantillonnage aléatoire.

12. Nos revues ont comporté un examen des dossiers d’audit en version électronique (TeamMate) et en version papier, le cas échéant. Nous avons revu les documents relatifs à la planification, à l’examen et à la production du rapport d’audit. Nous avons également eu des entretiens avec les responsables du contrôle qualité de la mission et avons rencontré certains membres des équipes d’audit et d’autres experts internes, selon le cas, pour discuter de certains points.

13. Nous avons examiné tous les dossiers sélectionnés, à la lumière du Système de contrôle qualité (Annexe A). Nous avons axé nos travaux sur les éléments et contrôles de processus qui, selon nous, semblaient essentiels ou à risque élevé (Annexe B) pour les audits sélectionnés.

Notation

14. Pour chaque audit revu, nous avons noté chaque élément et contrôle de processus sélectionné du Système de contrôle qualité de la manière suivante :

15. À la fin de chacune des revues, nous avons déterminé si l’opinion de l’auditeur indépendant était bien étayée et appropriée. Nous avons aussi déterminé si le dossier d’audit était conforme dans son ensemble aux NAGR et aux politiques du Bureau.

Résultats des revues

Caractère approprié des rapports d’audit

16. Dans l’ensemble, nous avons constaté que les rapports d’audit étaient bien étayés et appropriés pour les six dossiers passés en revue.

Conformité aux éléments et aux contrôles de processus du Système de contrôle qualité

17. En règle générale, le niveau global de conformité aux éléments du Système de contrôle qualité était bon. Les six dossiers étaient conformes, tout en nécessitant des améliorations. La section « Observations » ci-après contient des précisions à ce sujet.

18. Il faut savoir que notre conclusion générale sur un dossier donné repose sur la revue de tous les éléments du Système de contrôle qualité. Par conséquent, il est possible qu’un dossier ne soit pas conforme à un élément donné du Système, même si nous avons conclu qu’il était en général « conforme, tout en nécessitant des améliorations ».

Observations

Confirmation de l’indépendance

19. Dans le cadre du cycle de revue des pratiques courant, à la fois pour les audits d’états financiers et les missions d’appréciation directe, nous avons effectué une revue plus détaillée des formulaires de confirmation de l’indépendance par rapport au cycle précédent de revue.

20. Le Bureau a établi des politiques et des procédures sur l’indépendance, qui sont documentées dans le Manuel d’audit annuel et le Manuel pour les missions d’appréciation directe. La politique ci-après figure dans les deux manuels à la section 3031 — Indépendance :

Toutes les personnes qui répondent à la définition de membre de l’équipe de mission, y compris les spécialistes internes et, le cas échéant, les spécialistes externes, doivent confirmer leur indépendance avant de commencer leurs travaux dans le cadre de la mission. [novembrenov.–2011]

21. Selon notre compréhension, cette exigence de la politique vise à s’assurer que toutes les menaces à l’indépendance sont décelées rapidement afin de pouvoir en évaluer l’importance et de pouvoir mettre en place des sauvegardes qui permettront de réduire ou d’éliminer toutes les menaces importantes jusqu’à l’obtention d’un niveau acceptable.

22. Nous avons constaté que les six dossiers examinés n’étaient pas conformes à une ou plusieurs des exigences de la politique du Bureau sur l’indépendance. Il est important de noter qu’aucune menace à l’indépendance n’a été décelée dans les dossiers que nous avons revus.

23. Nous avons constaté qu’il manquait des formulaires de confirmation de l’indépendance dans quatre des dossiers que nous avons revus pour des personnes qui répondaient à la définition de membre de l’équipe de mission. De fait, il manquait dix formulaires en tout dans ces dossiers. Nous avons donc demandé aux responsables de ces missions de rouvrir les dossiers d’audit pour s’assurer que l’indépendance de chaque membre de l’équipe de mission était évaluée et documentée. Nous leur avons demandé de communiquer à la dirigeante principale de l’audit interne tout conflit relevé, le cas échéant.

24. Nous avons aussi constaté que des membres de certaines équipes de mission avaient imputé des heures à la mission avant d’avoir rempli leur formulaire de confirmation de l’indépendance. Après avoir examiné 94 formulaires, nous avons constaté que plus du tiers des membres des équipes avaient imputé des heures à la mission avant d’avoir rempli leur formulaire de confirmation de l’indépendance. Ils ont, en moyenne, imputé environ 15 heures à leur mission avant de remplir un formulaire. Par ailleurs, nous avons relevé des cas où des personnes avaient imputé plus de 30 heures à leur mission sur une période de plusieurs mois avant de remplir un formulaire.

25. Nous sommes d’avis qu’il s’agit d’un problème généralisé pour lequel l’une ou plusieurs des mesures ci-après doivent être prises : mesures correctives, changements à la politique du Bureau, ou changements aux procédures du Bureau.

26. Le Manuel pour les missions d’appréciation directe du Bureau indique aussi ce qui suit à la section 3031 — Indépendance :

Le responsable de la mission doit tirer une conclusion quant au respect des règles d’indépendance qui s’appliquent à la mission de certification de la part des membres de l’équipe. [nov.-2011]

27. Pour aider les employés à interpréter certaines de ces politiques, le Bureau a élaboré un document intitulé Indépendance — Foire aux questions (FAQ). La question numéro 15 de ce document est la suivante : « Que doit-on faire des formulaires Confirmation de l’indépendance une fois qu’ils sont remplis? » La réponse donnée est la suivante : « Avant qu’un membre de l’équipe de mission ne puisse commencer les travaux de la mission de certification, le responsable de la mission doit avoir passé en revue le formulaire Confirmation de l’indépendance ».

28. Nous avons consulté le spécialiste interne du Bureau en valeurs et éthique et les représentants de l’Équipe des méthodes pour les missions d’appréciation directe en vue de recueillir leurs points de vue sur la question numéro 15 de la FAQ. Nous avons appris que même si la politique n’exige pas que les responsables de mission revoient les formulaires de confirmation de l’indépendance avant que les membres de l’équipe ne commencent leurs travaux, la question a été ajoutée pour réduire au minimum le risque que les responsables de mission tardent à examiner et à approuver les formulaires. L’objectif est de s’assurer que chaque responsable de mission a pris les mesures appropriées contre les menaces potentielles à l’indépendance signalées dans les formulaires de confirmation de l’indépendance. Cela doit être fait rapidement.

29. Nous avons constaté que certains responsables de mission avaient tardé à revoir et à approuver les formulaires de confirmation de l’indépendance pour cinq des six dossiers d’audit que nous avons revus. Ces cinq dossiers ont été évalués par rapport à cette exigence comme étant conformes, tout en nécessitant des améliorations. En tout, 80 formulaires de confirmation de l’indépendant avaient été consignés dans ces cinq dossiers. Nous avons noté que pour environ la moitié des formulaires que nous avons examinés, des membres de l’équipe de mission avaient imputé, en moyenne, 40 heures à l’audit avant que le responsable de la mission n’ait revu et approuvé leur formulaire. Dans sept cas, ce sont plus de 100 heures qui avaient été imputées à l’audit avant la revue et l’approbation du formulaire.

30. Nous sommes d’avis qu’il s’agit aussi d’un problème généralisé pour lequel l’une ou plusieurs des mesures ci-après doivent être prises : mesures correctives, changements à la politique du Bureau ou aux procédures du Bureau.

31. Recommandation adressée à la pratique des missions d’appréciation directe — Les responsables de mission devraient :

Réponse de la direction — Recommandation acceptée. Les responsables de mission devraient respecter la politique et confirmer l’indépendance des membres de l’équipe de mission pour avoir l’assurance qu’il n’y a aucune menace importante à l’indépendance. Le Bureau est en voie d’actualiser sa politique afin de préciser le moment où l’indépendance doit être confirmée dans le but de veiller à ce que les exigences de la politique puissent être satisfaites suffisamment tôt dans le cadre de l’audit, tout en étant pratiques.

32. Recommandation adressée aux Services d’audit — Les responsables des Services d’audit devraient évaluer si des changements devraient être apportés au processus ou à la politique sur la confirmation de l’indépendance, ou aux deux.

Réponse de la direction — Recommandation acceptée. Les Services d’audit ont déjà recensé des possibilités d’améliorer l’efficience et l’efficacité du processus de confirmation de l’indépendance. Ils ont soumis aux Services des technologies de l’information une proposition de projet visant à améliorer le processus par un recours accru à l’automatisation et au système de déclaration du temps du Bureau. Entre-temps, en attendant les ressources requises pour le projet, les Services d’audit actualiseront les méthodes d’audit relatives à l’indépendance afin d’améliorer leur conception et l’efficacité de leur fonctionnement.

Sécurité des renseignements sensibles

33. Dans notre Rapport sur la revue des pratiques des missions d’appréciation directe — Pour les missions d’appréciation directe réalisées au cours de l’exercice 2015-2016, nous avions noté que le personnel d’audit devait prendre connaissance de la politique sur la sécurité du Bureau et que tout document sauvegardé dans TeamMate devait être évalué par rapport à cette politique et désigné selon le niveau de sécurité approprié. Lors de notre revue des dossiers de cette année, nous avons remarqué qu’il restait encore des progrès à faire pour respecter la politique de sécurité du Bureau. De fait, cinq des six dossiers que nous avons revus contenaient des documents qui n’étaient pas désignés correctement selon la politique sur la sécurité du Bureau.

Supervision et revue

34. Nous avons constaté que dans le domaine de la supervision et de la revue, les six dossiers examinés étaient conformes, même si quatre d’entre eux étaient nécessitaient des améliorations.

35. Pour deux dossiers, nous avons noté que l’équipe d’audit n’avait pas utilisé certains des modèles les plus récents disponibles au moment de l’audit. Cela a créé un risque de non-conformité aux méthodes actuelles du Bureau. L’équipe d’audit responsable du premier dossier n’avait pas actualisé sa version TeamMate après une mise à jour des méthodes. Des modèles périmés ont donc été utilisés pour préparer des documents clés, et certaines approbations dans TeamMate n’ont pas été obtenues. L’équipe d’audit responsable du deuxième dossier a utilisé un modèle périmé pour créer sa Grille logique d’audit. Résultat, la grille n’intégrait pas certains éléments obligatoires, comme le risque lié à l’audit. Les responsables de mission doivent veiller à ce que les changements apportés aux méthodes qui sont obligatoires soient correctement documentés dans les dossiers d’audit. Ils doivent notamment veiller à ce que l’équipe dispose des plus récents modèles pour que les audits soient réalisés conformément aux politiques du Bureau.

36. Pour deux dossiers, nous n’avons trouvé aucun élément prouvant que les responsables de mission avaient revu la documentation (des documents clés dans un dossier et des éléments probants dans l’autre dossier) à l’appui de constatations à risque élevé, avant de transmettre l’ébauche du directeur principal aux entités. Les responsables de mission doivent être convaincus que le dossier d’audit contient des éléments probants suffisants et appropriés pour étayer les énoncés factuels.

Documentation relative à la mission

37. Dans un des dossiers d’audit revus, le dossier TeamMate avait été revu et fermé même s’il ne contenait pas une lettre signée par l’administrateur général de l’entité auditée confirmant la responsabilité de l’entité à l’égard de l’objet considéré, l’acceptation des termes et conditions de la mission et le caractère valable des critères d’audit. La lettre a été retrouvée après le début de la revue des pratiques. Nous avons évalué cet élément comme étant conforme, tout en nécessitant des améliorations pour ce dossier. Les responsables de mission doivent veiller à ce que leur équipe obtienne la lettre de confirmation de l’entité et à ce qu’elle la consigne dans le dossier d’audit.

Méthodes de collecte d’éléments probants : utilisation d’éléments probants de source secondaire

38. Au cours de notre revue de la corroboration des secteurs à risque élevé, nous avons noté que pour étayer une constatation d’audit contenant l’expression « nous avons constaté », une des six équipes s’était fiée à une conclusion tirée d’une évaluation réalisée par l’entité auditée. L’équipe n’avait pas effectué de travaux complémentaires pour vérifier la pertinence, la fiabilité et la validité de cette conclusion.

Revue du contrôle qualité

39. Un responsable de la revue de contrôle qualité avait été désigné pour trois des dossiers d’audit que nous avons sélectionnés pour notre revue. Pour deux de ces dossiers, les travaux réalisés par le responsable de la revue de contrôle qualité répondaient aux exigences de la politique du Bureau. Lors de la revue du troisième dossier, nous avons constaté que la revue du contrôle qualité n’était pas conforme aux exigences. Nous n’avons pas pu confirmer que le responsable de la revue de contrôle qualité s’était acquitté de toutes les responsabilités minimales qui lui incombaient. Par exemple, nous n’avons trouvé aucun élément dans le dossier d’audit prouvant qu’il avait revu les documents d’audit clés, notamment les formulaires de confirmation de l’indépendance, les rapports d’exception et l’évaluation des risques de mission. Résultat, le rapport de certification a été daté et délivré même si la revue du contrôle qualité était incomplète et n’avait pas été entièrement documentée.

Gestion de projet

40. Nous avons constaté en examinant un dossier que l’équipe n’avait pas respecté deux dates D-moins importantes. Ainsi, l’ébauche de transmission du rapport a été envoyée avec beaucoup de retard aux entités. Par conséquent, la publication du rapport a été approuvée en retard. Or l’équipe n’avait pas indiqué qu’elle éprouverait des difficultés à respecter les dates D-moins clés au début de l’étape du rapport. Cependant, dans le mois qui a suivi, l’équipe a fait savoir qu’il y avait un risque élevé qu’elle ne puisse pas respecter les échéances fixées. Nous n’avons pas trouvé de documents, dans le dossier d’audit, décrivant un nouveau plan qui aurait permis à l’équipe de terminer l’audit dans le délai imparti. De plus, rien dans le dossier d’audit ne nous a permis de confirmer que l’équipe avait communiqué le retard prévu aux entités.

Conclusion d’audit

41. Lors de la revue d’un dossier, nous avons constaté que le rapport d’audit définitif ne contenait pas de conclusion claire par rapport à l’objectif global de l’audit.

Date du rapport

42. Lors de la revue d’un dossier, nous avons constaté que le rapport d’audit avait été daté avant que le responsable de la mission n’ait revu la documentation de l’audit et avant la réception des déclarations écrites de la direction des entités auditées.

Conclusion

43. Pour tous les dossiers de mission d’appréciation directe revus, nous avons conclu que le rapport d’audit était bien étayé et approprié.

44. Nous avons conclu que les six dossiers étaient conformes, tout en nécessitant des améliorations.

Annexe A — Éléments du Système de contrôle qualité

Le présent diagramme présente les objectifs, les niveaux et les éléments du Système de contrôle qualité
Version textuelle

Ce diagramme montre trois côtés d’un cube. Chaque côté représente un aspect du Système de contrôle qualité.

Le dessus du cube présente les objectifs du Système de contrôle qualité :

  1. Conformité aux normes professionnelles et aux exigences des textes légaux et réglementaires applicables
  2. Les rapports délivrés sont appropriés aux circonstances

Le côté droit du cube montre les deux niveaux du Système de contrôle qualité :

  • Niveau du cabinet (Norme canadienne de contrôle qualitéNCCQ 1)
  • Niveau de la mission (Norme canadienne d’auditNCA 220 ou Norme canadienne de missions de certificationNCMC 3001)

Le côté gauche du cube montre les éléments du Système de contrôle qualité :

  • Leadership
  • Règles de déontologie et indépendance
  • Acceptation et maintien de la mission
  • Ressources humaines
  • Réalisation des missions
  • Suivi

Annexe B — Éléments et contrôles de processus du Système de contrôle qualité examinés

Notre examen a porté sur les éléments suivants du Système de contrôle qualité :

Leadership — Nous avons vérifié si les responsables de mission s’étaient assurés que les audits avaient été réalisés conformément aux politiques du Bureau, aux normes professionnelles et au Système de contrôle qualité du Bureau, ainsi qu’aux exigences des textes légaux et réglementaires applicables.

Règles de déontologie et indépendance — Nous avons vérifié si les responsables de mission s’étaient assurés que l’indépendance de toutes les personnes effectuant des travaux d’audit, y compris les experts, avait été rigoureusement évaluée et que l’information à ce sujet était consignée en dossier.

Acceptation et maintien de la mission — Pour les missions initiales et récurrentes, nous avons vérifié si les responsables de mission avaient confirmé que l’équipe disposait d’assez de temps et avait la compétence, les capacités et les ressources nécessaires; si elle respectait les règles de déontologie pertinentes; et si elle avait pris en considération l’intégrité de la direction.

Ressources humaines — Nous avons vérifié si les responsables de mission avaient évalué le caractère adéquat, la disponibilité, les aptitudes, la compétence et les ressources de l’équipe, et s’ils avaient consigné en dossier cette évaluation.

Réalisation des missions

Pour cet élément, nous avons aussi évalué les sous-éléments suivants :

Autres exigences des Normes d’audit généralement reconnues et des politiques du BVG

Nous avons vérifié si les responsables de mission s’étaient assuré que l’audit avait été planifié, exécuté et communiqué selon les Normes d’audit généralement reconnues (NAGR), les lois applicables et les politiques et procédures du Bureau.

Nous avons aussi déterminé si le Bureau s’était acquitté de ses responsabilités en matière de rapports, c’est-à-dire s’il avait mis en place des méthodes d’audit appropriées, des procédures recommandées et des guides pratiques qui favorisent la mise en œuvre de stratégies d’audit efficientes permettant d’obtenir des éléments probants suffisants, en temps voulu.