Rapport sur la revue des pratiques des missions d’appréciation directe — Pour les missions d’appréciation directe réalisées au cours de l’exercice 2015-2016

Rapport sur la revue des pratiques des missions d’appréciation directe — Pour les missions d’appréciation directe réalisées au cours de l’exercice 2015-2016

Table des matières

Introduction

1. Le Bureau du vérificateur général du Canada (le Bureau ou le BVG) effectue des études et des audits indépendants qui fournissent de l’information, des avis objectifs et une assurance au Parlement, aux assemblées législatives territoriales, aux conseils d’administration des sociétés d’État, au gouvernement et à la population canadienne. Le Bureau effectue trois grands types d’audit législatif : les audits d’états financiers, les audits de performance et les examens spéciaux. Les audits de performance et les examens spéciaux sont désormais qualifiés de missions d’appréciation directe.

2. Un audit de performance est une évaluation indépendante, objective et systématique de la façon dont le gouvernement gère ses activités et ses ressources et assume ses responsabilités. Les audits de performance favorisent une fonction publique efficace et un gouvernement responsable qui rend des comptes au Parlement et à la population canadienne. Les audits de performance sont planifiés, réalisés et présentés conformément aux normes professionnelles d’audit et aux politiques du Bureau.

3. L’examen spécial est une forme d’audit de performance qui porte sur les sociétés d’État. Le Bureau audite la plupart des sociétés d’État, mais pas toutes. L’étendue des examens spéciaux est établie dans la Loi sur la gestion des finances publiques. Un examen spécial vise à déterminer si les moyens et les méthodes d’une société d’État lui fournissent l’assurance raisonnable que ses actifs sont protégés et contrôlés, que la gestion de ses ressources est économique et efficiente, et que ses activités sont menées efficacement.

4. La mission de l’équipe de la Revue des pratiques et de l’audit interne est d’accroître et de protéger la valeur de l’organisation en fournissant, de manière objective et en se fondant sur les risques, une assurance, des avis et des observations. L’équipe soutient le Bureau dans la réalisation de ses objectifs en formulant des recommandations sur la gestion après avoir mené un exercice systématique et rigoureux d’évaluation et d’approbation de la conception et de l’efficacité des processus de gestion du risque, de contrôle et de gouvernance.

5. L’équipe aide le Bureau à s’acquitter de ses obligations aux termes de la Norme canadienne de contrôle qualité 1 de Comptables professionnels agréés du Canada, en procédant à des inspections visant à déterminer dans quelle mesure les responsables de mission se conforment aux normes professionnelles, aux politiques du Bureau et aux lois et règlements applicables dans la conduite de leurs audits, et à s’assurer que les rapports de l’auditeur sont bien étayés et appropriés.

6. En outre, l’équipe réalise ses travaux conformément au Plan de la Revue des pratiques et de l’audit interne le plus récent du Bureau, lequel a été recommandé par le Comité d’audit et approuvé par le vérificateur général. Ce plan prévoit une surveillance systématique et cyclique des travaux de tous les responsables de mission du Bureau.

7. Afin de s’assurer que ses audits sont exécutés selon les normes de Comptables professionnels agréés du Canada, le Bureau établit des politiques et des procédures pour encadrer ses travaux. Celles-ci sont énoncées dans le Manuel pour les missions d’appréciation directe du Bureau, dans son Système de contrôle qualité et dans divers outils d’audit qui aident les auditeurs à suivre les d’étapes requises. Les quatre vérificateurs généraux adjoints qui sont responsables des missions d’appréciation directe assurent la direction et la surveillance de la pratique au sein du Bureau et contribuent à la qualité de chacun des audits.

8. Le présent rapport résume les principales observations découlant de la revue des pratiques des missions d’appréciation directe sélectionnées qui ont été réalisées au cours de l’exercice 2015-2016.

Aperçu

Objectif

9. Une revue des pratiques vise à fournir au vérificateur général l’assurance que :

Étendue et méthode

10. L’équipe de la Revue des pratiques et de l’audit interne a effectué une revue des pratiques de six missions d’appréciation directe. Selon nos méthodes, nous devons passer en revue un échantillon d’audits terminés de manière cyclique, en examinant au moins une mission pour chaque responsable de mission à l’intérieur d’une période de surveillance de quatre ans. Nous avons sélectionné les responsables de mission et leurs dossiers par échantillonnage aléatoire.

11. Nos revues ont comporté un examen des dossiers d’audit en version électronique (TeamMate) et en version papier, le cas échéant. Nous avons revu les documents relatifs à la planification, à l’examen et à la production du rapport d’audit. Nous avons également eu des entretiens avec les responsables du contrôle qualité de la mission, certains membres des équipes d’audit et d’autres experts internes, selon le cas.

12. Nous avons examiné tous les dossiers sélectionnés à la lumière du Système de contrôle qualité (Annexe A). Nous avons axé nos travaux sur les éléments et contrôles de processus qui, selon nous, semblaient essentiels ou à risque élevé (Annexe B) pour les audits sélectionnés.

Notation

13. Pour chaque audit revu, nous avons noté chaque élément et contrôle de processus sélectionné du Système de contrôle qualité de la manière suivante :

14. À la fin de chacune des revues, nous avons déterminé si le rapport d’audit était bien étayé et approprié. Nous avons aussi déterminé si le dossier d’audit était conforme dans son ensemble aux NAGR et aux politiques du Bureau.

Résultats des revues

Caractère approprié des rapports d’audit

15. Dans l’ensemble, nous avons constaté que les rapports d’audit étaient bien étayés et appropriés pour les six dossiers passés en revue.

Conformité aux éléments et aux contrôles de processus du Système de contrôle qualité

16. En règle générale, le niveau global de conformité aux éléments du Système de contrôle qualité était bon. Deux dossiers étaient conformes, dans tous leurs aspects significatifs, aux politiques du Bureau pour les missions d’appréciation directe de même qu’aux NAGR. Les quatre autres dossiers étaient conformes, tout en nécessitant des améliorations. La section « Observations » ci-après contient des précisions à ce sujet.

17. Il faut savoir que notre conclusion générale sur un dossier donné repose sur la revue de tous les éléments du Système de contrôle qualité. Par conséquent, il est possible qu’un dossier ne soit pas conforme à un élément donné du Système de contrôle qualité, même si nous avons conclu qu’il était en général « conforme, tout en nécessitant des améliorations ».

Observations

Règles de déontologie et indépendance

18. Nous avons constaté que les formulaires de confirmation de l’indépendance dans quatre des six dossiers revus avaient été remplis et datés selon la date à laquelle l’auditeur s’était joint à l’équipe au lieu de la période visée par l’audit. Cette pratique expose l’audit au risque qu’un problème lié à l’indépendance surgisse entre le début de la période visée par l’audit et la date à laquelle l’auditeur s’est joint à l’équipe d’audit. Ce problème avait été mentionné l’an dernier dans notre rapport sommaire de juillet 2015. Une recommandation avait été formulée et la direction avait pris des mesures appropriées pour le régler. Étant donné que les quatre dossiers d’audit ont été fermés avant la publication de notre rapport sommaire de juillet 2015, nous ne formulerons pas une recommandation à ce sujet cette année.

19. Pour deux de ces quatre dossiers, plusieurs experts du Bureau ont imputé des heures aux audits sans avoir rempli un formulaire de confirmation de l’indépendance. Par ailleurs, dans un de ces deux dossiers, nous avons constaté qu’un expert externe, qui avait travaillé à titre de membre de l’équipe d’audit, n’avait pas rempli un formulaire de confirmation de l’indépendance. Cette pratique expose l’audit à un risque lié à l’indépendance. Cette observation avait aussi été formulée dans notre rapport sommaire de l’an dernier.

20. Dans un des quatre dossiers, une personne avait signalé une menace à son indépendance, sans toutefois remplir le rapport d’exception destiné au spécialiste interne des questions de valeurs et d’éthique. Même si la personne concernée, le responsable de la mission et le spécialiste interne ont eu une conversation à ce sujet, le spécialiste interne a indiqué qu’il s’attendait tout de même à recevoir un rapport d’exception.

Ressources humaines — Équipe de mission — attribution et gestion des tâches

21. La section BVG Audit 3061 — Équipe de mission — Attribution et gestion des tâches indique que : « Avant l’étape de planification ou d’étude d’une mission de certification, le responsable de la mission est tenu de faire ce qui suit : évaluer l’équipe de mission afin de s’assurer que celle-ci, les spécialistes et les experts choisis par l’auditeur possèdent collectivement les compétences et les capacités appropriées. [nov.-2011] »

22. Pour un des dossiers, le responsable de la mission a fait appel à un expert externe, qui a agi comme un membre de l’équipe, sans avoir évalué la compétence de cet expert.

Réalisation des missions — Supervision et revue

23. L’Équipe des méthodes pour les missions d’appréciation directe a établi une liste de contrôle, qui est régulièrement mise à jour, pour les approbations qui doivent être faites dans TeamMate afin d’aider les responsables de mission à comprendre plus facilement les attentes minimales établies à l’égard des approbations dans les dossiers d’audit.

24. Nous avons constaté que le responsable de la mission n’avait pas satisfait à toutes les attentes minimales relatives à l’approbation dans trois des dossiers que nous avons revus.

Réalisation des missions — Revue de contrôle qualité d’une mission

25. La section BVG Audit 3062 — Responsabilités du responsable de la mission à l’égard de la qualité des audits indique que la décision d’affecter ou non un responsable du contrôle qualité à une mission d’appréciation directe doit reposer sur une évaluation des risques. Si, au cours de l’audit, le responsable de la mission détermine que le risque associé à la mission a augmenté, il doit, aux termes de la politique du Bureau, réexaminer sa décision et déterminer s’il est nécessaire de faire appel à un responsable du contrôle qualité. Selon les directives du Bureau, il devrait aussi consulter le vérificateur général adjoint du Groupe des services à l’audit.

26. Nous avons constaté que, pour un des dossiers revus, le responsable de la mission avait déterminé que le risque associé à la mission avait augmenté. Au lieu de communiquer avec le vérificateur général adjoint du Groupe des services à l’audit, le responsable de la mission a plutôt demandé à un autre directeur principal d’agir à titre de responsable du contrôle qualité. Ce directeur principal a recensé et examiné les éléments probants à risque élevé, mais il n’a réalisé aucune des autres étapes requises d’une revue de contrôle qualité qui doivent être effectuées normalement par un responsable du contrôle qualité. Nous avons donc constaté que cet élément n’était pas conforme.

Réalisation des missions — Consultation

27. La section BVG Audit 3081 — Consultation indique que : « Le responsable de la mission doit veiller à ce que la nature et l’étendue des consultations, ainsi que les conclusions qui en découlent, soient consignées en dossier et confirmées par la personne ayant demandé la consultation et auprès de la partie consultée, au plus tard à la date du rapport de certification. [nov.-2011] »

28. Dans le but de réduire la taille du dossier d’audit papier, une équipe d’audit a supprimé la documentation qui portait sur la consultation menée auprès d’un expert externe. D’autres experts internes ont été consultés sur d’autres questions et les renseignements sur ces consultations ont été bien documentés. Nous estimons qu’il s’agit d’un incident isolé.

Réalisation des missions — Documentation des missions

29. Dans le cadre du cycle de revue des pratiques courant (pour les audits d’états financiers et les missions d’appréciation directe), nous avons déterminé que la sécurité des renseignements sensibles constituait un risque qui méritait une attention particulière. La politique sur la sécurité du Bureau précise que « le Bureau a la responsabilité de protéger les renseignements et les biens sous son contrôle, y compris les renseignements sensibles qu’il produit et reçoit ».

30. Selon cette politique, peu importe l’endroit où elles sont sauvegardées (TeamMate ou PROxI), toutes les feuilles de travail protégées doivent porter la mention « Protégé ».

31. Lors de nos revues, nous avons constaté qu’il y avait des problèmes de sécurité liés à la protection de renseignements sensibles dans trois dossiers d’audit.

32. Pour un dossier, nous avons constaté que l’équipe avait créé plus de 30 dossiers papier qui étaient de peu d’utilité pour étayer l’audit. Beaucoup d’éléments consignés dans ces dossiers doublonnaient avec les feuilles de travail TeamMate ou n’étayaient pas directement les travaux et les constatations de l’audit. Presque aucun des documents versés dans les dossiers papier ne portait la mention « Revu », comme l’exigent les politiques d’audit du Bureau. De même, les renseignements consignés dans ce dossier (dans ses versions électronique et papier) étaient très sensibles. De l’avis de l’équipe de la Revue des pratiques et de l’audit interne, ils n’étaient pas correctement identifiés ou désignés comme étant de l’information protégée. L’équipe de la Revue des pratiques et de l’audit interne est aussi d’avis qu’il faudrait beaucoup d’effort et de temps pour examiner un dossier papier de cette nature s’il fallait répondre adéquatement à une demande d’accès à l’information et à la protection des renseignements personnels. De plus, le dossier contenait des documents portant la mention « Protégé B » et un document désigné « Classifié » qui étaient tout de même conservés dans des fichiers désignés « Protégé A ».

33. Pour un autre dossier, nous avons constaté que des dossiers papier contenaient de l’information « Protégé B » qui avait été versée dans des fichiers « Protégé A » lorsque les dossiers avaient été envoyés pour archivage au Service des dossiers du Bureau. Un troisième dossier contenait de l’information qui, selon les consultations menées par l’équipe d’audit auprès de l’agent de la sécurité du Bureau, aurait dû être classifiée « Protégé B ».

34. Nous avons conclu que le premier de ces dossiers était non conforme par rapport à l’élément « Documentation de la mission » du Système de contrôle qualité et que les deux autres étaient conformes, tout en nécessitant des améliorations. Nous ne croyons pas que ce problème est systémique au sein de la pratique des missions d’appréciation directe et demande un changement dans les procédures. Nous croyons plutôt qu’il conviendrait de faire un rappel général auprès des responsables de mission pour garantir que la protection des renseignements sensibles est prise en compte tout au long des travaux d’audit et, de nouveau, lors de la fermeture d’un dossier d’audit.

35. Recommandation 1, adressée à la pratique des missions d’appréciation directe — Les responsables de mission devraient s’assurer que le personnel d’audit connaît la politique sur la sécurité du Bureau et la respecte, et que tout document sauvegardé dans un dossier d’audit est évalué par rapport à cette politique, puis coté selon le niveau de sécurité approprié.

Réponse de la direction — Recommandation acceptée. Le Comité directeur de la pratique d’audit de performance invitera périodiquement l’agent de sécurité du Bureau à communiquer des informations au Forum des directeurs d’audit de performance (c.-à-d. les responsables des missions d’appréciation directe) sur les politiques en matière de sécurité du Bureau qui se rapportent à la documentation des audits et sur la manière de s’y conformer. De plus, dans le cadre de la mise à jour annuelle des méthodes d’audit de cette année pour la pratique des missions d’appréciation directe, la liste de contrôle pour la réunion du coup d’envoi de l’audit pour les missions d’appréciation directe a été modifiée afin d’y inclure la nécessité de discuter des politiques et des exigences du Bureau relatives à la sécurité des documents et à leur classification.

36. Avis au lecteur — En avril 2016, l’équipe de la Revue des pratiques et de l’audit interne a terminé sa revue des pratiques d’audit d’attestation. Dans ce rapport (Rapport sur la revue des pratiques d’audits d’états financiers — Pour les audits d’états financiers complétés au cours de l’exercice 2015-2016), nous avons fait des observations sur la sécurité des renseignements sensibles. Nous avons alors formulé des recommandations destinées à la pratique d’audits d’états financiers, à l’Équipe des méthodes d’audit annuel et à l’agent de la sécurité du Bureau. Lors de la revue des pratiques des missions d’appréciation directe, nous avons noté que les modèles indiquaient déjà que les documents devaient être considérés comme des documents classés « Protégé A » une fois remplis. Nous sommes donc d’avis que nous n’avons pas besoin de formuler une recommandation pour faire modifier les méthodes. Comme la recommandation adressée à l’agent de la sécurité du Bureau portait sur des questions relatives aux audits en général, qui n’étaient pas propres aux audits d’états financiers, nous ne la répéterons pas dans le présent rapport. Après avoir discuté avec l’agent de la sécurité du Bureau, nous croyons comprendre qu’il veillera à prendre les mesures appropriées et à ce que toutes les pratiques d’audit soient visées lors de l’organisation de séances d’information et de cours en ligne ou d’autre cours de formation similaires. Les recommandations ci-après avaient été formulées dans le rapport en question :

Recommandation 1, adressée à la pratique d’audit d’états financiers — Les responsables de mission devraient s’assurer que le personnel d’audit connaît la politique sur la sécurité du Bureau et que tout document sauvegardé dans TeamMate est évalué par rapport à cette politique et désigné selon le niveau de sécurité approprié.

Réponse de la direction — Recommandation acceptée. Les responsables de mission vont diffuser la politique sur la sécurité du Bureau et les exigences relatives aux désignations de sécurité de la documentation d’audit lors d’une réunion à venir des responsables de mission d’audit annuel et des directeurs. De plus, l’ordre du jour des réunions de planification des équipes d’audit sera actualisé pour y ajouter un point de discussion sur les exigences relatives aux désignations de sécurité, à compter d’aujourd’hui.

Recommandation 2, adressée à l’Équipe des méthodes d’audit annuel — L’Équipe des méthodes d’audit annuel devrait apporter les changements requis aux méthodes du Bureau pour aider les auditeurs à évaluer les documents en fonction de la politique sur la sécurité du Bureau et à désigner l’information correctement en lui attribuant la bonne mention de sécurité.

Réponse de la direction — Recommandation acceptée. L’Équipe des méthodes d’audit annuel, en collaboration avec les Services des TI, évaluera la façon la plus efficace et efficiente d’aider les auditeurs à attribuer les bonnes mentions de sécurité aux documents d’audit et à mettre en œuvre les modifications convenues lors de la prochaine mise à jour des méthodes ou des logiciels, le cas échéant.

Recommandation 3, adressée à l’agent de la sécurité du Bureau — L’agent de la sécurité du Bureau devrait élaborer des séances obligatoires d’information sur la sécurité et/ou des cours en ligne qui comporteraient des exemples précis et adaptés à la réalité du travail de l’auditeur, en portant une attention particulière aux feuilles de travail.

Réponse de la direction — Recommandation acceptée. L’agent de la sécurité du Bureau collaborera avec l’équipe du Perfectionnement professionnel et d’autres parties prenantes en vue de déterminer :

Politiques du Bureau en matière de planification — Approbation de l’examen

37. La section BVG Audit 4080 — Approbation de l’examen exige la confirmation que la stratégie d’audit, les compétences de l’équipe et les ressources financières sont appropriées et permettront de réaliser l’audit selon les échéances établies. Au moment de la réalisation des audits revus, c’était le vérificateur général adjoint, le responsable des produits et le responsable de la mission qui devaient donner officiellement leur approbation à ce sujet. Pour deux dossiers sélectionnés aux fins de la revue, nous avons constaté que l’approbation de l’examen avait été signée très tardivement dans un cas et que, dans l’autre cas, elle n’avait pas été signée par un cadre supérieur. L’équipe de la Revue des pratiques et de l’audit interne note que, selon les méthodes actuelles du Bureau, seul le responsable de la mission doit désormais signer officiellement cette étape.

Politiques du Bureau en matière de planification — Programmes d’audit

38. Dans l’un des dossiers revus, nous n’avons relevé aucun élément prouvant que les programmes d’audit avaient été revus et approuvés avant le début de l’étape de l’examen. Il existe un risque que les procédures soient effectuées inutilement ou que d’autres étapes clés ne soient pas réalisées. Nous estimons qu’il s’agit d’un incident isolé.

Politiques du Bureau en matière de rapports — Date du rapport

39. Dans l’un des dossiers, nous avons constaté qu’une observation et ses recommandations ultérieures étaient quelque peu incohérentes. De même à notre avis, certains éléments probants qui étayaient une observation positive n’étaient pas bien documentés. Nous estimons qu’il s’agit d’un incident isolé.

40. La section BVG Audit 8017 — Approbation du contenu du rapport et date du rapport indique que :

« La date du rapport correspond à la date à laquelle :

Les membres de l’équipe d’audit doivent réunir des éléments probants suffisants et appropriés pour servir de fondement raisonnable aux observations, aux constatations et aux conclusions exprimées dans le rapport d’audit. [nov.-2015]

L’examinateur de la qualité doit consigner au dossier que son examen du contrôle qualité de la mission a été achevé au plus tard à la date du rapport de la mission de certification. Il doit aussi indiquer s’il est au courant de questions non résolues qui pourraient l’amener à penser que les jugements importants posés par l’équipe de la mission de même que ses conclusions n’étaient pas appropriés. [nov.-2011] »

41. Au cours de nos travaux, nous avons relevé deux dossiers pour lesquels la date du rapport d’audit posait problème. Dans un dossier, la date du rapport d’audit était antérieure à celle de la date à laquelle le responsable du contrôle qualité avait terminé sa revue. Dans ce cas, le responsable du contrôle qualité avait continué sa revue des documents après l’envoi de l’ébauche du PX. Pour l’autre dossier, nous avons noté que le responsable de la mission avait documenté sa revue de secteurs à risque élevé après la date du rapport d’audit.

42. Nous estimons que le problème relatif à la date des rapports est systémique. Nous croyons que la politique du Bureau à ce sujet doit être mieux expliquée aux responsables de mission.

43. Recommandation 2, adressée à l’Équipe des méthodes pour les missions d’appréciation directe — L’Équipe des méthodes pour les missions d’appréciation directe devrait communiquer des directives et des explications supplémentaires aux responsables de mission sur la détermination de la date du rapport d’audit.

Réponse de la direction — Recommandation acceptée. Nos modèles de rapport révisés conformément à la Norme canadienne de missions de certification (NCMC) 3001, Missions d’appréciation directe, qui seront diffusés en juillet 2016, contiennent des indications précises à ce sujet. Le modèle révisé sur les jugements importants et le modèle de rapport de certification pour les missions d’appréciation directe qui seront diffusés en novembre 2016 dans le cadre de la mise à jour annuelle des méthodes de la pratique traiteront aussi de cette question. Les mises à jour de nos cours de perfectionnement professionnel sur l’audit de performance donneront des indications précises sur la détermination de la date d’un rapport. Nous ajouterons aussi un point sur la détermination de la date d’un rapport à l’ordre du jour de la réunion du Forum des directeurs principaux d’audit de performance, qui aura lieu à l’automne 2016.

Revue de la corroboration du contenu à risque élevé

44. Nos observations visant ce secteur se fondent sur plusieurs politiques du Bureau.

45. La section BVG Audit 7060 — Corroboration indique que :

« Le directeur principal doit passer en revue certains documents choisis (notamment les sections jugées importantes ou à risque élevé) pour s’assurer que la documentation des éléments probants est suffisante et appropriée pour étayer les énoncés de faits, les constatations, les recommandations et la conclusion du rapport d’audit. [nov.-2014] »

46. Selon la directive énoncée à la section BVG Audit 8019 — Présentation de l’ébauche du directeur principal (PX) et de l’ébauche de transmission :

Avant d’envoyer l’ébauche du directeur principal, le vérificateur général adjoint et le directeur principal de l’audit doivent avoir l’assurance que :

47. L’équipe de la Revue des pratiques et de l’audit interne interprète le terme « revue » en se fondant sur la section BVG Audit 1161 — Documentation de l’étendue de la revue, qui indique que : « Dans la documentation concernant la nature, le calendrier et l’étendue des procédures d’audit mises en œuvre, l’auditeur doit consigner par écrit qui a passé en revue les travaux d’audit effectués, ainsi que la date et l’étendue de cette revue. [nov.-2011] »

48. Pour plus de clarté, cette section donne les précisions suivantes :

« Documentation de la preuve de l’exécution d’une revue : TeamMate possède une fonctionnalité qui consigne automatiquement les documents qui ont été passés en revue, par qui et à quelle date. […] L’étendue de la revue faite par le responsable de mission et l’examinateur de la qualité est affaire de jugement; toutefois, chacun d’eux doit inclure une preuve de sa participation à la revue dans le dossier d’audit. Les sections BVG Audit 1162 et BVG Audit 1163 fournissent respectivement des directives sur les exigences minimales en matière de documentation et les preuves que le responsable de mission et l’examinateur de la qualité doivent fournir. [sept.-2015] »

49. Enfin, la partie intitulée « Preuve de la revue » de la section BVG Audit 3071 — Revue des travaux d’audit et de la documentation indique que : « Après avoir terminé la revue de chaque secteur d’audit dans le dossier, le réviseur doit consigner une preuve que la revue a été effectuée en apposant sa signature électronique sur les feuilles de travail et sur les sommaires des procédés d’audit. [sept.-2015] »

50. L’équipe de la Revue des pratiques et de l’audit interne s’attendait à ce que les exigences énoncées dans les sections BVG Audit 7060 et BVG Audit 8019, comme il est indiqué aux paragraphes 45 et 46, soient documentées conformément à la section BVG Audit 1161, comme il est indiqué au paragraphe 47. Cette attente se fonde aussi sur l’extrait suivant de TeamMate :

« Avant que l’ébauche du directeur principal (PX) soit envoyée à l’entité auditée, s’assurer que le directeur principal est satisfait avec les éléments probants utilisés en appui aux principales constatations et aux recommandations; et s’assurer que les sections controversées ou considérées comme étant à risque élevé ont été corroborées. Les paragraphes à risque élevé doivent être clairement identifiés et signés avec la mention « Revu » apposée par le directeur principal. En appliquant la procédure d’audit « Documentation des jugements importants », le directeur principal doit documenter son approche pour réviser la corroboration. »

51. Nous avons constaté qu’il y avait trois dossiers d’audit pour lesquels les responsables de mission n’avaient pas documenté leur revue des éléments de corroboration pour les secteurs à risque élevé dans le dossier. Pour deux de ces dossiers, les responsables de mission avaient plutôt principalement approuvé le texte des paragraphes à risque élevé. Pour le troisième dossier, le responsable de la mission avait approuvé une ébauche du PX qui contenait des liens, dans les notes en bas de page, vers les éléments probants correspondants. En résumé, les responsables de mission n’ont pas directement documenté leur revue des éléments probants mêmes (feuilles de travail ou documents de source).

52. Dans l’un de ces trois dossiers, la version définitive de la documentation a été terminée le lendemain de l’envoi de l’ébauche du PX à l’entité. Dans un autre de ces trois dossiers, le responsable de la mission n’a pas indiqué dans la documentation les paragraphes qu’il considérait comme étant à risque élevé.

53. L’équipe de la Revue des pratiques et de l’audit interne craint que ce problème ne soit systémique. De plus, nous n’avons pas été en mesure de nous fonder sur une seule politique pour nous faire une idée précise des attentes du Bureau dans ce domaine. Nous avons donc dû utiliser trois politiques différentes, une liste de contrôle des approbations minimales du PX et une étape de TeamMate pour déterminer que les responsables de mission doivent documenter leur revue des éléments probants à risque élevé (et non pas simplement approuver les paragraphes correspondants).

54. Recommandation 3, adressée à l’Équipe des méthodes pour les missions d’appréciation directe — L’équipe devrait actualiser et préciser les attentes à l’égard de la revue de la corroboration des éléments à risque élevé afin qu’elles soient claires pour les responsables de mission.

Réponse de la direction — Recommandation acceptée. L’Équipe des méthodes pour les missions d’appréciation directe va inscrire ce point à l’ordre du jour de la réunion du Forum des directeurs principaux de l’audit de performance, qui aura lieu à l’automne 2016, et à l’ordre du jour de la prochaine séance d’information de l’Équipe des méthodes destinée aux professionnels en exercice. L’équipe examinera aussi les directives et les outils en vigueur qui portent sur la corroboration par les responsables de mission des observations et des constatations d’audit à risque élevé, dans le but de préciser les attentes du Bureau à cet égard.

Autres politiques du Bureau — Activités postérieures à l’audit

55. Grâce à la Gestion des documents contrôlés (CODI), les ébauches de rapport seront rarement distribuées sur papier à l’avenir. Cependant, nous avons constaté lors de notre revue d’un dossier que l’ébauche papier d’un rapport avait été perdue par une entité. L’équipe d’audit n’en avait pas informé l’agent de sécurité du Bureau, comme elle était tenue de le faire selon la section BVG Audit 9020 — Gestion des documents contrôlés. Nous estimons qu’il s’agit d’un incident isolé.

Pratiques exemplaires

56. Nous avons relevé la mise en œuvre de pratiques exemplaires lors de notre revue de divers dossiers d’audit. Dans un cas, l’équipe a créé un programme d’audit qui indiquait clairement et permettait de retrouver facilement les échéances fixées, les heures et l’auditeur chargé de réaliser les travaux.

57. Dans un autre dossier, à la fin de la planification durant l’étape d’approbation de l’examen, l’équipe d’audit a relié à l’étape de l’approbation toutes les références pertinentes pour l’approbation de l’examen, comme le budget et le risque d’audit. La corroboration de ces éléments a permis au responsable de la mission et aux autres personnes qui devaient donner leur approbation de disposer de toutes les informations pertinentes avant de donner leur approbation.

58. Nous avons noté qu’une équipe avait mieux compris les politiques connexes du Bureau après avoir obtenu des indications de la Direction des méthodes professionnelles, et n’avait conservé aucun dossier papier.

59. Plusieurs équipes ont utilisé efficacement TeamMate pour documenter leurs demandes d’informations et les réponses reçues en faisant un suivi des demandes dans la section de l’étape de l’audit et un suivi de la réception des informations dans le champ des résultats. Cette façon de faire permet aux équipes de surveiller facilement les demandes en suspens sans avoir à recourir à une documentation exhaustive.

Conclusion

60. Pour tous les dossiers de mission d’appréciation directe revus, nous avons conclu que le rapport d’audit était bien étayé et approprié.

61. Nous avons conclu que deux dossiers étaient conformes, et que quatre dossiers étaient conformes, tout en nécessitant des améliorations.

Annexe A — Éléments du Système de contrôle qualité

Le présent diagramme présente les objectifs, les niveaux et les éléments du Système de contrôle qualité
Annexe A — version textuelle

Ce diagramme montre trois côtés d’un cube. Chaque côté représente un aspect du Système de contrôle qualité.

Le dessus du cube présente les objectifs du Système de contrôle qualité :

  1. Conformité aux normes professionnelles et aux exigences des textes légaux et réglementaires applicables
  2. Les rapports délivrés sont appropriés aux circonstances

Le côté droit du cube montre les deux niveaux du Système de contrôle qualité :

  • Niveau du cabinet (NCCQ 1)
  • Niveau de la mission (NCA 220 ou C5030)

Le côté gauche du cube montre les éléments du Système de contrôle qualité :

  • Leadership
  • Règles de déontologie et indépendance
  • Acceptation et maintien de la mission
  • Ressources humaines
  • Réalisation des missions
  • Suivi

Annexe B — Éléments et contrôles de processus du Système de contrôle qualité examines

Notre examen a porté sur les éléments suivants du Système de contrôle qualité :

Leadership — Nous avons vérifié si les responsables de mission s’étaient assurés que les audits avaient été réalisés conformément aux politiques du Bureau, aux normes professionnelles et au Système de contrôle qualité du Bureau, ainsi qu’aux exigences des textes légaux et réglementaires applicables.

Règles de déontologie et indépendance — Nous avons vérifié si les responsables de mission s’étaient assurés que l’indépendance de toutes les personnes effectuant des travaux d’audit, y compris les experts, avait été rigoureusement évaluée et que l’information à ce sujet était consignée en dossier.

Acceptation et maintien de la mission — Pour les missions initiales et récurrentes, nous avons vérifié si les responsables de mission avaient confirmé que l’équipe disposait d’assez de temps et avait la compétence, les capacités et les ressources nécessaires; si elle respectait les règles de déontologie pertinentes; et si elle avait pris en considération l’intégrité de la direction.

Ressources humaines — Nous avons vérifié si les responsables de mission avaient évalué le caractère adéquat, la disponibilité, les aptitudes, la compétence et les ressources de l’équipe, et s’ils avaient consigné en dossier cette évaluation.

Réalisation des missions

Pour cet élément, nous avons aussi évalué les sous-éléments suivants :

Supervision et revue — Nous avons vérifié si les responsables de mission s’étaient assurés que les dossiers d’audit contenaient de l’information sur les personnes qui avaient revu les travaux d’audit réalisés, la date des revues et l’étendue de ces revues.

Consultation — Nous avons vérifié si les responsables de mission s’étaient assurés que des consultations appropriées avaient eu lieu en temps voulu, au besoin.

Revue de contrôle qualité d’une mission — Nous avons vérifié si la revue du contrôle qualité avait été réalisée en temps opportun et si le responsable du contrôle qualité avait effectué une évaluation objective des principaux jugements posés par l’équipe, des conclusions tirées à l’appui du rapport de l’auditeur, et d’autres questions importantes.

Divergences d’opinions — Si des divergences d’opinions ont surgi, nous avons vérifié si les responsables de mission avaient respecté la procédure établie du Bureau pour les régler.

Documentation de la mission — Nous avons vérifié si les responsables de mission avaient assuré correctement la confidentialité, l’archivage sécurisé, l’intégrité, l’accessibilité, et la facilité de consultation de la documentation des missions, et si le dossier d’audit définitif avait été constitué en temps voulu (respect du délai de 60 jours).

Exigences des autres normes canadiennes d’audit et des politiques du BVG

Nous avons vérifié si les responsables de mission s’étaient assuré que l’audit avait été planifié, exécuté et communiqué selon les Normes d’audit généralement reconnues (NAGR), les lois applicables et les politiques et procédures du Bureau.

Nous avons aussi déterminé si le Bureau s’était acquitté de ses responsabilités en matière de rapports, c’est-à-dire s’il avait mis en place des méthodes d’audit appropriées, des procédures recommandées et des guides pratiques qui favorisent la mise en œuvre de stratégies d’audit efficientes permettant d’obtenir des éléments probants suffisants en temps voulu.