Rapport sur la revue des pratiques des missions d’appréciation directe — Missions d’appréciation directe réalisés au cours de l’exercice 2014-2015

Rapport sur la revue des pratiques des missions d’appréciation directe — Missions d’appréciation directe réalisés au cours de l’exercice 2014-2015

Introduction

1. Le Bureau du vérificateur général du Canada (le BVG ou le Bureau) effectue des études et des audits indépendants qui fournissent de l’information, une assurance et des avis objectifs au Parlement, aux assemblées législatives territoriales, aux conseils d’administration des sociétés d’État, au gouvernement et à la population canadienne. Le Bureau possède trois gammes de produits principales : les audits annuels, les audits de performance et les examens spéciaux. Les audits de performance et les examens spéciaux sont considérés comme des missions d’appréciation directe.

2. Un audit de performance est une évaluation indépendante, objective et systématique de la façon dont le gouvernement gère ses activités et ses ressources et assume ses responsabilités. Les audits de performance favorisent une fonction publique efficace et un gouvernement responsable qui rend des comptes au Parlement et à la population canadienne. Les audits de performance sont planifiés, réalisés et présentés conformément aux normes professionnelles d’audit et aux politiques du Bureau.

3. L’examen spécial est une forme d’audit de performance qui porte sur les sociétés d’État. Le Bureau audite la plupart des sociétés d’État, mais pas toutes. L’étendue des examens spéciaux est établie dans la Loi sur la gestion des finances publiques. Un examen spécial vise à déterminer si les moyens et les méthodes d’une société d’État lui fournissent l’assurance raisonnable que ses actifs sont protégés et contrôlés, que la gestion de ses ressources est économique et efficiente, et que ses activités sont menées efficacement.

4. L’Équipe de la revue des pratiques et de l’audit interne a examiné les pratiques appliquées dans le cadre de certaines missions d’appréciation directe. Ces travaux ont été effectués conformément à la section « Suivi » de la Norme canadienne de contrôle qualité 1 — Contrôle qualité des cabinets réalisant des missions d’audit ou d’examen d’états financiers et d’autres missions de certification, publiée par Comptables Professionnels Agréés du Canada. Ils ont aussi été réalisés conformément au Plan de revue des pratiques et d’audit interne le plus récent du Bureau, lequel avait été recommandé par le Comité d’audit et approuvé par le vérificateur général. Ce plan prévoit le suivi systématique et cyclique des travaux de tous les responsables de mission du Bureau.

5. Pour s’assurer qu’il réalise des audits conformes aux normes de Comptables Professionnels Agréés du Canada, le Bureau établit des politiques et des procédures pour encadrer ses travaux. Celles-ci sont décrites dans le manuel d’audit du Bureau, dans son système de contrôle qualité et divers autres outils d’audit qui guident les auditeurs grâce à une série d’étapes à suivre. Trois vérificateurs généraux adjoints sont responsables des produits de la gamme des missions d’appréciation directe. Ils assurent la direction et la surveillance de la gamme de produits et contribuent à la qualité de chaque audit.

6. Le présent rapport résume les principales observations découlant de la revue des pratiques des missions d’appréciation directe sélectionnées qui ont été réalisées au cours de l’exercice 2014-2015.

Aperçu

Objectif

7. Les revues des pratiques visent à fournir au vérificateur général l’assurance que :

• les missions d’appréciation directe sont conformes aux normes professionnelles, aux politiques du Bureau et aux exigences législatives et réglementaires applicables;
• les rapports d’audit sont bien étayés et appropriés.

Étendue et méthode

8. Nous avons planifié et effectué huit revues des pratiques pour des missions d’appréciation directe qui ont été réalisées au cours de l’exercice 2014-2015. Nous avons sélectionné les responsables de mission et leurs dossiers par échantillonnage aléatoire.

9. Dans le cadre de nos travaux, nous avons examiné des dossiers d’audit en version électronique (TeamMate) et en version papier. Nous avons revu les documents relatifs à la planification, à l’examen et à la production des rapports d’audit. Nous avons également eu des entretiens, au besoin, avec des membres des équipes d’audit, des responsables du contrôle qualité de la mission et d’autres experts internes.

10. Nous avons examiné tous les dossiers sélectionnés conformément au Système de contrôle qualité (voir l’annexe A) et axé nos travaux sur certains éléments et contrôles de processus clés qui nous semblaient essentiels ou à risque élevé (voir l’annexe B).

Notation

11. Pour toutes les missions d’appréciation directe revues, nous avons noté chacun des éléments et des contrôles de processus sélectionnés du Système de contrôle qualité en fonction du système de notation suivant :

• Conforme — Les exigences des politiques du Bureau de même que les normes d’audit applicables ont été respectées.
• Conforme, mais nécessite des améliorations — Des améliorations sont nécessaires dans certains secteurs pour que l’audit soit entièrement conforme aux politiques du Bureau et aux normes professionnelles d’audit.
• Non conforme — Des défauts graves existent; il y a non-conformité aux politiques du Bureau et aux normes professionnelles d’audit.

12. À la fin de chacune des revues des pratiques, nous avons déterminé si l’opinion de l’auditeur était bien étayée et appropriée.

Résultats des revues

Pertinence des rapports d’audit

13. Dans l’ensemble, nous avons constaté que les rapports d’audit étaient bien étayés et appropriés pour les huit dossiers passés en revue.

Conformité aux éléments et aux contrôles de processus du Système de contrôle qualité

14. En règle générale, le niveau de conformité aux éléments du Système de contrôle qualité était bon. Les huit dossiers respectaient, dans tous leurs aspects significatifs, les politiques du Bureau en matière d’audits de performance et d’examens spéciaux, de même que les normes professionnelles. Nous avons constaté que tous les dossiers nécessitaient des améliorations à l’égard d’au moins un élément du Système de contrôle qualité. De plus, nous avons noté qu’un dossier n’était pas conforme à l’égard d’un élément du Système de contrôle qualité et un autre dossier n’était pas conforme à une exigence particulière des politiques du Bureau.

15. Il n’y avait aucune observation au sujet des travaux du responsable du contrôle qualité de la mission. Six des huit dossiers choisis aux fins de la revue s’étaient vus assigner un responsable du contrôle qualité de la mission.

Observations

16. Sauf indication contraire, les observations ci-après portent sur des éléments qui ont été évalués par l’Équipe de la revue des pratiques et de l’audit interne comme étant « conformes, mais nécessitant des améliorations ». Les observations sont présentées selon leur fréquence. Nous avons relevé un problème systémique, qui est décrit au prochain paragraphe.

17. Pour six des huit dossiers, nous avons constaté que les formulaires de confirmation de l’indépendance avaient été remplis et datés en fonction de la date à laquelle l’auditeur s’était joint à l’équipe au lieu de la période visée par l’audit. Cette pratique expose l’audit au risque qu’un problème lié à l’indépendance surgisse entre le début de la période visée par l’audit et la date à laquelle l’auditeur s’est joint à l’équipe d’audit.

18. Pour deux dossiers, nous avons constaté que plusieurs experts du Bureau avaient imputé des heures à l’audit sans avoir rempli un formulaire de confirmation de l’indépendance. Cette pratique expose l’audit à un risque lié à l’indépendance.

19. Pour deux dossiers, nous avons noté que les rapports d’audit n’avaient pas été datés correctement. Le rapport d’audit devrait être daté après que tous les secteurs présentant un risque élevé ont été examinés par le responsable de la mission et le responsable du contrôle qualité de la mission. De plus, tout élément probant additionnel fourni par l’entité doit être reçu, examiné et pris en considération dans le rapport d’audit modifié. En outre, dans un de ces rapports, la période visée par l’audit n’a pas été communiquée de façon appropriée. La période visée par l’audit correspond à la date de début et de fin de l’étendue des travaux d’audit à réaliser. L’autre dossier n’indiquait pas la date de début de la période visée par l’audit dans les documents de planification clés, mais cette date a été précisée dans le rapport d’audit définitif.

20. Pour les huit audits passés en revue, nous avons constaté que les dossiers électroniques avaient été archivés dans le délai prévu de 60 jours. Toutefois, nous avons constaté que la version papier de deux dossiers n’avait été archivée que beaucoup plus tard. Dans un de ces cas, il semble que la version papier du dossier n’était pas complète. Dans l’autre cas, nous avons noté que la version papier du dossier d’audit n’avait pas du tout été archivée. Cet élément a été jugé « non conforme » par rapport au Système de contrôle qualité du Bureau pour cet audit.

21. Pour deux dossiers, nous avons constaté que des documents contrôlés n’avaient pas été retournés au Bureau après le dépôt du rapport. Même si les équipes ont documenté cette situation, elles n’ont pas suivi les procédures appropriées pour faire le suivi de ces documents. Dans un autre cas, nous avons constaté que l’équipe avait tenu un registre des documents contrôlés, mais qu’elle ne l’avait pas consigné dans le dossier d’audit. Même si, en l’occurrence, tous les documents contrôlés avaient été retournés au Bureau, rien dans le dossier n’indiquait que cela avait effectivement été le cas.

22. Une conclusion d’un rapport d’audit a été reformulée après l’envoi de l’ébauche du sous-ministre (SM). Nous n’avons trouvé aucune documentation dans le dossier d’audit décrivant le jugement professionnel important qui avait été posé pour tirer cette conclusion.

23. Au cours de la revue des pratiques, il est devenu évident qu’une équipe s’était appuyée sur des éléments probants secondaires, mais qu’elle ne les avait pas identifiés comme tels pendant l’étape de la planification. Si une équipe s’appuie sur des éléments probants secondaires, elle doit en démontrer la pertinence, la fiabilité et la validité.

24. Dans le cadre de l’audit mentionné ci-dessus, le responsable de la mission a posé un jugement professionnel important sur l’utilisation d’éléments probants secondaires. Nous avons constaté qu’il n’y avait rien dans le dossier pour expliquer les motifs et les moyens utilisés par le professionnel en exercice pour obtenir l’assurance nécessaire. Cette observation a été jugée « non conforme » aux politiques du Bureau.

25. Dans une des missions revues, nous avons constaté que de nombreux éléments superflus avaient été consignés dans le dossier électronique, incluant des modèles non remplis. De plus, dans la version papier du dossier, nous avons noté des éléments qui ne comportaient aucune marque d’approbation ou de revue.

Pratiques exemplaires

26. Nous avons relevé trois pratiques exemplaires qui pourraient profiter aux autres équipes de Bureau. Dans tous les cas, les éléments ont été consignés dans les dossiers d’audit d’une manière pragmatique qui appuyait la stratégie d’audit. La documentation était efficiente et permettait aux équipes de respecter les exigences en la matière sans alourdir leur charge de travail.

27. Dans un cas, nous avons noté qu’avant de transmettre l’ébauche du directeur principal (PX), l’équipe avait décidé de ne pas effectuer une petite partie des travaux d’audit initialement prévus. La section BVG Audit 7021 — Évaluation du caractère suffisant et approprié des éléments probants obtenus examine le cas où un responsable de mission ne peut pas effectuer tous les travaux initialement prévus, car il est dans l’impossibilité d’obtenir des éléments probants suffisants et appropriés. En l’occurrence, l’équipe a constaté qu’elle ne disposait pas d’assez de temps ni de ressources pour effectuer les travaux. Compte tenu de sa meilleure compréhension de la situation, elle a conclu que cette activité serait plus adaptée à des travaux de suivi futurs. Cela a été très bien documenté dans une note claire et concise qui a été consignée au dossier.

28. Dans un autre cas, l’équipe a consulté l’expert du Bureau en audit interne, qui lui a fourni un modèle pour documenter sa capacité d’utiliser les travaux de la fonction d’audit interne. Ce document bien conçu a aidé l’équipe à déterminer si elle pouvait utiliser les travaux d’audit interne et comment elle pouvait le faire. Au bout du compte, l’équipe a décidé de ne pas utiliser ces travaux, mais cette démarche l’a aidée à accomplir la tâche sans difficulté et aussi à respecter la norme 5050 — Utilisation des travaux d’audit interne dans les missions de certification autres que les audits d’états financiers ou d’autres informations financières historiques du Manuel de CPA Canada — Certification et audit : considérations générales.

29. Dans un troisième cas, le responsable de la mission a changé pendant l’audit. Une note a été consignée dans le dossier d’audit pour expliquer le rôle du vérificateur général adjoint et du nouveau responsable de la mission.

Occasions de gains d’efficience

30. L’équipe de revue des pratiques a relevé une situation dont les équipes d’audit devraient prendre note afin d’accroître l’efficacité de leurs travaux.

31. Lors de la revue d’un des audits, nous avons constaté un excès de documentation pour la corroboration de plusieurs paragraphes. L’objectif de la corroboration n’est pas de consigner tous les éléments probants dans le dossier d’audit pour étayer un point. Elle vise plutôt à présenter les éléments probants les plus convaincants afin que l’examinateur puisse juger que les éléments probants obtenus sont suffisants et appropriés. La section BVG Audit 7060 — Corroboration du chapitre comprend des directives que les équipes devraient revoir. Les auditeurs qui préparent des éléments probants en vue de la corroboration devraient apprendre à « se mettre dans la peau de l’examinateur ».

Recommandations à la Direction des méthodes professionnelles

32. Observation — Les équipes d’audit ne semblent pas comprendre que la date dans la partie H du formulaire de confirmation de l’indépendance correspond à la date du début de la période visée par l’audit. Même si la politique est claire à ce sujet, six des huit dossiers revus ne comportaient pas la bonne date. Selon les dates indiquées, les membres de l’équipe de mission n’avaient pas confirmé leur indépendance pour l’ensemble de la période visée par l’audit. Il est donc possible que des conflits d’intérêts de certains membres de l’équipe n’aient pas été recensés ni réglés.

33. Recommandation 1 — L’Équipe des méthodes pour les missions d’appréciation directe devrait rappeler aux responsables de mission les exigences techniques qui s’appliquent aux formulaires de confirmation de l’indépendance, lors de forums des directeurs principaux ou d’autres activités similaires.

Réponse de la direction — Recommandation acceptée. Cette question a été examinée lors de la rencontre du groupe de discussion des PX/DX tenue le 26 mai 2015 et du Forum sur l’audit de performance qui a eu lieu le 16 juin 2015. On a rappelé au personnel comment consigner correctement la période visée par l’audit dans le formulaire de confirmation de l’indépendance.

34. Observation — Actuellement, il n’y a aucun mécanisme pour consigner la date à laquelle l’équipe de gestion de l’information et des dossiers reçoit la version papier des dossiers d’audit, qui lui sont envoyés pour archivage. La date enregistrée est la date à laquelle le dossier est versé dans le système d’archives. De plus, la politique actuelle mentionne la nécessité d’achever la constitution du dossier. L’équipe de la revue des pratiques n’est pas certaine si un dossier est considéré comme achevé lorsqu’il est remis à l’équipe de gestion de l’information et des dossiers ou lorsque la version papier du dossier est archivée. Remarque : Cette observation s’applique aux missions d’appréciation directe et aux audits d’attestation.

35. Recommandation 2 — La Direction des méthodes professionnelles et l’équipe de gestion de l’information et des dossiers devraient élaborer une procédure permettant de faire un suivi rigoureux de la date de transmission d’un dossier à des fins d’archivage. En outre, la Direction devrait penser à réviser la politique en vigueur pour préciser si le délai de 60 jours prend fin à la date de transmission ou d’archivage du dossier d’audit.

Réponse de la direction —Recommandation acceptée. La Direction des méthodes professionnelles collaborera avec l’équipe de gestion de l’information et des dossiers pour s’assurer que la date de réception d’un dossier papier par l’équipe est enregistrée de façon uniforme. La Direction s’assurera également que les directives sur la constitution de la version papier du dossier d’audit définitif sont claires au sujet de la date de fin du délai de 60 jours.

36. Observation — Les auditeurs affectés à des missions d’appréciation directe doivent, conformément aux exigences applicables, communiquer les sources des critères d’audit pendant la planification et la préparation du rapport. Cette politique du Bureau est fondée sur le paragraphe 66, sous « Normes de rapport », du chapitre 5025 — Normes relatives aux missions de certification autres que les audits d’états financiers ou d’autres informations financières historiques du Manuel de CPA Canada — Certification et audit : considérations générales. Même si la politique et les normes exigent la communication des sources des critères, les modèles du Bureau pour l’examen spécial ne prévoient aucun espace à cet effet, contrairement aux modèles du Bureau pour l’audit de performance.

37. Recommandation 3 — L’Équipe des méthodes pour les missions d’appréciation directe devrait mettre à jour les modèles pertinents afin d’y inclure une section pour les sources des critères. L’Équipe des méthodes devrait par ailleurs s’assurer que les responsables de mission sont au courant de l’exigence.

Réponse de la direction — Recommandation acceptée. À l’heure actuelle, les critères recommandés pour les examens spéciaux datent de 2006 et ne comprennent pas de sources. L’Équipe des méthodes pour les missions d’appréciation directe s’emploie actuellement à mettre à jour, en collaboration avec les experts internes, les critères recommandés pour les examens spéciaux et leurs sources. Cette nouvelle information fera partie de la mise à jour annuelle des méthodes d’audit de 2015 qui devrait être diffusée en novembre 2015. Dans le cadre de cette mise à jour, l’Équipe des méthodes révisera le modèle de rapport pour les examens spéciaux.

38. Observation — La section BVG Audit 3062 — Responsabilités du responsable de la mission à l’égard de la qualité des audits indique que « les responsabilités du […] “praticien” doivent être assumées par le directeur principal de l’audit, qui est le responsable de la mission pour l’ensemble des missions [….] ». La politique précise également ce qui suit : « Dans le cas où un directeur principal n’a pas été affecté à la mission, le vérificateur général adjoint doit assumer le rôle de responsable de la mission ».

39. Nous avons appris que certains audits du Bureau étaient ou sont gérés par un directeur jouant le rôle de responsable de mission. Dans un des dossiers d’audit que nous avons revus, la façon dont le vérificateur général adjoint et le directeur devaient se partager le rôle de responsable de la mission était bien documentée. Toutefois, cette pratique n’est pas conforme aux politiques du Bureau pour les missions d’appréciation directe et les audits annuels.

40. Recommandation 4 — La Direction des méthodes professionnelles devrait mettre à jour la section BVG Audit 3062 — Responsabilités du responsable de la mission à l’égard de la qualité des audits pour permettre au vérificateur général de nommer un membre du personnel autre qu’un directeur principal comme responsable de mission.

Réponse de la direction — Recommandation acceptée. La direction examinera et révisera, au besoin, le libellé de la politique indiquée ci-dessus pour donner suite à cette recommandation.

Conclusion

41. Nous avons conclu que chacune des huit missions d’appréciation directe que nous avons revues était généralement conforme aux politiques du Bureau et aux normes professionnelles d’audit, et que les opinions d’audit étaient étayées.

42. Le niveau de conformité aux politiques du Bureau et aux normes professionnelles d’audit est bon, mais nous avons observé que des améliorations s’imposaient à certains égards. Nous avons formulé quatre recommandations à l’attention de la Direction des méthodes professionnelles.

Annexe A — Éléments du Système de contrôle qualité

Annexe B — Éléments et contrôles de processus du Système de contrôle qualité examinés

Notre examen a porté sur les éléments suivants du Système de contrôle qualité (SCQ) :

• la réalisation des missions;
• les ressources;
• l’indépendance;
• le leadership et la supervision.

Réalisation des missions — Nous avons déterminé si l’audit avait été planifié, exécuté et communiqué selon les normes d’audit généralement reconnues du Canada, les lois applicables et les politiques et méthodes du Bureau. Nous avons aussi évalué si le Bureau s’était acquitté de ses responsabilités en matière de rapports, c’est-à-dire s’il avait mis en place des méthodes d’audit appropriées, des procédures et des outils recommandés qui favorisent l’utilisation de stratégies d’audit efficientes, permettant d’obtenir des éléments probants suffisants en temps voulu.

Dans le cadre de l’audit, nous avons également revu l’achèvement des dossiers d’audit. Nous avons déterminé si les dossiers d’audit avaient été achevés dans les 60 jours suivant la date de présentation du rapport de mission de certification définitif (pour les examens spéciaux) ou dans les 60 jours suivant la date de dépôt (pour les audits de performance).

Nous avons déterminé si les équipes d’audit avaient consulté des sources faisant autorité et des experts dotés des compétences, du jugement et de l’autorité appropriés afin d’assurer l’exercice d’une diligence raisonnable, en particulier lors du traitement de questions complexes, inhabituelles ou peu connues. Nous avons aussi évalué si les consultations avaient été consignées en dossier de manière adéquate, et si les équipes d’audit avaient donné suite en temps opportun et de façon appropriée aux conseils reçus des experts et des autres parties consultées.

Nous avons déterminé si le responsable du contrôle qualité avait procédé, en temps opportun, à une évaluation objective :

• des principaux jugements portés par l’équipe d’audit;
• des conclusions formulées à l’appui du rapport de l’auditeur;
• des autres questions importantes dont il avait pris connaissance dans le cadre de son examen.

Nous avons déterminé si les travaux du responsable du contrôle qualité avaient été consignés en dossier comme il se doit et si l’équipe d’audit avait pris des mesures appropriées, en temps opportun, pour donner suite aux avis formulés par le responsable du contrôle qualité.

Ressources — Nous avons examiné si le caractère adéquat, la disponibilité, les compétences, le savoir-faire et les ressources de l’équipe d’audit avaient été évalués et consignés en dossier de façon appropriée.

Indépendance — Nous avons examiné si l’indépendance de toutes les personnes effectuant des travaux d’audit, y compris les experts, avait été rigoureusement évaluée et l’information à leur sujet consignée en dossier.

Leadership et supervision — Nous avons déterminé si chaque personne assignée à l’audit avait bénéficié d’un niveau de leadership et de direction approprié et si chacune d’entre elles, y compris les experts, avait été supervisée de manière à ce que les audits soient réalisés correctement.