4045 Méthodes de collecte d’éléments probants

juil.-2020

Application de la NCMC 3001 lorsqu’il s’agit de recueillir des éléments probants

La NCMC 3001 exige que des éléments probants suffisants et appropriés soient obtenus pour étayer la conclusion de l’audit. Elle précise que « le caractère suffisant s’entend de la dimension quantitative des éléments probants » et « le caractère approprié s’entend de la dimension qualitative des éléments probants (pertinence et fiabilité) ». Pour obtenir des informations complémentaires à ce sujet, veuillez consulter la section BVG Audit 1051 — Éléments probants suffisants et appropriés.

La question de savoir si une quantité suffisante d’éléments probants a été obtenue dépend des risques que l’objet considéré comporte un écart important (plus le risque sera élevé, plus il sera probable que la quantité d’éléments probants requise soit grande), mais aussi de la qualité des éléments probants recueillis (meilleure sera la qualité, moins il sera probable que la quantité requise soit grande). Les éléments probants permettant de procurer une « assurance du niveau d’audit » sont obtenus par différents moyens et auprès de différentes sources, tels qu’ils sont mentionnés ci-dessous.

L’équipe doit aussi inclure dans le rapport d’audit une brève description des éléments probants recueillis et des techniques d’analyse (BVG Audit 7030 — Rédaction du rapport d’audit), notamment de l’information sur la nature et l’étendue des tests réalisés. À titre de bonne pratique, il est recommandé d’inclure dans le résumé des travaux réalisés des renseignements détaillés sur la méthode de sondage, la taille des échantillons et la taille des populations. Le résumé peut être présenté dans le corps même du rapport ou dans la section À propos de l’audit.

Éléments probants

Les éléments probants sont de l’information recueillie et utilisée comme fondement factuel pour préparer des constatations et tirer des conclusions par rapport aux critères et aux objectifs de l’audit. Ils fournissent des raisons pour conclure qu’une constatation particulière est vraie en donnant des arguments convaincants à l’appui d’un fait ou d’un point. Les éléments probants doivent étayer le contenu du rapport d’audit, y compris les descriptions, toutes les constatations menant à des recommandations et les conclusions de l’audit. Dans la NCMC 3001, on entend par « éléments probants », « les informations sur lesquelles s’appuie le professionnel en exercice pour parvenir à sa conclusion. Les éléments probants comprennent les informations contenues dans les systèmes d’information pertinents, le cas échéant, ainsi que d’autres informations. Aux fins des NCMC, […] le caractère suffisant s’entend de la dimension quantitative des éléments probants; le caractère approprié s’entend de la dimension qualitative des éléments probants. »

La grille logique d’audit (BVG Audit 4044 — Élaboration de la stratégie d’audit : grille logique d’audit) décrit les méthodes que l’équipe envisage d’utiliser pour collecter et analyser les éléments probants. Elle indique également comment l’équipe utilisera les éléments probants pour évaluer si les critères ont été satisfaits, lui permettant ainsi d’exprimer des conclusions par rapport aux objectifs de l’audit. De plus, la grille logique d’audit oriente l’élaboration des programmes d’audit qui décrivent de façon détaillée les moyens que l’équipe prévoit utiliser pour recueillir des éléments probants (BVG Audit 4070 — Programmes d’audit). Les procédures d’audit peuvent être intégrées dans la GLA ou dans des programmes d’audit distincts.

L’équipe d’audit doit recueillir des éléments probants suffisants et appropriés pour étayer la conclusion du rapport d’audit (BVG Audit 1051 — Éléments probants suffisants et appropriés). Dans ces circonstances, il est particulièrement important que l’équipe d’audit exploite plusieurs sources pour étayer ses conclusions d’audit et qu’elle consigne ses méthodes de collecte d’éléments probants en dossier. Des constatations d’audit fiables sont obtenues de divers types d’éléments probants qui, ensemble, expriment un message cohérent.

L’équipe doit trouver des possibilités de recueillir des données quantitatives, par exemple les tendances de la productivité des programmes faisant l’objet de l’audit, les coûts des déficiences dans les pratiques de gestion, les économies réalisées à l’égard des activités du gouvernement ou les répercussions mesurables sur la population canadienne. La quantification accroît la précision des constatations d’audit, permet des évaluations directes de l’ampleur et favorise l’évaluation des progrès par rapport à ces cibles. De plus, étant donné que les résultats quantitatifs sont énoncés objectivement, ils font moins l’objet d’interprétations différentes par le Parlement et le conseil d’administration. L’équipe doit aussi établir des plans pour obtenir les données quantitatives et demander conseil au spécialiste interne de la recherche et de l’analyse quantitative du BVG.

Types d’éléments probants

Le BVG utilise quatre types d’éléments probants :

Les éléments probants physiques sont les éléments probants qu’obtient l’auditeur par l’observation ou l’inspection directes. Pour ce faire, l’auditeur regarde, écoute et observe directement, par exemple lors d’un jumelage professionnel, en prenant lui-même des vidéos ou des photos, en menant une évaluation mystère, ou encore, en tant qu’observateur silencieux.

Les éléments probants testimoniaux sont obtenus de tiers par l’entremise de déclarations orales ou écrites à la suite d’une demande d’information présentée par l’auditeur. Il existe plusieurs techniques pour recueillir des éléments probants testimoniaux, notamment : entretiens, groupes de discussion, sondages, opinions d’expert et confirmations externes.

Les éléments probants documentaires sont obtenus à partir d’informations et de données tirées de documents ou de bases de données. Voici des exemples de techniques pouvant servir à recueillir des éléments probants documentaires : documents de l’entité, examens de dossier, bases de données et feuilles de calcul, audits et évaluations internes, rapports d’experts-conseils, études d’autres organisations, contrôle arithmétique et réexécution.

Les éléments probants analytiques sont obtenus en examinant et en analysant les liens plausibles entre différents ensembles de données. Ces analyses peuvent comprendre des analyses statistiques, l’étalonnage et la comparaison, la simulation et la modélisation de données quantitatives, et l’exploration de texte ou l’analyse du contenu de données qualitatives.

Pertinence et fiabilité des éléments probants

L’équipe d’audit peut recueillir des éléments probants directement. Ils peuvent prendre les formes suivantes :

• éléments probants physiques (comme une observation directe, des photos/vidéos);

• éléments probants documentaires (tels que l’examen des fichiers et des documents de l’entité, l’examen des données tirées des bases de données);

• éléments probants testimoniaux (sondages, entretiens, groupes de discussion, opinion d’expert);

• éléments probants analytiques (analyse de données, exploration de données, analyse de régression et autres examens et analyses effectués par l’équipe d’audit).

Les éléments probants obtenus par l’entremise d’un examen physique direct, l’observation, le calcul et l’inspection effectués par l’équipe elle-même sont généralement plus fiables que ceux obtenus indirectement.

Les éléments probants peuvent également être obtenus indirectement lorsque l’information est collectée par l’audit interne, les experts ou les tiers, comme ce que l’on trouve dans les rapports. L’équipe d’audit doit consacrer beaucoup plus d’effort à vérifier les éléments probants qui appuieront les constatations et les conclusions, que lorsqu’elle vérifie l’information contextuelle.

Lorsque l’équipe utilise comme éléments probants l’information transmise par des fonctionnaires de l’entité auditée, elle devrait déterminer ce que ces fonctionnaires ou d’autres auditeurs ont fait pour garantir la fiabilité de cette information. Elle peut juger bon de tester les procédures de la direction, ou de tester directement l’information pour s’assurer de sa fiabilité, de son exactitude et son exhaustivité. La nature et l’étendue des procédures que l’auditeur mettra en place dépendront de l’importance de l’information au regard de l’objectif de l’audit et de la nature de l’information utilisée. Il n’est pas convenable d’accepter des travaux ou des informations de tiers sans poser de questions, car cela présente un risque pour le BVG. Avant d’utiliser ces informations à une fin quelconque, l’équipe d’audit doit déterminer dans quelle mesure elle peut s’y fier. Au début de l’étape de la planification, l’équipe d’audit doit solliciter l’avis du spécialiste interne de la recherche et de l’analyse quantitative du BVG au sujet de la fiabilité des systèmes informatiques et des informations produites par des systèmes.

Pour se conformer au paragraphe 55 de la NCMC 3001, l’équipe d’audit peut envisager de mettre en œuvre des procédures comme celles-ci :

• obtenir la confirmation que les informations ont fait l’objet d’une évaluation par les pairs;
• les comparer avec des informations provenant d’une autre source externe indépendante.

L’utilisation de travaux de l’audit interne est possible afin d’obtenir  des éléments probants . Pour mieux comprendre l’objet considéré et déterminer les gains d’efficience possibles pour les travaux (et, dans le cadre d’un examen spécial, respecter la LGFP), l’équipe d’audit doit discuter des projets d’audit récents et à venir avec les membres de la fonction d’audit interne de l’entité. Si l’équipe d’audit estime qu’elle peut s’appuyer sur les travaux d’audit interne, elle doit déterminer s’il est possible de respecter les exigences du paragraphe 60 de la NCMC 3001(voir BVG Audit 4030 — Utilisation des travaux d’audit interne).

L’équipe d’audit peut également déterminer s’il est possible de s’appuyer sur les travaux d’experts et de parties prenantes externes (y compris les experts engagés par l’entité, s’il y a lieu) et évaluer leur pertinence dans le cadre de l’étendue de l’audit. Le cas échéant, elle doit déterminer si elle peut obtenir une assurance raisonnable en ce qui concerne l’expertise, la compétence et l’intégrité des experts, et en ce qui a trait à d’autres facteurs (BVG Audit 2070 — Utilisation d’experts).

De plus amples renseignements sur les techniques de collecte d’éléments probants se trouvent dans le guide Éléments probants et méthodes de collecte d’éléments probants.

L’équipe d’audit peut décider de citer, dans son rapport de certification, des informations provenant d’une source externe, qui n’ont pas été préparées par un expert de son choix, par un expert choisi par la partie responsable ou par la fonction d’audit interne. Le but peut être de situer le contexte de l’audit de performance ou d’étayer une constatation ou une recommandation émise dans le rapport. Il importe que les informations ainsi citées soient crédibles.

Voici des facteurs que l’équipe d’audit peut prendre en considération pour apprécier la crédibilité des informations provenant d’une source externe :

• la nature de la source et la mesure dans laquelle elle fait autorité, par exemple si c’est une banque centrale ou un institut public de la statistique ayant le mandat, en vertu de la loi, de publier des données;

• la capacité que peut avoir l’entité, par les liens qu’elle entretient avec la source externe, d’influer sur les informations;

• l’existence de preuves de la reconnaissance généralisée, par les utilisateurs sur le marché, de la pertinence ou de la fiabilité des informations;

• la nature et la portée des mises en garde et des autres clauses limitatives concernant les informations obtenues.

Pertinence et fiabilité des éléments probants pour étayer les conclusions de l’audit

Nous proposons ci‑après deux démarches que les équipes d’audit peuvent envisager pour s’assurer de la pertinence et de la fiabilité des éléments probants.

Examen par l’entité de la qualité de l’information

Le meilleur moyen consiste à demander à l’entité auditée ou à la source des données que vous utilisez de fournir les résultats de tous les tests de la qualité de l’information qui ont été faits. Il faut ensuite examiner ou analyser les méthodes et les constatations de l’entité ou de la source de données pour vérifier si ses conclusions sont valables. En outre, si vous accordez votre confiance à l’information provenant de la base de données de l’entité, vous devriez demander au propriétaire des données de vous fournir des éléments probants quant aux normes d’assurance de la qualité qui sont appliquées, y compris les rapports périodiques à la direction sur la qualité des données ainsi que les contrôles des systèmes en place qui fournissent une assurance raisonnable en ce qui concerne la saisie et la tenue des données sur la qualité. L’entité pourrait aussi démontrer qu’elle a comparé ses données avec celles d’autres sources indépendantes qui en ont confirmé la fiabilité. Les résultats positifs qui découlent de cette démarche peuvent fournir un niveau d’assurance élevé quant à la qualité des données.

Examen de la qualité de l’information par le BVG

Si l’entité ou la source de données ne peut fournir une assurance, étayée de documents, quant à la validité et à la fiabilité de l’information, vous pouvez décider de faire vous‑même l’examen et l’analyse de la qualité des données que vous utilisez. Dans certains cas, cela peut se révéler une mesure appropriée, en particulier si vous prévoyez vous servir de l’information dans tout le rapport d’audit et si les données présentent un risque d’erreurs importantes. Toutefois, la décision de tester les données vous‑même doit reposer sur des facteurs tels que les avantages‑coûts et notre capacité à le faire. Un tel test peut demander beaucoup de ressources et de temps, en plus d’être peu pratique étant donné les circonstances et le temps dont nous disposons. Si vous optez pour cette démarche, il est préférable de la prévoir et de la mettre à exécution dès le début de l’audit et d’en tenir compte pour établir le coût de l’audit établi dans la stratégie d’audit. Les équipes qui prévoient effectuer leurs propres examen et analyse devraient consulter le spécialiste interne de la recherche et de l’analyse quantitative du BVG pour obtenir des conseils et des avis d’expert.

Pertinence et fiabilité des éléments probants pour étayer l’information contextuelle

Dans le cas de l’information contextuelle, il n’est pas nécessaire d’obtenir une assurance de niveau élevé; une assurance de niveau modéré est appropriée. La simple mention de la source (une entité ou un tiers), même si elle est toujours utile et souhaitable, ne suffit pas. Les équipes d’audit devraient obtenir une assurance de niveau modéré par la prise de renseignements, l’analyse et des discussions qui leur permettront de conclure que l’information est plausible. Les équipes d’audit pourraient suivre les étapes suivantes afin de porter un jugement professionnel éclairé quant à l’obtention d’une assurance de niveau modéré et à la plausibilité de l’information obtenue qu’elles désirent utiliser :

• Assurez‑vous que vous avez une connaissance adéquate des opérations et des activités qui sous-tendent le fonctionnement de la base de données ou de la source d’information que vous utiliserez. Dans de nombreux cas, l’équipe d’audit acquiert cette connaissance au fil des années et des audits (connaissance des activités). L’un des aspects de cette connaissance est de vous assurer que vous avez de l’information à jour sur les compétences des gestionnaires de la base de données et sur l’efficacité des contrôles de la qualité. De plus, et si cela est possible, vous devez déterminer si une ou des parties indépendantes de la source de données peuvent vous fournir une certaine assurance concernant la qualité des données à utiliser. Cela pourrait comprendre de l’information au sujet de l’étendue de l’examen des données que d’autres parties intéressées et les utilisateurs des données font régulièrement et de la possibilité qu’ils repèrent et signalent une erreur importante.

• Contrevérifiez et comparez l’information recueillie et les constatations issues des travaux d’audit au cours des phases de la planification et de l’examen avec l’information provenant de sources externes pour en assurer l’uniformité. Cela est particulièrement crucial lorsque les données de source externe ne sont pas auditées.

• Demandez à l’entité auditée de produire une déclaration officielle dans laquelle elle explique pourquoi l’information fournie ne contient pas d’erreurs importantes. Cette déclaration peut prendre la forme d’une lettre ou d’un courriel qui décrit les facteurs illustrant le mieux la qualité de l’information que vous utilisez. En vous fondant sur votre connaissance des activités de l’entité, vous devez considérer la vraisemblance de la logique de la déclaration. L’entité auditée peut être en mesure de soutenir qu’après analyse, ses données correspondent aux résultats obtenus d’autres sources ou que diverses parties intéressées ont intérêt à ce que l’information soit exacte et qu’elles ont des raisons d’en vérifier régulièrement la validité et la fiabilité.

• Lorsque vous utilisez des documents de recherche ou des études théoriques d’un tiers, vérifiez les contrôles implicites mis en place pour la publication de ces documents (par exemple, la politique de divulgation de l’information dans une revue spécialisée). En général, l’évaluation de la validité de l’information fournie par un tiers n’est pas aussi poussée puisque cette information n’est habituellement pas utilisée seule pour appuyer une constatation. La réputation de la personne qui a préparé l’information ou de la source de données et l’utilisation de l’information par un grand nombre de parties constituent des facteurs importants à prendre en considération. Lorsque vous utilisez des rapports d’autres ministères et organismes, vérifiez si le Bureau a déjà effectué un audit des aspects qui s’y rattachent, notamment, les méthodes de communication de l’information ou les contrôles des bases de données connexes (par exemple Statistique Canada).

• Lorsque vous utilisez diverses sources d’information (bases de données, études, documents, etc.), vérifiez l’uniformité générale de leurs constatations et conclusions. Différentes sources d’information faisant les mêmes observations peuvent être décisives. Il serait bon encore une fois d’examiner ces conclusions générales et de les comparer aux constatations issues des travaux d’audit sur place.

Réunions et entretiens

Les réunions et entretiens sont nécessaires pour comprendre les activités de l’entité et déterminer les sources possibles d’éléments probants. Toutefois, les éléments probants obtenus au cours de ces rencontres reflètent les points de vue et les opinions des participants et peuvent faire l’objet de partis pris inhérents. Ces éléments probants doivent être corroborés par de l’information provenant d’autres sources.

Parfois les déclarations orales faites au cours de réunions et d’entretiens sont la seule source d’éléments probants disponibles parce que d’autres sources n’existent pas ou ne sont pas disponibles. Par exemple, l’entité ne peut pas produire de documents probants ou les fonctionnaires de l’entité peuvent alléguer que certaines pratiques ne sont pas suivies.

Si l’équipe d’audit prévoit se servir de déclarations orales comme éléments probants, elle doit alors obtenir, dans un délai raisonnable – par exemple dans les deux semaines qui suivent l’entretien – la confirmation écrite que les notes prises par l’auditeur sont un compte rendu exact de ce qui a été dit. Si l’équipe prévoit se servir uniquement de certaines déclarations orales, qui sont extraites du compte rendu, elle peut faire confirmer les extraits par courrier électronique tout de suite ou plus tard, lorsqu’il devient évident que les notes sont des éléments probants nécessaires. Les équipes d’audit devraient envisager cette solution au lieu de soumettre l’ensemble du compte rendu pour être examiné.

L’équipe d’audit n’est pas tenue de faire approuver le compte rendu si le contenu des notes ne sera pas utilisé comme éléments probants pour exprimer des constatations ou des conclusions dans le rapport d’audit.

Les membres de l’équipe d’audit doivent informer les participants que l’on pourrait leur demander cette confirmation. Tout désaccord concernant le compte rendu qui ne peut être résolu doit être documenté. Les questions importantes non résolues liées à l’approbation des comptes rendus doivent être mentionnées au directeur responsable de l’audit. Le directeur peut consulter le responsable de la mission, au besoin, et décider de soulever la question auprès du directeur principal responsable de l’entité ou des dirigeants de l’entité.

Sondages

Les sondages peuvent être une manière économique de demander aux personnes de faire part de leurs observations, comportements, opinions et perceptions lorsqu’il est impossible de procéder à des entretiens ou de cibler des groupes, en raison du nombre et de la disponibilité des personnes ou groupes concernés, et de la disponibilité des ressources de l’audit. Les sondages permettent de recueillir des éléments probants testimoniaux et, comme les entretiens, ils reflètent les intérêts de la partie prenante questionnée. Si l’équipe prévoit utiliser un sondage pour collecter des éléments probants, elle doit en faire état et préparer un plan détaillé. L’équipe devrait demander conseil au spécialiste interne de la recherche et de l’analyse quantitative du BVG sur la réalisation de sondages.

Note : Le BVG est assujetti à la Loi sur la protection des renseignements personnels. Tout citoyen canadien ou résident permanent du Canada peut ainsi demander l’accès aux renseignements personnels le concernant et qui sont détenus par le BVG. L’auditeur doit donc veiller à ne pas inscrire, dans les documents consignés au dossier d’audit, des commentaires de nature personnelle à propos des personnes rencontrées lors de la réalisation d’un audit. (Voir BVG Audit 1192 — Confidentialité, archivage sécurisé, intégrité, accessibilité et facilité de consultation de la documentation des missions).

Fiabilité et analyse de données

L’analyse de données correspond à la catégorie des éléments probants analytiques. Le BVG s’y intéresse de plus en plus, car elle offre un ensemble d’outils puissants qui permettent à l’auditeur de formuler des observations solides, convaincantes et objectives. L’analyse de données peut porter sur un échantillon qui servira à tirer une conclusion par inférence statistique sur l’ensemble d’une population, ou viser directement des populations entières, ce qui permet à l’analyse de passer du domaine des probabilités au domaine des certitudes.

Les approches axées sur les mégadonnées ou sur de larges populations peuvent être de nature descriptive, par exemple, la mise en correspondance des échéanciers de processus multi-étapes afin de mieux comprendre les réussites et les déficiences en matière de rendement, ou encore, elles peuvent servir à établir des modèles prévisionnels.

Les méthodes statistiques pour l’analyse de données sont généralement fondées sur la création de modèles explicatifs ou prévisionnels des processus examinés. Les analyses de régression peuvent indiquer lesquelles, parmi un vaste ensemble de variables explicatives, sont le plus associées à un critère et permettent donc de prévoir la valeur d’une variable critère (appelée aussi variable dépendante) d’intérêt. Le temps nécessaire pour traiter les demandes d’un service gouvernemental est un exemple de variable critère ou dépendante. En se servant des analyses de régression, l’auditeur peut déterminer, parmi les demandeurs et les demandes de service, quelles caractéristiques particulières sont associées à des retards.

L’exploration de données est une approche qui exige beaucoup de calculs si l’on veut pouvoir faire émerger des modèles et des corrélations à partir de vastes ensembles de données en appliquant des méthodes fondées sur l’apprentissage machine, la statistique et l’intelligence artificielle. Alors que l’analyse de données permet généralement de tester des hypothèses ou des modèles bien précis ou d’évaluer des corrélations qui présentent un intérêt particulier, l’exploration de données ne repose généralement pas sur des hypothèses. Elle fait plutôt appel à des méthodes qui font ressortir des tendances ou des corrélations qui sont dissimulées dans un ensemble important de variables d’entrée.

Ainsi, l’exploration de donnée peut servir à détecter une fraude en traitant des variables d’entrée afin de circonscrire un petit ensemble de données qui, une fois combinées d’une certaine manière, peuvent permettre de faire une distinction optimale entre les catégories « fraude » et « aucune fraude ». La difficulté de l’exploration des données est qu’elle exige un ensemble assez important de cas frauduleux et non frauduleux connus. Ces cas connus sont les données de base sur lesquelles le modèle prévisionnel est fondé.

Compréhension des données

Les équipes d’audit devraient poser aux entités, au début de la planification de l’audit, les questions importantes présentées ci-après afin d’évaluer les données et de comprendre le traitement qui sous-tend les données. Les réponses aux questions ci-après peuvent aider les équipes d’audit à déterminer les secteurs de risque et à mieux planifier et anticiper les difficultés liées à la fiabilité des données produites par des systèmes informatiques plus tard dans le cadre de l’audit :

• Quelles données recueillez-vous aux fins de la gestion administrative?

• Comment ces données sont-elles conservées (systèmes de base de données, fichiers Excel ou Microsoft, dossiers papier)?

  • Si les données sont conservées électroniquement, les données sont-elles enregistrées directement ou à partir d’un document papier?

  • Si les données sont enregistrées directement, y a-t-il d’autres sources pour les corroborer?

• À quel niveau l’information est-elle recueillie pour chaque source de données : au niveau des opérations/des personnes/des programmes, ou l’information a-t-elle été regroupée?

• Veuillez décrire comment vous obtenez une assurance à l’égard de l’exactitude et de l’exhaustivité des données.

• Vos sources de données ont-elles été évaluées d’une autre manière pour en vérifier la qualité?

• Des experts ou des parties prenantes se sont-ils prononcés sur la qualité des données?

• Ces experts font-ils partie de votre organisation ou sont-ils indépendants?

• Comment protégez-vous vos données contre les accès intempestifs?

  • Disposez-vous de contrôles visant l’enregistrement, la modification et la suppression de données informatisées?

• À quoi sert chaque source de données utilisée (p. ex. effectuer des suivis, établir des rapports)?

• Avez-vous recours à d’autres sources de données en dehors de vos dépôts de données primaires (comme des registres en format Excel) pour faire des suivis ou établir des rapports?

• Y a-t-il une fonction de suivi pour les sources de données dans votre organisation afin de garantir la mise en œuvre en continu de pratiques rigoureuses en matière de gestion de données?

• Comment fonctionne la fonction de suivi?

• Quel est l’impact ou le rôle de vos sources de données à l’égard des lois, des politiques ou des programmes?

• Vos sources de données contiennent-elles des informations qui sont susceptibles d’être jugées sensibles ou controversées?

• Quel est le niveau de classification de vos sources de données (non classifié, Protégé A, etc.)?

• Pour vos données, quels documents pouvez-vous nous transmettre et comment vos données sont-elles actualisées (dictionnaire de données, détail sur les contrôles de données, etc.)?

Une fois que l’équipe possède cette compréhension, elle peut obtenir les données pertinentes en vue de les examiner. L’équipe d’audit peut effectuer certains tests pour vérifier l’exactitude, la fiabilité et l’exhaustivité des données :

• vérification de la concordance avec d’autres sources d’information (p. ex. des rapports publics ou internes);
• contrôle des données en vue de faire ressortir :
  • les valeurs illégales ou hors limite;
  • les lacunes dans les domaines de la date d’encodage, le lieu, les régions, les numéros d’identification ou d’enregistrement, etc.;
  • les valeurs manquantes;
• examen des contrôles visant l’information (tests de cheminement);
• attestation de la part de l’entité que ses données sont valides;
• comparaison entre le total de la population inscrit ailleurs.

Sondage et sélection des éléments à examiner

Les équipes d’audit doivent établir des plans de sélection des éléments à examiner chaque fois qu’elles ont recours à l’échantillonnage représentatif (échantillons) ou au test ciblé (sélections) pour tirer une conclusion par rapport à l’objectif d’un audit.

Le BVG encourage les équipes d’audit à consulter le spécialiste interne de la recherche et de l’analyse quantitative du BVG au sujet des plans de sélection.

Facteurs à prendre en considération

Si votre équipe envisage de sélectionner des éléments à examiner, consultez la liste ci-après de questions qu ’elle devrait étudier avant de rencontrer le spécialiste interne de la recherche et de l’analyse quantitative du BVG :

But de la sélection ou de l’échantillon :

• Sur quelle question d’audit chaque sélection ou chaque échantillon porte-t-il?

• Quel élément l’équipe examine-t-elle (p. ex. dossier, cas, projet)?

• Quelles procédures l’équipe mettra-t-elle en œuvre pour chaque élément sélectionné?

  • Comment les erreurs ou les écarts sont-ils définis?

• Comment les procédures mises en œuvre aideront-elles l’auditeur à tirer une conclusion par rapport à l’objectif d’audit?

• Les éléments sélectionnés seront-ils utilisés pour tirer des conclusions sur la population entière (échantillonnage représentatif) ou seulement sur les éléments sélectionnés (sélection dirigée)?

Caractéristiques de la population

• Quelle population l’équipe examine-t-elle? Sur quelle période?

• Quelle est la taille de la population?

• Comment la population qui servira à la sélection sera-t-elle fournie à l’équipe par l’entité (chiffrier Excel, base de données Access, dossiers physiques conservés sur place)?

• Quelles procédures l’équipe entreprendra-t-elle pour fournir une assurance quant à l’exactitude et à l’exhaustivité des données fournies par l’entité ou obtenues auprès d’autres sources (p. ex. examen de la qualité des données, des programmes d’assurance qualité ou des contrôles de l’entité; comparaison avec les totaux de contrôle; analyse des écarts; recherche des valeurs aberrantes ou invalides)? Voir les questions énoncées sur la fiabilité et l’exactitude des données dans la section « Analyse des données ».

  • Si l’auditeur utilise des éléments probants secondaires pour l’échantillonnage, comment compte-t-il obtenir une assurance à l’égard de l’intégrité des informations reçues de tierces personnes?

• Les caractéristiques de la population sont-elles homogènes? Autrement dit, ont-elles des attributs à tester qui sont similaires?

  • Si tel n’est pas le cas, quelles procédures l’équipe adoptera-t-elle pour remédier à cette situation, en particulier si un échantillonnage représentatif est utilisé?

Les équipes d’audit devraient rencontrer le spécialiste interne de la recherche et de l’analyse quantitative du BVG pour déterminer le type de sélection ou d’échantillonnage qui serait le plus approprié dans leur cas.

Cadre de sélection des éléments à examiner

Les équipes d’audit peuvent rarement examiner la population entière d’éléments, ce qui signifie qu’elles examinent uniquement une sélection d’éléments. Les deux principaux types de sélection ou d’échantillonnage sont : 1) le sondage en audit et 2) la sélection dirigée. Le sondage en audit permet à l’équipe de tirer une conclusion par rapport à une population d’éléments; tandis qu’une sélection dirigée lui permet d’exprimer une conclusion uniquement sur les éléments sélectionnés, car il n’y a aucun fondement statistique qui permettrait à l’équipe de formuler une conclusion sur toute la population.

1) Le sondage en audit permet aux équipes d’audit de tirer une conclusion sur une population en examinant un échantillon d’éléments de cette population. Ainsi, ce type de sondage est synonyme d’échantillonnage représentatif ou d’échantillonnage généralisable.

Le sondage doit être envisagé dans les cas suivants :

• Il y a une population bien définie qui est pertinente pour l’audit.
• Il est peu pratique d’examiner la totalité de la population.
• La population est accessible.
• La représentativité de la population est fiable (c.-à-d. exacte et exhaustive).
• L’équipe a les ressources d’audit dont elle a besoin.

Le sondage en audit est très efficient pour les populations grandes et moyennes, mais il peut ne pas convenir aux petites populations. Si les équipes envisagent d’utiliser le sondage en audit sur des populations de moins de 100 éléments, elles devraient consulter le spécialiste interne de la recherche et de l’analyse quantitative du BVG.

Selon la politique du BVG, tout échantillonnage doit être réalisé selon un niveau de confiance égal ou supérieur à 90 % et un intervalle de confiance égal ou inférieur à 10 %. Pour les audits de secteurs comportant un risque élevé, les équipes devraient utiliser des niveaux de confiance plus élevés et des intervalles de confiance plus précis.

Il y a deux types de sondage en audit : le sondage d’attribut et le sondage de variable. Le sondage d’attribut est la méthode de sondage généralement utilisée par les équipes chargées de missions d’appréciation directe. Elles utilisent plutôt rarement le sondage de variable. C’est plutôt les équipes chargées d’audits d’états financiers qui se servent généralement de cette méthode.

1. Le sondage d’attribut sert à évaluer le pourcentage d’un attribut qui intéresse l’auditeur. Voici des exemples d’attribut : la part des opérations qui comportent une erreur, la part des hommes et des femmes au sein d’un groupe ou la part des bureaux qui sont ouverts ou fermés. Le sondage d’attribut ne peut servir à extrapoler des montants, comme la valeur des erreurs en dollars. Cette méthode de sondage est la plus souvent utilisée dans le cadre de missions d’appréciation directe. Les informations nécessaires comprennent l’intervalle de confiance et le niveau de confiance, la taille de la population et la part prévue pour les attributs testés (p. ex. 50 % d’erreurs contre 50 % sans erreur). Il faut noter que les tailles d’échantillon sont les plus grandes lorsque la répartition de l’attribut est d’environ 50 %/50 %.

2. Le sondage de variable sert à extrapoler des montants ou des quantités, comme le montant d’une erreur dans les salaires des employés du BVG. Il ne permet pas d’extrapoler le pourcentage des éléments erronés. Cette méthode de sondage est le plus souvent utilisée pour les audits d’états financiers. Les informations nécessaires comprennent l’intervalle de confiance et le niveau de confiance, la taille de la population et l’écart type de la variable de la sélection.

Le sondage d’attribut et le sondage de variable peuvent s’appliquer de deux façons :

• Pour estimer la valeur d’une population, comme le pourcentage d’employés ayant reçu des salaires comportant des erreurs ou le montant de l’erreur dans les salaires payés. Cette méthode de sondage est le plus souvent utilisée pour l’audit de performance et l’audit d’états financiers. Les informations nécessaires pour estimer la valeur d’une population sont les mêmes que celles précisées aux paragraphes A et B ci-dessus.

• Pour effectuer une évaluation en fonction d’un critère, comme déterminer si le pourcentage des employés ayant reçu un salaire erroné est supérieur à 10 % ou si le montant de l’erreur dans les salaires payés est supérieur à 500 millions de dollars. Utiliser un sondage pour évaluer une valeur en fonction d’un critère peut être efficace dans un audit de performance. Cette méthode de sondage est la plus souvent utilisée dans le cadre d’examens spéciaux et d’audits d’états financiers. Les informations nécessaires comprennent celles précisées aux paragraphes A et B ci-dessus, ainsi que l’erreur prévue et l’erreur tolérable.

  Ce type de sondage vise à évaluer si l’erreur ou l’écart dans la population a dépassé la valeur d’un critère défini. Il peut être inapproprié de projeter le degré d’erreur ou d’écart en vue d’estimer l’erreur ou l’écart dans la population. Les équipes devraient consulter l’équipe de l’analyse des données et des méthodes de recherche pour mieux comprendre cette méthode.

  Deux formes de ce type d’échantillonnage sont généralement utilisées dans la pratique d’audit annuel (elles sont aussi utilisées dans le cadre de missions d’appréciation directe, mais rarement) :

  • L’échantillonnage en unités monétaires et le sondage non statistique. Il s’agit des deux méthodes généralement utilisées pour effectuer un sondage de variable en vue d’évaluer une valeur par rapport à un critère. Elles sont souvent utilisées dans le cadre d’audits d’états financiers et peuvent accroître l’efficience du sondage de variable. Pour obtenir des renseignements supplémentaires sur l’échantillonnage en unités monétaires et le sondage non statistique, consultez respectivement la section 7044.2 et la section 7044.1 du Manuel d’audit annuel.

  • Le test de contrôles et le test acceptation-rejet. Ces deux types de tests sont des applications courantes du sondage d’attribut qui sont généralement utilisés dans le cadre d’examens spéciaux et d’audits d’états financiers. En général, l’auditeur a recours au test de contrôles et au test acceptation-rejet lorsque l’erreur prévue est nulle ou très faible. Pour en savoir plus sur le test de contrôles et le test acceptation-rejet, consultez respectivement le chapitre 6000 et la section 7043 du Manuel d’audit annuel.

2) La sélection dirigée permet de formuler des commentaires ou une conclusion à l’égard des éléments qui ont été retenus afin d’être examinés. Les équipes qui effectuent des missions d’appréciation directe font souvent face à des situations qui se prêtent davantage à la sélection dirigée que le sondage en audit. Cela peut s’expliquer par le fait que des parties importantes des populations dans ce cas de figure sont inaccessibles et ne peuvent être auditées ou que les populations sont formées de nombreuses petites sous-populations distinctes. De plus, les systèmes et les processus, de même que les contrôles exercés sur les éléments de ces deux groupes peuvent être complètement différents.

Remarque : Les équipes d’audit ne peuvent pas extrapoler leurs constatations à l’ensemble de la population. Souvent, les éléments sont sélectionnés et examinés dans le cadre d’études de cas, ce qui permet aux auditeurs de cibler leur attention sur des aspects particuliers de chaque élément qui ont motivé sa sélection.

Il y a deux types d’échantillonnage dirigé : l’échantillonnage discrétionnaire et l’échantillonnage aléatoire. Les équipes chargées de missions d’appréciation directe ont souvent recours aux deux méthodes.

1. L’échantillonnage discrétionnaire repose sur des critères précis en fonction desquels l’équipe sélectionne chacun des éléments à examiner ou détermine des types d’éléments particuliers en vue d’une sélection possible.

2. L’échantillonnage aléatoire est utilisé lorsque l’équipe n’a aucune approche particulière en tête. Souvent, l’équipe a recours à la sélection discrétionnaire pour circonscrire un ensemble particulier en vue d’un examen possible. La sélection aléatoire est ensuite utilisée pour choisir les éléments qui seront réellement examinés.

Documentation du plan d’échantillonnage

Les équipes d’audit doivent documenter leur plan d’échantillonnage détaillé. Ce plan comprend :

• un énoncé sur ce que les éléments probants permettront à l’équipe d’audit d’inclure dans un rapport;
• la précision souhaitée des résultats;
• la taille de la population;
• la taille de l’ensemble des éléments retenus ou de l’échantillon;
• les critères de sélection ou d’échantillonnage.

Les équipes d’audit devraient consulter l’équipe de l’analyse des données et des méthodes de recherche pour obtenir des conseils sur leur sélection des éléments à examiner.

Intervalle de confiance et niveau de confiance

Deux mesures permettent de déterminer l’efficacité d’un échantillon pour estimer une population : l’intervalle de confiance (aussi appelé la marge d’erreur) et le niveau de confiance.

La valeur/l’indicateur issu d’un échantillon est la meilleure estimation de la valeur correspondante dans la population : par exemple, supposons qu’une équipe d’audit a fait une sélection aléatoire d’un échantillon dans une population composée de toutes les demandes de congé annuel et qu’elle a déterminé que 33 % n’avaient pas été approuvées par le signataire autorisé. La meilleure estimation de l’ampleur réelle des demandes non approuvées par le signataire autorisé dans la population totale serait donc de 33 %. Mais, cette meilleure estimation est-elle suffisante? C’est là l’intérêt du niveau de confiance et de l’intervalle de confiance (c.-à-d. la marge d’erreur). L’équipe a peut-être examiné seulement trois demandes de congé annuel dans une population de 20 000 et a trouvé une demande sans signataire autorisé. Cela correspondrait à un taux d’erreur de 33 %. Toutefois, il serait difficile d’affirmer avec confiance que le taux d’erreur dans la population est réellement de 33 %.

L’intervalle de confiance (aussi appelé la marge d’erreur) est une plage de valeurs dans laquelle l’équipe d’audit a raisonnablement confiance de trouver la valeur réelle de la population, compte tenu du résultat obtenu avec l’échantillon. Plus l’intervalle de confiance est petit ou étroit, plus l’estimation de la valeur dans la population est précise. Par exemple, un petit intervalle de confiance de plus ou moins 5 points est plus précis qu’un intervalle de confiance plus large de plus ou moins 10 points. Dans le premier cas, l’équipe d’audit peut avoir confiance que la valeur réelle dans la population est comprise dans une fourchette qui est de 5 points au-dessus ou 5 points au-dessous de la valeur de l’échantillon. Dans le deuxième cas, l’équipe peut seulement avoir confiance que la valeur dans la population se situe entre 10 points au-dessus et 10 points au-dessous de la valeur de l’échantillon, c.-à-d. que la plage est beaucoup plus large. Plus la plage est large, moins l’intervalle de confiance est précis.

L’intervalle de confiance est la plage de valeurs dans laquelle l’auditeur a confiance de trouver la valeur réelle de la population. Le niveau de confiance exprime quant à lui le degré d’assurance de l’auditeur. Il s’agit de la mesure statistique qui exprime la confiance avec laquelle l’auditeur estime que la valeur dans la population est susceptible de se situer dans l’intervalle de confiance défini. Le niveau de confiance ne concerne pas la valeur de l’échantillon. Il a trait à l’intervalle de confiance lié à la valeur de l’échantillon.

Le niveau de confiance et l’intervalle de confiance sont étroitement liés et ces deux mesures permettent de déterminer la taille de l’échantillon. Nous calculons généralement la taille de l’échantillon de manière à atteindre certaines cibles pour l’intervalle de confiance et le niveau de confiance. Selon la politique du BVG, si l’équipe d’audit décide d’utiliser un échantillonnage représentatif pour l’audit, il doit au moins être suffisant pour atteindre un intervalle de confiance de 10 % et un niveau de confiance de 90 %. Le sondage pour les audits à haut risque ou à sensibilité élevée doit être suffisant pour atteindre un intervalle de confiance de 5 % et un niveau de confiance de 95 %. Les équipes calculent les tailles d’échantillon de manière à respecter ces normes minimales.

Ainsi, vu la valeur de l’échantillon de 30 % de non-conformité, nous pourrions affirmer être confiants à 90 % que la valeur réelle dans la population se situe dans une plage qui est comprise entre 10 points au-dessous (20 %) et 10 au-dessus (40 %) de la valeur de l’échantillon en utilisant les normes minimales du BVG. La taille de l’échantillon doit être suffisante pour respecter ces normes minimales.

Erreur prévue et erreur tolérable

L’erreur prévue est la meilleure estimation d’une erreur ou d’un écart au sein d’une population. L’erreur tolérable est le critère utilisé pour évaluer l’erreur ou l’écart constaté. Par exemple, si, selon une norme de rendement de l’entité, pas plus de 20 % des opérations ne peuvent être traités en plus de 5 jours, alors l’erreur tolérable est de 20. Les équipes peuvent ensuite examiner les années précédentes pour déterminer l’erreur prévue. Si le pourcentage moyen des opérations traitées en plus de 5 jours au cours des 3 dernières années était de 5 %, alors les équipes peuvent utiliser 5 % comme estimation de l’erreur prévue. Toutefois, si le volume a subi une hausse rapide ou le traitement s’est complexifié, les équipes pourraient accroître l’erreur prévue pour tenir compte de ces changements.

Lorsque l’erreur prévue augmente et se rapproche de l’erreur tolérable, les tailles de l’échantillon peuvent devenir très grandes. Cependant, si les équipes sous-estiment l’erreur prévue, elles devront revenir en arrière et accroître la taille de leur échantillon, car l’échantillon n’est alors pas assez grand pour évaluer la population.