Essayez l'outil gratuitement

Essayer
Domaine 7 · Sûreté, défaillances et limites des systèmes d'IA

7.4Manque de transparence ou d'interprétabilité

Difficultés à comprendre ou expliquer les processus de décision des systèmes d'IA, pouvant conduire à la méfiance, à la difficulté de faire respecter les normes de conformité ou de tenir les acteurs responsables des préjudices, et à l'incapacité d'identifier et corriger les erreurs.

Cadres légaux applicables

Québec

Article 12.1 (explication d'une décision automatisée)

Loi québécoise sur la protection des renseignements personnels en vigueur depuis le 22 septembre 2023, encadrant la collecte, l'utilisation, la communication et la conservation des renseignements personnels par les entreprises et organismes publics. Inclut des obligations sur la prise de décision automatisée (article 12.1).

Exigence d'explicabilité

Ligne directrice et attentes de l'AMF concernant l'utilisation de l'IA par les institutions financières et les assureurs au Québec, axée sur la gouvernance, la gestion des risques, l'équité et la transparence.

Canada

Obligations de transparence

Projet de loi fédéral (C-27) introduisant un cadre réglementaire pour les systèmes d'IA à incidence élevée. Crée un Commissaire à l'IA et aux données et impose des obligations d'évaluation, de mitigation et de transparence.

UE

Articles 13, 50

Règlement européen établissant un cadre harmonisé pour l'IA, fondé sur une approche par risque (risque inacceptable, élevé, limité, minimal). Pertinent pour les organisations québécoises faisant affaire en UE.

Exemples sectoriels québécois

Services publics

Services publicsOrganisme public

Un organisme public refuse une prestation à un citoyen sans pouvoir expliquer la décision automatisée, en contradiction avec l'article 12.1 de la Loi 25.

Banque et assurance

Banque et assuranceAssureur

Une assureure ne peut justifier auprès de l'AMF la logique d'un modèle de tarification jugée discriminatoire en raison de son opacité.

Mitigations recommandées

  • 2.2Alignement des modèles

    Méthodes techniques pour s'assurer que les systèmes d'IA comprennent les valeurs et intentions humaines et y adhèrent.

  • 4.1Documentation des systèmes

    Protocoles de documentation exhaustifs qui consignent les spécifications techniques, les usages prévus, les capacités et les limites des systèmes d'IA pour permettre une évaluation et une gouvernance éclairées.

  • 4.2Divulgation des risques

    Protocoles formels de production de rapports et systèmes de notification qui communiquent l'information sur les risques, les plans d'atténuation, les évaluations de sûreté et les activités significatives liées à l'IA pour permettre une supervision externe et informer les parties prenantes.

  • 4.4Divulgation de la gouvernance

    Mécanismes formels de divulgation qui communiquent les structures de gouvernance, les cadres décisionnels et les engagements en matière de sûreté afin d'accroître la transparence et de permettre la supervision externe des décisions d'IA à enjeux élevés.

  • 4.5Accès au système par des tiers

    Mécanismes octroyant un accès contrôlé au système à des parties externes vérifiées pour permettre l'évaluation indépendante, la validation et la recherche en sûreté sur les modèles et capacités d'IA.

Évaluez ce risque pour votre cas d'usage

Notre wizard d'évaluation des risques arrive prochainement.

Ce site utilise des cookies essentiels et fonctionnels pour améliorer votre expérience. Politique de confidentialité