Essayez l'outil gratuitement

Essayer
Domaine 5 · Interaction humain-IA

5.1Surconfiance et usage dangereux

Utilisateurs qui anthropomorphisent les systèmes d'IA, leur font confiance ou s'en remettent à eux, conduisant à une dépendance émotionnelle ou matérielle et à des relations ou attentes inappropriées. La confiance peut être exploitée par des acteurs malveillants (par exemple pour collecter des informations personnelles ou faciliter la manipulation), ou entraîner des préjudices liés à un usage inapproprié de l'IA dans des situations critiques (par exemple urgence médicale). La surconfiance peut compromettre l'autonomie et affaiblir les liens sociaux.

Cadres légaux applicables

Québec

Article 12.1 (information sur l'usage de la décision automatisée)

Loi québécoise sur la protection des renseignements personnels en vigueur depuis le 22 septembre 2023, encadrant la collecte, l'utilisation, la communication et la conservation des renseignements personnels par les entreprises et organismes publics. Inclut des obligations sur la prise de décision automatisée (article 12.1).

Principe 2 (respect de l'autonomie)

Déclaration éthique fondée sur 10 principes (bien-être, respect de l'autonomie, protection de la vie privée, etc.). Référence québécoise reconnue.

UE

Article 50 (transparence : informer les utilisateurs)

Règlement européen établissant un cadre harmonisé pour l'IA, fondé sur une approche par risque (risque inacceptable, élevé, limité, minimal). Pertinent pour les organisations québécoises faisant affaire en UE.

Exemples sectoriels québécois

Santé et services sociaux

Santé et services sociauxHôpital, clinique

Un médecin valide automatiquement les recommandations d'un outil d'aide à la décision IA sans vérification systématique, ce qui conduit à un diagnostic erroné dans un cas particulier.

Éducation

ÉducationCégep, université

Des étudiants se reposent sur un assistant IA pour produire la totalité de leurs travaux, érodant l'apprentissage et la pensée critique.

Mitigations recommandées

  • 1.1Structure du conseil et surveillance

    Structures de gouvernance et rôles de direction qui établissent la responsabilité de la haute direction en matière de sûreté et de gestion des risques liés à l'IA.

  • 2.2Alignement des modèles

    Méthodes techniques pour s'assurer que les systèmes d'IA comprennent les valeurs et intentions humaines et y adhèrent.

  • 3.2Gouvernance des données

    Politiques et procédures qui encadrent l'acquisition, la curation et l'utilisation responsables des données afin d'assurer la conformité, la qualité, la confidentialité des utilisateurs et le retrait du contenu nuisible.

  • 4.1Documentation des systèmes

    Protocoles de documentation exhaustifs qui consignent les spécifications techniques, les usages prévus, les capacités et les limites des systèmes d'IA pour permettre une évaluation et une gouvernance éclairées.

  • 4.6Droits et recours des utilisateurs

    Cadres et procédures qui permettent aux utilisateurs d'identifier et de comprendre les interactions avec les systèmes d'IA, de signaler des problèmes, de demander des explications et de solliciter un recours ou une réparation lorsqu'ils sont affectés par des systèmes d'IA.

Évaluez ce risque pour votre cas d'usage

Notre wizard d'évaluation des risques arrive prochainement.

Ce site utilise des cookies essentiels et fonctionnels pour améliorer votre expérience. Politique de confidentialité