Essayez l'outil gratuitement

Essayer
Gouvernance
Domaine 6 · Enjeux socioéconomiques et environnementaux

6.5Échec de la gouvernance

Cadres réglementaires et mécanismes de surveillance inadaptés qui ne suivent pas le rythme du développement de l'IA, conduisant à une gouvernance inefficace et à l'incapacité de gérer correctement les risques liés à l'IA.

Cadres légaux applicables

Canada

Cadre fédéral en construction

Projet de loi fédéral (C-27) introduisant un cadre réglementaire pour les systèmes d'IA à incidence élevée. Crée un Commissaire à l'IA et aux données et impose des obligations d'évaluation, de mitigation et de transparence.

International

ISO/IEC 42001:2023Recommandation

Norme entière

Norme certifiable décrivant les exigences pour mettre en place un système de management de l'IA. Pertinente pour les démarches de certification volontaire.

NIST AI RMF 1.0Recommandation

Govern 1-6

Cadre volontaire de gestion des risques d'IA structuré autour de quatre fonctions : Govern, Map, Measure, Manage. Référence courante en gouvernance d'IA.

Exemples sectoriels québécois

Tous secteurs

Tous secteursPME

Une PME québécoise déploie de l'IA générative sans politique interne, sans registre, sans rôle clair d'imputabilité, exposant l'organisation à des incidents et au non-respect de la Loi 25.

Mitigations recommandées

  • 1Contrôles de gouvernance et de surveillance

    Structures organisationnelles formelles et cadres de politiques établissant des mécanismes de surveillance humaine et des protocoles décisionnels pour assurer la responsabilité humaine, la conduite éthique et la gestion des risques tout au long du développement et du déploiement de l'IA.

  • 1.1Structure du conseil et surveillance

    Structures de gouvernance et rôles de direction qui établissent la responsabilité de la haute direction en matière de sûreté et de gestion des risques liés à l'IA.

  • 1.2Gestion des risques

    Méthodes systématiques permettant d'identifier, d'évaluer et de gérer les risques liés à l'IA, pour une gouvernance complète des risques à l'échelle de l'organisation.

  • 4.2Divulgation des risques

    Protocoles formels de production de rapports et systèmes de notification qui communiquent l'information sur les risques, les plans d'atténuation, les évaluations de sûreté et les activités significatives liées à l'IA pour permettre une supervision externe et informer les parties prenantes.

  • 4.4Divulgation de la gouvernance

    Mécanismes formels de divulgation qui communiquent les structures de gouvernance, les cadres décisionnels et les engagements en matière de sûreté afin d'accroître la transparence et de permettre la supervision externe des décisions d'IA à enjeux élevés.

Risques documentés (61)

Entrées du AI Risk Repository (MIT) classées dans ce sous-domaine. Contenu original en anglais.

Entité
Intention
Moment

61 entrées

Risk CategoryCritch2023

01.01.00Type 1: Diffusion de la responsabilité

Des préjudices à l'échelle sociétale peuvent découler d'une IA développée par un ensemble diffus de créateurs, où personne n'est uniquement responsable de la création ou de l'utilisation de la technologie, comme dans une « tragédie des biens communs » classique.

IAIntentionnelAutre
Risk CategoryHagendorff2024

05.11.00Gouvernance - Réglementation

En réponse à la multitude de nouveaux risques associés à l'IA générative, des articles plaident en faveur d'une réglementation juridique et d'une surveillance gouvernementale. L'accent de ces discussions est mis sur la nécessité d'une coordination internationale en matière de gouvernance de l'IA, l'établissement de normes de sécurité contraignantes pour les modèles de pointe (frontier models) et le développement de mécanismes pour sanctionner la non-conformité. De plus, la littérature souligne la nécessité pour les régulateurs d'obtenir des informations détaillées sur les processus de recherche et développement au sein des laboratoires d'IA. En outre, les stratégies de gestion des risques de ces laboratoires doivent être évaluées. Cependant, la littérature reconnaît également les risques potentiels de surréglementation, qui pourraient entraver l'innovation.

Risk CategoryMcLean2023

08.05.00Gestion inadéquate de l'AGI

Les capacités des processus actuels de gestion des risques et des processus juridiques dans le contexte du développement d'une AGI.

HumainAutrePré-déploiement
Risk Sub-CategoryMeek2016

09.05.01Jurisprudence de l'IA

En examinant les cadres juridiques, nous constatons qu'à l'heure actuelle, aucun cadre n'a été identifié dans la littérature qui attribuerait la faute et la responsabilité à un agent autonome pour ses actions. (Nous suggérons toutefois que l'établissement récent de lois concernant les véhicules autonomes pourrait fournir des cadres initiaux pouvant être évalués quant à leur efficacité et leurs lacunes dans de futures recherches.) La littérature fait fréquemment référence aux lois existantes sur la responsabilité et la négligence qui pourraient s'appliquer au fabricant ou à l'opérateur d'un appareil.

HumainAutrePost-déploiement
Risk Sub-CategoryMeek2016

09.05.02Responsabilité et négligence

La responsabilité et la négligence sont des zones grises juridiques en intelligence artificielle. Si vous laissez vos enfants aux soins d'une nounou robotique et qu'elle tombe en panne, êtes-vous responsable ou est-ce le fabricant [45]? Nous voyons ici une zone grise juridique qui peut être clarifiée davantage par une législation aux niveaux national et international. Par exemple, en rendant le fabricant responsable des défauts de fonctionnement, cela pourrait inciter les fabricants à prendre en compte l'ingénierie de la sécurité et l'éthique des machines, tandis qu'un manque de législation dans ce domaine pourrait entraîner des systèmes d'IA développés par négligence avec des risques accrus.

IAAutrePost-déploiement
Risk CategorySherman2023

12.02.00Conformité

Le potentiel des systèmes d'IA à enfreindre les lois, les règlements et les lignes directrices éthiques (y compris les droits d'auteur). Le non-respect peut entraîner des sanctions légales, une atteinte à la réputation et une perte de confiance. Alors que d'autres risques de notre taxonomie s'appliquent aux développeurs de systèmes, aux utilisateurs et à la société en général, ce risque est généralement limité aux deux premiers groupes.

IAAutrePost-déploiement
Risk Sub-CategoryWirtz2022

19.01.05Manque d'experts en IA possédant des connaissances complètes sur l'IA

HumainIntentionnelAutre
Risk Sub-CategoryWirtz2022

19.04.04Manque de connaissances et d'acceptation sociale concernant l'IA

Risk CategoryWirtz2022

19.06.00Risques juridiques liés à l'IA

Les risques juridiques et réglementaires comprennent en particulier la définition imprécise des responsabilités et de la reddition de comptes en cas de défaillances de l'IA et de décisions autonomes ayant des impacts négatifs (Reed, 2018; Scherer, 2016). Un autre risque majeur dans ce contexte fait référence à la négligence de la portée de la gouvernance de l'IA et à l'omission d'aspects importants de la gouvernance, entraînant des conséquences négatives (Gasser & Almeida, 2017; Thierer et al., 2017).

AutreIntentionnelAutre
Risk Sub-CategoryWirtz2022

19.06.01Définition floue des responsabilités et de l'imputabilité pour les jugements de l'IA et leurs conséquences

IAIntentionnelPost-déploiement
Risk Sub-CategoryWirtz2022

19.06.03La grande portée et l'ubiquité de l'IA rendent la gouvernance appropriée difficile, la couverture de la portée de la gouvernance presque impossible

AutreIntentionnelAutre
Risk Sub-CategoryWirtz2022

19.06.05Saisir le développement futur de l'IA et ses menaces avec un mécanisme approprié

Risk CategoryWirtz2020

20.01.00Droit et réglementation de l'IA

Ce domaine se concentre fortement sur le contrôle de l'IA au moyen de mécanismes tels que les lois, les normes ou les règles déjà établies pour différentes applications technologiques. Ici, il existe des défis propres à l'IA qui devront être relevés dans un proche avenir, notamment la gouvernance des systèmes d'intelligence autonomes, la responsabilité et l'imputabilité des algorithmes, ainsi que la protection de la vie privée et la sécurité des renseignements personnels.

HumainIntentionnelPost-déploiement
Risk Sub-CategoryWirtz2020

20.01.01Gouvernance des systèmes d'intelligence autonomes

La gouvernance des systèmes d'intelligence autonomes aborde la question de la manière de contrôler les systèmes autonomes en général. Puisqu'il est aujourd'hui très difficile de concevoir des décisions automatisées basées sur l'IA, cette dernière est souvent qualifiée de « boîte noire » (Bleicher, 2017). Cette boîte noire peut prendre des mesures imprévisibles et causer du tort à l'humanité.

AutreAutrePost-déploiement
Risk Sub-CategoryWirtz2020

20.01.02Responsabilité et imputabilité

Le défi de la responsabilité et de l'imputabilité est un concept important pour le processus de gouvernance et de réglementation. Il aborde la question de savoir qui doit être tenu légalement responsable des actions et des décisions des algorithmes d'IA. Bien que des humains exploitent les systèmes d'IA, des questions de responsabilité légale et de responsabilité civile se posent. En raison de la capacité d'auto-apprentissage des algorithmes d'IA, les opérateurs ou les développeurs ne peuvent pas prédire toutes les actions et tous les résultats. Par conséquent, une évaluation minutieuse des acteurs et une réglementation pour des systèmes d'IA transparents et explicables sont nécessaires (Helbing et al., 2017; Wachter et al., 2017).

AutreAutreAutre
Risk Sub-CategoryHendrycks2023

22.03.01Les accidents sont difficiles à éviter

les accidents peuvent se transformer en catastrophes, peuvent être causés par des développements soudains et imprévisibles, et il peut falloir des années pour trouver des défauts et des risques graves (pas une citation)

HumainIntentionnelAutre
Risk Sub-CategoryGabriel2024

24.01.02Difficulté à élaborer des métriques pour évaluer les avantages ou les préjudices causés par les assistants d'IA

Une autre difficulté à laquelle sont confrontés les systèmes d'assistants d'IA est qu'il est difficile d'élaborer des métriques pour évaluer des aspects particuliers des avantages ou des préjudices causés par l'assistant, surtout dans un sens suffisamment large, ce qui pourrait impliquer une grande partie de la société (voir chapitre 19). Avoir ces métriques est utile à la fois pour évaluer le risque de préjudice du système et pour utiliser la métrique comme signal d'entraînement.

IAIntentionnelPré-déploiement
Risk Sub-CategoryGabriel2024

24.09.04Responsabilités institutionnelles

Les efforts visant à déployer la technologie d'assistants avancés dans la société, d'une manière largement bénéfique, peuvent être considérés comme un problème complexe (Rittel et Webber, 1973). Les problèmes complexes sont définis par la propriété qu'ils n'admettent pas de solutions qui peuvent être prévues à l'avance; au contraire, ils doivent être résolus itérativement en utilisant les retours de données recueillies au fur et à mesure que les solutions sont inventées et déployées. Avec le déploiement de toute technologie puissante à usage général, le réseau déjà complexe de relations sociotechniques dans la culture moderne est susceptible d'être perturbé, avec des externalités imprévisibles sur les conventions, les normes et les institutions qui stabilisent la société. Par exemple, l'adoption croissante des outils d'IA générative peut exacerber la désinformation lors de l'élection présidentielle américaine de 2024 (Alvarez et al., 2023), avec des conséquences difficiles à prévoir. La suggestion que le problème de l'IA coopérative est complexe n'implique pas qu'il soit insoluble. Cependant, cela a des conséquences sur l'approche que nous devons adopter pour le résoudre. En adoptant l'approche suivante, nous réaliserons une opportunité pour nos institutions, à savoir la création d'un cadre pour la gestion de l'IA à usage général de manière à générer des bénéfices sociétaux et à éviter les préjudices sociétaux. Premièrement, il est important de traiter toute affirmation ex ante sur la sécurité avec une saine dose de scepticisme. Bien que tester la sécurité et la fiabilité d'un assistant IA en laboratoire soit sans aucun doute important et puisse largement résoudre le problème de l'alignement, il est impossible de modéliser les effets sociétaux à plusieurs échelles du déploiement d'assistants IA purement par le biais d'expériences contrôlées à petite échelle (voir chapitre 19). Deuxièmement, nous devons donc prioriser la science de la mesure des effets, bons et mauvais, que les technologies d'assistants avancés ont sur l'infrastructure coopérative de la société (voir chapitres 4 et 16). Cela impliquera une surveillance continue des effets au niveau sociétal, en se concentrant sur ceux qui sont les plus touchés, y compris les non-utilisateurs. Les moyens et les métriques d'une telle surveillance nécessiteront eux-mêmes une itération, co-évoluant avec le système sociotechnique des assistants IA et des humains. Le dilemme de Collingridge suggère que nous devrions être particulièrement prudents et délibérés dans ce processus « d'essai et erreur intelligent » afin de recueillir des informations sur les impacts des assistants IA et d'empêcher que des caractéristiques indésirables ne s'intègrent dans la société (Collingridge, 1980). Troisièmement, une réglementation proactive et indépendante pourrait bien aider à protéger nos institutions contre les conséquences imprévues, comme elle l'a fait pour les technologies par le passé (Wiener, 2004). Par exemple, nous pourrions chercher, par le biais d'un engagement avec les législateurs, à émuler la « culture juste » de l'industrie de l'aviation, qui se caractérise par le signalement ouvert, l'enquête et l'apprentissage des erreurs (Reason, 1997; Syed, 2015). Un système réglementaire peut nécessiter divers pouvoirs, tels que contraindre les développeurs à « annuler » un déploiement d'assistant IA, à l'instar des obligations de rappel de produits pour les fabricants d'avions.

HumainAutreAutre
Risk CategoryEPIC2023

31.08.00Droit de la responsabilité du fait des produits

À l'instar des articles manufacturés comme les bouteilles de boisson gazeuse, les tondeuses mécanisées, les produits pharmaceutiques ou cosmétiques, les modèles d'IA générative peuvent être considérés comme une nouvelle forme de produits numériques développés par des entreprises technologiques et déployés largement avec le potentiel de causer des dommages à grande échelle. La responsabilité du fait des produits a évolué parce qu'il était nécessaire d'analyser et de réparer les préjudices causés par de nouveaux produits technologiques fabriqués en série. La situation à laquelle la société est confrontée, alors que l'IA générative impacte de plus en plus de personnes de diverses manières, sera similaire aux changements technologiques survenus au cours du XXe siècle, avec l'essor de la fabrication industrielle, des automobiles et des nouvelles machines informatisées. La question non résolue est de savoir si et dans quelle mesure les théories de la responsabilité du fait des produits peuvent suffisamment réparer les préjudices de l'IA générative. Jusqu'à présent, les réponses à cette question sont mitigées. Dans Rodgers c. Christie (2020), par exemple, le Troisième Circuit a statué qu'un modèle de risque automatisé ne pouvait pas être considéré comme un produit aux fins de la responsabilité du fait des produits parce qu'il n'était pas un «bien personnel corporel distribué commercialement pour utilisation ou consommation».176 Cependant, un an plus tard, dans Gonzalez c. Google, le juge Gould du Neuvième Circuit a soutenu que «les entreprises de médias sociaux devraient être considérées comme fabriquant et 'vendant' leurs produits de médias sociaux par le biais de la publicité forcée sous les yeux des utilisateurs».177 Plusieurs juristes ont également proposé la responsabilité du fait des produits comme mécanisme de réparation des préjudices causés par les systèmes automatisés.178 À mesure que l'IA générative devient plus proéminente et sophistiquée, ses préjudices, souvent générés automatiquement sans être directement sollicités ou modifiés par un humain, forceront les tribunaux à considérer le rôle de la responsabilité du fait des produits dans la réparation de ces préjudices, ainsi que la manière dont les anciennes notions de responsabilité du fait des produits, impliquant des produits tangibles et mécanisés et les entreprises qui les fabriquent, devraient être mises à jour pour le monde de plus en plus numérique d'aujourd'hui.179

HumainAutrePost-déploiement
Risk CategoryNah2023

33.03.00Défis réglementaires et politiques

Étant donné que l'IA générative, y compris ChatGPT, est encore en évolution, les réglementations et les politiques pertinentes sont loin d'être matures. L'IA générative créant différentes formes de contenu, le droit d'auteur de ces contenus devient une question importante mais compliquée. Le tableau 3 présente les défis associés aux réglementations et aux politiques, qui sont des questions de droit d'auteur et de gouvernance.

HumainIntentionnelAutre

Évaluez ce risque pour votre cas d'usage

Notre wizard d'évaluation des risques arrive prochainement.

Ce site utilise des cookies essentiels et fonctionnels pour améliorer votre expérience. Politique de confidentialité