Cadres légaux applicables
International
Measure 2.5, 2.7
Cadre volontaire de gestion des risques d'IA structuré autour de quatre fonctions : Govern, Map, Measure, Manage. Référence courante en gouvernance d'IA.
A.6.2.4
Norme certifiable décrivant les exigences pour mettre en place un système de management de l'IA. Pertinente pour les démarches de certification volontaire.
UE
Article 15 (exactitude, robustesse)
Règlement européen établissant un cadre harmonisé pour l'IA, fondé sur une approche par risque (risque inacceptable, élevé, limité, minimal). Pertinent pour les organisations québécoises faisant affaire en UE.
Exemples sectoriels québécois
Transport
Un système d'aide à la conduite hivernale entraîné principalement sur des conditions sèches échoue sur les routes québécoises lors d'épisodes de verglas.
Banque et assurance
Un modèle de détection de fraude perd brutalement en performance après un changement saisonnier dans les habitudes de consommation, sans alerte automatique.
Mitigations recommandées
- 2.3Ingénierie de sûreté des modèles
Méthodes techniques et garde-fous qui encadrent les comportements des modèles et les protègent contre l'exploitation et les vulnérabilités.
- 3.1Tests et audits
Évaluations internes et externes systématiques qui examinent les systèmes d'IA, l'infrastructure et les processus de conformité pour identifier les risques, vérifier la sûreté et s'assurer que la performance respecte les normes.
- 3.4Déploiement par étapes
Protocoles de mise en œuvre qui déploient les systèmes d'IA par étapes, exigeant une validation de la sûreté avant d'élargir l'accès des utilisateurs ou les capacités.
- 3.5Surveillance post-déploiement
Processus de suivi continu du comportement de l'IA, des interactions des utilisateurs et des impacts sociétaux après le déploiement pour détecter les usages abusifs, les capacités dangereuses émergentes et les effets nuisibles.
- 4.1Documentation des systèmes
Protocoles de documentation exhaustifs qui consignent les spécifications techniques, les usages prévus, les capacités et les limites des systèmes d'IA pour permettre une évaluation et une gouvernance éclairées.
Risques documentés (126)
Entrées du AI Risk Repository (MIT) classées dans ce sous-domaine. Contenu original en anglais.
126 entrées
01.02.00Type 2: Impact plus important que prévu
Des préjudices peuvent résulter d'une IA dont l'impact ne devait pas être important du tout, comme une fuite de laboratoire, un produit open source étonnamment addictif ou une réaffectation inattendue d'un prototype de recherche.
01.03.00Type 3: Pire que prévu
Une IA destinée à avoir un impact sociétal important peut s'avérer nuisible par erreur, comme un produit populaire qui crée des problèmes et ne les résout que partiellement pour ses utilisateurs.
04.03.00Questions d'éthique et de moralité
Les LLM doivent accorder plus d'attention aux valeurs sociétales universellement acceptées en matière d'éthique et de moralité, y compris le jugement du bien et du mal, et leur relation avec les normes sociales et les lois.
06.01.00Incompétence
« Cela signifie que l'IA échoue simplement dans sa tâche. Les conséquences peuvent varier d'un décès involontaire (un accident de voiture) à un refus injuste de prêt ou de demande d'emploi. »
07.02.00Accidents
Les accidents incluent les modes de défaillance imprévus qui, en principe, pourraient être considérés comme la faute du système ou du développeur.
08.04.00Les AGI avec une éthique, une morale et des valeurs déficientes
Les risques associés à une AGI sans morale et éthique humaines, avec une morale erronée, sans capacité de raisonnement moral, de jugement.
09.01.01Prise de décision contraire à l'éthique
Si, par exemple, un agent était programmé pour opérer des machines de guerre au service de son pays, il devrait prendre des décisions éthiques concernant la fin de la vie humaine. Cette capacité à prendre des jugements éthiques ou moraux non triviaux concernant les personnes pourrait poser des problèmes pour les Human Rights.
09.02.04Sécurité
Les IA sont-elles sûres en ce qui concerne la vie humaine et la propriété? Leur utilisation créera-t-elle des problèmes de sécurité imprévus ou intentionnels?
09.02.05Respect de la loi
Nous trouvons de la littérature qui propose [38] que l'intelligence artificielle précoce devrait être construite pour être sûre et respectueuse des lois, et que l'intelligence artificielle ultérieure (celle qui surpasse notre propre intelligence) doit alors respecter les droits de propriété et les droits personnels accordés aux humains.
09.06.02Décisions immorales de type humain
Si nous concevons nos machines pour qu'elles atteignent les niveaux humains de prise de décision éthique, ces machines procéderaient alors à des actions immorales (puisque nous, les humains, avons eu l'occasion de prendre nous-mêmes des actions immorales).
12.07.00Performance et robustesse
La capacité du système d'IA à remplir son objectif prévu et sa résilience aux perturbations, ainsi qu'aux entrées inhabituelles ou défavorables. Les défaillances de performance sont fondamentales pour le bon fonctionnement du système d'IA. Les défaillances de robustesse peuvent entraîner de graves conséquences.
14.04.00Complexité de la tâche prévue et de l'environnement d'utilisation
En règle générale, des environnements plus complexes peuvent rapidement mener à des situations qui n'avaient pas été envisagées lors de la phase de conception du système d'IA. Par conséquent, les environnements complexes peuvent introduire des risques en ce qui concerne la fiabilité et la sécurité d'un système d'IA.
14.07.00Matériel du système
Les défaillances matérielles peuvent compromettre l'exécution correcte de tout algorithme en violant son flux de contrôle. Les défaillances matérielles peuvent également provoquer des erreurs de mémoire et interférer avec les entrées de données, telles que les signaux de capteurs, entraînant ainsi des résultats erronés, ou elles peuvent directement altérer les résultats par le biais de sorties endommagées.
15.01.02Mauvaise application
Il s'agit du risque posé par un système idéal s'il est utilisé à des fins ou d'une manière non prévues par ses créateurs. Dans de nombreuses situations, des conséquences négatives surviennent lorsque le système n'est pas utilisé de la manière ou aux fins pour lesquelles il a été conçu.
15.01.03Algorithme
Il s'agit du risque que l'algorithme de ML, l'architecture du modèle, la technique d'optimisation ou d'autres aspects du processus d'entraînement soient inadaptés à l'application prévue. Puisqu'il s'agit de décisions clés qui influencent le système de ML final, nous saisissons leurs risques associés séparément des risques de conception, même s'ils font partie du processus de conception.
15.01.05Robustesse
Il s'agit du risque que le système tombe en panne ou soit incapable de se rétablir lorsqu'il rencontre des entrées invalides, bruitées ou hors distribution (OOD).
15.01.06Conception
Il s'agit du risque de défaillance du système due à des choix ou des erreurs de conception du système.
15.02.01Sécurité
Il s'agit du risque de blessure physique ou psychologique directe ou indirecte résultant de l'interaction avec le système de ML.
19.01.06Immaturité de la technologie d'IA pouvant causer des décisions incorrectes
19.05.01L'IA établit des règles sans base éthique
Évaluez ce risque pour votre cas d'usage
Notre wizard d'évaluation des risques arrive prochainement.