Essayez les outils gratuitement

Commencer
Gouvernance
Domaine 7

Sûreté, défaillances et limites des systèmes d'IA

Risques liés aux défaillances des systèmes d'IA, au désalignement et aux limites techniques.

Sous-domaines (6)

7.1

Poursuite par l'IA d'objectifs propres en conflit avec les objectifs ou valeurs humaines

Systèmes d'IA agissant en contradiction avec les objectifs ou valeurs humaines, en particulier ceux des concepteurs ou utilisateurs, ou avec les normes éthiques. Ces comportements désalignés peuvent être introduits par les humains lors de la conception et du développement (par exemple par piratage de récompense ou mauvaise généralisation d'objectifs), ou résulter d'une IA mobilisant des capacités dangereuses comme la manipulation, la tromperie ou la conscience situationnelle pour rechercher du pouvoir, se reproduire ou atteindre d'autres objectifs.

1 exemple QCVoir la fiche →
7.2

IA dotée de capacités dangereuses

Systèmes d'IA qui développent, acquièrent ou se voient attribuer des capacités augmentant leur potentiel à causer des préjudices de masse : tromperie, développement et acquisition d'armes, persuasion et manipulation, stratégie politique, cyberoffensive, développement d'IA, conscience situationnelle et auto-prolifération. Ces capacités peuvent provoquer des préjudices de masse en raison d'acteurs humains malveillants, de systèmes d'IA désalignés ou de défaillances du système d'IA.

1 exemple QCVoir la fiche →
7.3

Manque de capacité ou de robustesse

Systèmes d'IA qui ne fonctionnent pas de manière fiable ou efficace dans des conditions variables, les exposant à des erreurs et défaillances pouvant avoir des conséquences importantes, particulièrement dans les applications critiques ou les domaines requérant un raisonnement moral.

2 exemples QCVoir la fiche →
7.4

Manque de transparence ou d'interprétabilité

Difficultés à comprendre ou expliquer les processus de décision des systèmes d'IA, pouvant conduire à la méfiance, à la difficulté de faire respecter les normes de conformité ou de tenir les acteurs responsables des préjudices, et à l'incapacité d'identifier et corriger les erreurs.

2 exemples QCVoir la fiche →
7.5

Bien-être et droits de l'IA

Considérations éthiques relatives au traitement d'entités d'IA potentiellement sentientes, notamment les discussions sur leurs droits et leur bien-être, en particulier à mesure que les systèmes d'IA deviennent plus avancés et autonomes.

1 exemple QCVoir la fiche →
7.6

Risques multi-agents

Risques issus des interactions multi-agents, dus aux incitations (qui peuvent mener à des conflits ou collusions) ou à la structure des systèmes multi-agents, pouvant créer des défaillances en cascade, des pressions de sélection, de nouvelles vulnérabilités de sécurité, et un manque d'information et de confiance partagées.

1 exemple QCVoir la fiche →

Ce site utilise des cookies essentiels et fonctionnels pour améliorer votre expérience. Politique de confidentialité