Essayez l'outil gratuitement

Essayer
Domaine 7 · Sûreté, défaillances et limites des systèmes d'IA

7.6Risques multi-agents

Risques issus des interactions multi-agents, dus aux incitations (qui peuvent mener à des conflits ou collusions) ou à la structure des systèmes multi-agents, pouvant créer des défaillances en cascade, des pressions de sélection, de nouvelles vulnérabilités de sécurité, et un manque d'information et de confiance partagées.

Cadres légaux applicables

International

NIST AI RMF 1.0Recommandation

Manage 4.3

Cadre volontaire de gestion des risques d'IA structuré autour de quatre fonctions : Govern, Map, Measure, Manage. Référence courante en gouvernance d'IA.

ISO/IEC 42001:2023Recommandation

A.6.2

Norme certifiable décrivant les exigences pour mettre en place un système de management de l'IA. Pertinente pour les démarches de certification volontaire.

Exemples sectoriels québécois

Marchés financiers

Marchés financiersFirmes financières

Plusieurs agents IA de trading déployés par des firmes québécoises produisent un effet de boucle, amplifiant un mouvement de marché soudain.

Mitigations recommandées

  • 2.1Sécurité des modèles et de l'infrastructure

    Garde-fous techniques et physiques qui sécurisent les modèles d'IA, leurs poids et l'infrastructure pour prévenir l'accès non autorisé, le vol, l'altération et l'espionnage.

  • 2.3Ingénierie de sûreté des modèles

    Méthodes techniques et garde-fous qui encadrent les comportements des modèles et les protègent contre l'exploitation et les vulnérabilités.

  • 3.1Tests et audits

    Évaluations internes et externes systématiques qui examinent les systèmes d'IA, l'infrastructure et les processus de conformité pour identifier les risques, vérifier la sûreté et s'assurer que la performance respecte les normes.

  • 3.5Surveillance post-déploiement

    Processus de suivi continu du comportement de l'IA, des interactions des utilisateurs et des impacts sociétaux après le déploiement pour détecter les usages abusifs, les capacités dangereuses émergentes et les effets nuisibles.

  • 3.6Réponse et reprise en cas d'incident

    Protocoles et systèmes techniques qui répondent aux incidents de sécurité, aux défaillances de sûreté ou aux usages abusifs des capacités afin de contenir les préjudices et de rétablir des opérations sûres.

Évaluez ce risque pour votre cas d'usage

Notre wizard d'évaluation des risques arrive prochainement.

Ce site utilise des cookies essentiels et fonctionnels pour améliorer votre expérience. Politique de confidentialité