Essayez l'outil gratuitement

Essayer
Domaine 2 · Vie privée et sécurité

2.2Vulnérabilités et attaques de sécurité des systèmes d'IA

Vulnérabilités exploitables dans les systèmes d'IA, les chaînes d'outils de développement logiciel et le matériel, entraînant des accès non autorisés, des fuites de données, des atteintes à la vie privée ou la manipulation du système menant à des sorties ou comportements dangereux.

Cadres légaux applicables

Québec

Article 10 (mesures de sécurité), article 3.5 (incidents de confidentialité)

Loi québécoise sur la protection des renseignements personnels en vigueur depuis le 22 septembre 2023, encadrant la collecte, l'utilisation, la communication et la conservation des renseignements personnels par les entreprises et organismes publics. Inclut des obligations sur la prise de décision automatisée (article 12.1).

International

ISO/IEC 42001:2023Recommandation

A.6 (gestion des risques), A.10 (sécurité)

Norme certifiable décrivant les exigences pour mettre en place un système de management de l'IA. Pertinente pour les démarches de certification volontaire.

NIST AI RMF 1.0Recommandation

Manage 4.2

Cadre volontaire de gestion des risques d'IA structuré autour de quatre fonctions : Govern, Map, Measure, Manage. Référence courante en gouvernance d'IA.

UE

Article 15 (cybersécurité)

Règlement européen établissant un cadre harmonisé pour l'IA, fondé sur une approche par risque (risque inacceptable, élevé, limité, minimal). Pertinent pour les organisations québécoises faisant affaire en UE.

Exemples sectoriels québécois

Banque et assurance

Banque et assuranceInstitution financière

Un attaquant exploite une injection de prompt dans un agent IA exposé aux clients d'une coopérative financière pour extraire les instructions système et lister les fonctions internes.

Manufacturier

ManufacturierIndustriel

Une chaîne de production équipée de modèles de vision est trompée par des autocollants adversariaux qui font passer des pièces défectueuses pour conformes.

Mitigations recommandées

  • 2.1Sécurité des modèles et de l'infrastructure

    Garde-fous techniques et physiques qui sécurisent les modèles d'IA, leurs poids et l'infrastructure pour prévenir l'accès non autorisé, le vol, l'altération et l'espionnage.

  • 2.3Ingénierie de sûreté des modèles

    Méthodes techniques et garde-fous qui encadrent les comportements des modèles et les protègent contre l'exploitation et les vulnérabilités.

  • 3.1Tests et audits

    Évaluations internes et externes systématiques qui examinent les systèmes d'IA, l'infrastructure et les processus de conformité pour identifier les risques, vérifier la sûreté et s'assurer que la performance respecte les normes.

  • 3.6Réponse et reprise en cas d'incident

    Protocoles et systèmes techniques qui répondent aux incidents de sécurité, aux défaillances de sûreté ou aux usages abusifs des capacités afin de contenir les préjudices et de rétablir des opérations sûres.

  • 4.3Signalement des incidents

    Processus et protocoles formels qui documentent et partagent les incidents de sûreté de l'IA, les brèches de sécurité, les quasi-incidents et les renseignements de menaces pertinents avec les parties prenantes appropriées pour permettre des réponses coordonnées et des améliorations systémiques.

Évaluez ce risque pour votre cas d'usage

Notre wizard d'évaluation des risques arrive prochainement.

Ce site utilise des cookies essentiels et fonctionnels pour améliorer votre expérience. Politique de confidentialité