Essayez l'outil gratuitement

Essayer
Domaine 1 · Discrimination et toxicité

1.2Exposition à du contenu toxique

IA qui expose les utilisateurs à du contenu nocif, abusif, dangereux ou inapproprié. Cela peut inclure des conseils ou l'incitation à l'action. Les exemples comprennent les discours haineux, la violence, l'extrémisme, les actes illégaux, le matériel pédopornographique, ainsi que les contenus contraires aux normes communautaires comme la grossièreté, les discours politiques incendiaires ou la pornographie.

Cadres légaux applicables

Québec

Article 10.1 (harcèlement), article 5 (vie privée)

Loi quasi-constitutionnelle québécoise interdisant la discrimination fondée sur des motifs protégés. Pertinente pour les biais des systèmes d'IA dans l'embauche, l'octroi de crédit, le logement, les services.

International

NIST AI RMF 1.0Recommandation

Manage 4.1 (suivi post-déploiement)

Cadre volontaire de gestion des risques d'IA structuré autour de quatre fonctions : Govern, Map, Measure, Manage. Référence courante en gouvernance d'IA.

UE

Article 50 (transparence des contenus générés)

Règlement européen établissant un cadre harmonisé pour l'IA, fondé sur une approche par risque (risque inacceptable, élevé, limité, minimal). Pertinent pour les organisations québécoises faisant affaire en UE.

Exemples sectoriels québécois

Services publics

Services publicsVille ou MRC

Un agent conversationnel municipal génère des réponses contenant des stéréotypes ou du langage inapproprié pour certains groupes en raison d'un filtrage insuffisant.

Éducation

ÉducationCégep, commission scolaire

Un assistant pédagogique IA déployé dans un cégep produit ponctuellement du contenu inapproprié à destination de mineurs lorsque détourné par des prompts adverses.

Mitigations recommandées

  • 2.4Contrôles de sûreté du contenu

    Systèmes et processus techniques qui détectent, filtrent et étiquettent le contenu généré par l'IA pour identifier les usages abusifs et permettre le suivi de provenance du contenu.

  • 3.1Tests et audits

    Évaluations internes et externes systématiques qui examinent les systèmes d'IA, l'infrastructure et les processus de conformité pour identifier les risques, vérifier la sûreté et s'assurer que la performance respecte les normes.

  • 3.3Gestion des accès

    Politiques opérationnelles et systèmes de vérification qui régissent qui peut utiliser les systèmes d'IA et à quelles fins, afin de prévenir le contournement de la sûreté, l'usage abusif délibéré et le déploiement dans des contextes à haut risque.

  • 3.5Surveillance post-déploiement

    Processus de suivi continu du comportement de l'IA, des interactions des utilisateurs et des impacts sociétaux après le déploiement pour détecter les usages abusifs, les capacités dangereuses émergentes et les effets nuisibles.

  • 4.2Divulgation des risques

    Protocoles formels de production de rapports et systèmes de notification qui communiquent l'information sur les risques, les plans d'atténuation, les évaluations de sûreté et les activités significatives liées à l'IA pour permettre une supervision externe et informer les parties prenantes.

Évaluez ce risque pour votre cas d'usage

Notre wizard d'évaluation des risques arrive prochainement.

Ce site utilise des cookies essentiels et fonctionnels pour améliorer votre expérience. Politique de confidentialité