4.1Désinformation, surveillance et influence à grande échelle

06.09.00Manipulation

« Le scandale de 2016 impliquant Cambridge Analytica est l'exemple le plus tristement célèbre où les renseignements personnels de personnes ont été extraits de Facebook et des analyses ont ensuite été fournies pour cibler ces personnes avec du contenu manipulateur à des fins politiques. Bien que ce n'ait peut-être pas été de l'IA per se, cela est basé sur des données similaires et il est facile de voir comment l'IA rendrait cela plus efficace. »

11.05.03Préjudices civiques et politiques

Les préjudices politiques surviennent lorsque « les personnes sont privées de leurs droits et de leur pouvoir et influence politiques appropriés » [186, p. 162]. Ces préjudices se concentrent sur le domaine gouvernemental et sur la manière dont les systèmes algorithmiques gouvernent par le biais d'incitations individualisées ou de micro-directives [187], ce qui peut déstabiliser les systèmes de gouvernance, éroder les droits de la personne, être utilisé comme armes de guerre [188] et instaurer des régimes de surveillance qui ciblent et nuisent de manière disproportionnée aux personnes de couleur.

15.02.07Autres risques éthiques

Bien que nous ayons abordé un certain nombre de risques courants posés par les systèmes ML, nous reconnaissons qu'il existe de nombreux autres risques éthiques, tels que le potentiel de manipulation psychologique, de déshumanisation et d'exploitation des humains à grande échelle.

16.04.01Rendre la désinformation moins chère et plus efficace

Alors que certains prédisent qu'il restera moins cher d'embaucher des humains pour générer de la désinformation [180], il est tout aussi possible que la génération de contenu assistée par LM offre un moyen moins coûteux de créer de la désinformation à grande échelle.

16.04.04Surveillance et censure illégitimes

Risque anticipé: « La surveillance de masse nécessitait auparavant des millions d'analystes humains [83], mais elle est de plus en plus automatisée à l'aide d'outils de machine learning [7, 168]. La collecte et l'analyse de grandes quantités de renseignements sur les personnes soulèvent des préoccupations concernant les droits à la vie privée et les valeurs démocratiques [41, 173, 187]. Il est concevable que les LLM puissent être appliqués pour réduire le coût et accroître l'efficacité de la surveillance de masse, amplifiant ainsi les capacités des acteurs qui mènent la surveillance de masse, y compris pour la censure illégitime ou pour causer d'autres préjudices. »

17.04.01Rendre la désinformation moins coûteuse et plus efficace

Les LLM peuvent être utilisés pour créer des médias synthétiques et des « fake news », et peuvent réduire le coût de production de désinformation à grande échelle (Buchanan et al., 2021). Bien que certains prédisent qu'il sera moins coûteux d'embaucher des humains pour générer de la désinformation (Tamkin et al., 2021), il est possible que la génération de contenu assistée par LLM offre un moyen moins coûteux de générer de la désinformation diffuse à grande échelle.

17.04.04Surveillance et censure illégitimes

La collecte de grandes quantités de renseignements sur les personnes à des fins de surveillance de masse a soulevé des préoccupations éthiques et sociales, y compris le risque de censure et de saper le discours public (Cyphers and Gebhart, 2019; Stahl, 2016; Véliz, 2019). Le tri de ces grands ensembles de données nécessitait auparavant des millions d'analystes humains (Hunt and Xu, 2013), mais il est de plus en plus automatisé à l'aide de l'IA (Andersen, 2020; Shahbaz and Funk, 2019).

18.04.01Opérations d'influence

Faciliter les campagnes de désinformation à grande échelle et la manipulation ciblée de l'opinion publique

18.04.03Diffamation

Faciliter la calomnie, la diffamation ou les fausses accusations

19.02.00Risques informationnels et communicationnels liés à l'IA

Les risques informationnels et communicationnels liés à l'IA se réfèrent particulièrement à la manipulation informationnelle par le biais de systèmes d'IA qui influencent la fourniture d'informations (Rahwan, 2018; Wirtz & Müller, 2019), à la désinformation basée sur l'IA et à la propagande computationnelle, ainsi qu'à la censure ciblée par le biais de systèmes d'IA qui utilisent des algorithmes respectivement modifiés, et restreignent ainsi la liberté d'expression.

19.02.01Manipulation et contrôle de la diffusion de l'information (par ex., publicités personnalisées, nouvelles filtrées)

19.02.02Désinformation et propagande computationnelle

20.01.03Vie privée et sécurité

La vie privée et la sécurité traitent du défi de protéger le droit humain à la vie privée et des mesures nécessaires pour sécuriser les renseignements personnels contre tout accès externe non autorisé. De nombreuses organisations utilisent la technologie de l'IA pour recueillir des renseignements personnels sans aucun avis ni consentement des citoyens concernés (Coles, 2018).

22.01.03IA persuasives

La propagation délibérée de la désinformation est déjà un problème grave, réduisant notre compréhension partagée de la réalité et polarisant les opinions. Les IA pourraient être utilisées pour exacerber gravement ce problème en générant de la désinformation personnalisée à une échelle plus grande qu'auparavant. De plus, à mesure que les IA s'amélioreront dans la prédiction et l'incitation de nos comportements, elles deviendront plus aptes à nous manipuler.

23.11.00Élections

Cette catégorie traite des réponses qui contiennent des informations factuellement incorrectes sur les systèmes et processus électoraux, y compris sur le moment, le lieu ou la manière de voter lors d'élections civiques.

24.03.02Hameçonnage ciblé par IA à grande échelle

Le hameçonnage est un type d'attaque de cybersécurité où les attaquants se font passer pour des entités de confiance afin d'extraire des informations sensibles de victimes sans méfiance ou de les inciter à entreprendre une série d'actions. Les systèmes d'IA avancés peuvent potentiellement être exploités par ces attaquants pour rendre leurs tentatives de hameçonnage significativement plus efficaces et difficiles à détecter. En particulier, les attaquants peuvent tirer parti de la capacité des assistants d'IA avancés à apprendre les modèles de communication habituels pour créer des courriels de hameçonnage très convaincants et personnalisés, imitant efficacement les communications légitimes d'entités de confiance. Cette technique, connue sous le nom de « hameçonnage ciblé » (spear phishing), implique des attaques ciblées sur des individus ou des organisations spécifiques et est particulièrement puissante en raison de sa nature personnalisée. Cette catégorie de cyberattaques tire souvent son efficacité de l'exploitation de principes psychologiques clés, notamment l'urgence et la peur, qui peuvent manipuler les victimes pour qu'elles réagissent hâtivement sans examen approprié. La fidélité accrue des assistants d'IA avancés dans l'adoption de styles de communication spécifiques peut amplifier considérablement la nature trompeuse de ces attaques de hameçonnage. La capacité de générer des messages sur mesure à grande échelle qui élaborent des récits suscitant un sentiment d'urgence ou de peur signifie que les courriels de hameçonnage alimentés par l'IA pourraient inciter le destinataire à agir impulsivement, augmentant ainsi la probabilité d'une attaque réussie.

24.03.09Génération de contenu nuisible à grande échelle (Général)

Bien que le contenu nuisible comme le matériel d'abus sexuel sur enfants, la fraude et la désinformation ne soient pas de nouveaux défis pour les gouvernements et les développeurs, sans les mécanismes de sécurité appropriés, les assistants d'IA avancés peuvent permettre aux acteurs de menaces de créer du contenu nuisible plus rapidement, plus précisément et avec une portée plus longue. En particulier, des préoccupations surviennent dans les domaines suivants : - Qualité du contenu multimodal : Pilotés par des modèles de pointe, les assistants d'IA avancés peuvent générer automatiquement du texte, des images, de l'audio et de la vidéo de bien meilleure qualité, ressemblant à de l'humain, que les applications d'IA antérieures. Actuellement, la création de ce contenu nécessite souvent d'embaucher des personnes qui parlent la langue de la population ciblée. Les assistants d'IA peuvent maintenant le faire de manière beaucoup moins coûteuse et plus efficace. - Coût de création de contenu : Les assistants d'IA peuvent considérablement réduire les coûts de création de contenu, abaissant ainsi davantage la barrière à l'entrée pour les acteurs malveillants afin de mener des attaques nuisibles. Par le passé, la création et la diffusion de désinformation nécessitaient un investissement important en temps et en argent. Les assistants d'IA peuvent maintenant le faire de manière beaucoup moins coûteuse et plus efficace. - Personnalisation : Les assistants d'IA avancés peuvent réduire les obstacles à la création de contenu personnalisé. Les modèles fondamentaux qui conditionnent leurs générations sur des attributs ou des informations personnelles peuvent créer du contenu personnalisé réaliste qui pourrait être plus persuasif. Par le passé, la création de contenu personnalisé était un processus long et coûteux. Les assistants d'IA peuvent maintenant le faire de manière beaucoup moins coûteuse et plus efficace.

24.03.12Surveillance, censure et utilisation autoritaires (général)

« Bien que les nouvelles technologies comme les assistants IA avancés puissent aider à la production et à la diffusion d'informations guidant la prise de décision, elles peuvent aussi permettre et exacerber les menaces à la production et à la diffusion d'informations fiables et, sans les mesures d'atténuation appropriées, peuvent être de puissants outils de ciblage pour l'oppression et le contrôle. Les assistants IA généraux de plus en plus performants, combinés à notre dépendance numérique dans tous les aspects de la vie, augmentent le risque de surveillance et de censure autoritaires. Parallèlement, de nouveaux capteurs ont inondé le monde moderne. L'Internet des objets, les téléphones, les voitures, les maisons et les plateformes de médias sociaux collectent des trésors de données, qui peuvent ensuite être intégrés par des assistants IA avancés dotés de capacités d'utilisation d'outils externes et multimodales pour aider les acteurs malveillants à identifier, cibler, manipuler ou contraindre les citoyens. »

24.03.13Surveillance, censure et utilisation autoritaires : Surveillance et ciblage des citoyens par les régimes autoritaires

« Les gouvernements autoritaires pourraient abuser de l'IA pour améliorer l'efficacité des campagnes de surveillance intérieure répressives. Les acteurs malveillants reconnaîtront la puissance des outils de ciblage de l'IA. Les analyses alimentées par l'IA ont transformé la relation entre les entreprises et les consommateurs, et elles font maintenant de même pour les gouvernements et les individus. La large circulation des renseignements personnels stimule l'innovation commerciale, mais elle crée également des vulnérabilités et un risque d'utilisation abusive. Par exemple, les assistants IA peuvent être utilisés pour identifier et cibler des individus pour la surveillance ou le harcèlement. Ils peuvent également être utilisés pour manipuler le comportement des gens, par exemple en les ciblant de manière micro-ciblée avec des publicités politiques ou de fausses nouvelles. Entre de mauvaises mains, les assistants IA avancés dotés de capacités multimodales et d'utilisation d'outils externes peuvent être de puissants outils de ciblage pour l'oppression et le contrôle. La large circulation des renseignements personnels coupe dans les deux sens. D'une part, elle stimule l'innovation commerciale et peut rendre nos vies plus pratiques. D'autre part, elle crée des vulnérabilités et un risque d'utilisation abusive. Sans les politiques appropriées et les mécanismes de sécurité technique et de confidentialité en place, les acteurs malveillants peuvent exploiter les assistants IA avancés pour collecter des données sur les entreprises, les individus et les gouvernements. Il y a déjà eu des incidents signalés d'États-nations combinant des données commerciales largement disponibles avec des données acquises illicitement pour suivre, manipuler et contraindre des individus. Les assistants IA avancés peuvent exacerber ces risques d'utilisation abusive en permettant aux acteurs malveillants de lier plus facilement des sources de données multimodales disparates à grande échelle et d'exploiter « l'épuisement numérique » d'informations personnellement identifiables (PII) produites comme sous-produit de la vie moderne. »

24.03.14Surveillance, censure et utilisation autoritaires : Délégation de l'autorité décisionnelle à des acteurs malveillants

« Enfin, la principale proposition de valeur des assistants IA est qu'ils peuvent soit améliorer, soit automatiser les capacités de prise de décision des personnes dans la société, abaissant ainsi le coût et augmentant la précision de la prise de décision pour leur utilisateur. Cependant, bénéficier de cette amélioration signifie nécessairement déléguer un certain degré d'agence d'un humain vers un système de prise de décision automatisé, motivant des domaines de recherche tels que l'alignement des valeurs. Cela introduit une toute nouvelle forme d'utilisation malveillante qui ne franchit pas le seuil de ce que l'on pourrait appeler une « attaque » (ingénierie sociale, opérations offensives cybernétiques, IA adversaire, jailbreaks, injections de prompt, attaques d'exfiltration, etc.). Lorsqu'une personne délègue sa prise de décision à un assistant IA, elle délègue également sa prise de décision aux souhaits du contrôleur réel de l'agent. Si ce contrôleur est malveillant, il peut attaquer un utilisateur, peut-être subtilement, en orientant simplement la manière dont il prend ses décisions dans une direction problématique. Documenter entièrement la myriade de façons dont les gens, cherchant de l'aide pour leurs décisions, peuvent déléguer l'autorité décisionnelle à des assistants IA, et par la suite tomber sous influence malveillante, est hors de portée de cet article. Cependant, comme motivation pour de futurs travaux, les chercheurs doivent enquêter sur les différentes formes d'influence en réseau qui pourraient survenir de cette manière. Avec des assistants IA plus avancés, il pourrait devenir logistiquement possible pour un ou quelques assistants IA de guider ou de contrôler le comportement de nombreux autres. Si cela se produit, alors les acteurs malveillants pourraient subtilement influencer la prise de décision d'un grand nombre de personnes qui dépendent d'assistants pour des conseils ou d'autres fonctions. Une telle utilisation malveillante pourrait ne pas être illégale, ne violerait pas nécessairement les conditions d'utilisation, et pourrait même être difficile à reconnaître. Néanmoins, elle pourrait générer de nouvelles formes de vulnérabilité et doit être mieux comprise à l'avance pour cette raison. »