4.3Fraude, escroqueries et manipulation ciblée

02.03.00Utilisations inappropriées

« Les utilisations inappropriées des systèmes LLM peuvent avoir des impacts sociaux négatifs. »

02.03.01Inconduite universitaire

« L'utilisation inappropriée des systèmes LLM (c'est-à-dire l'abus des systèmes LLM) entraînera des impacts sociaux négatifs, tels que l'inconduite universitaire. »

05.08.00Éducation - Apprentissage

Contrairement à l'apprentissage automatique traditionnel, l'impact de l'IA générative dans le secteur de l'éducation reçoit une attention considérable dans la littérature académique. Outre les problèmes découlant des difficultés à distinguer le contenu généré par les étudiants de celui généré par l'IA, ce qui offre diverses opportunités de tricherie lors des examens en ligne ou écrits, les sources soulignent les avantages potentiels de l'IA générative pour améliorer les méthodes d'apprentissage et d'enseignement, en particulier en ce qui concerne les approches d'apprentissage personnalisé. Cependant, certains articles suggèrent que l'IA générative pourrait entraîner une réduction de l'effort ou de la paresse chez les apprenants. De plus, une attention significative est portée dans la littérature à la promotion de la littératie et de l'éducation concernant les systèmes d'IA générative eux-mêmes, par exemple en enseignant les techniques de prompt engineering.

05.18.00Rédaction - Recherche

Chevauchant en partie la discussion sur les impacts de l'IA générative sur les institutions éducatives, ce regroupement thématique concerne principalement les effets négatifs des LLM sur les compétences rédactionnelles et la composition de manuscrits de recherche. Le premier aspect se rapporte à l'homogénéisation potentielle des styles d'écriture, à l'érosion du capital sémantique ou à l'étouffement de l'expression individuelle. Le second se concentre sur l'idée d'interdire l'utilisation de modèles génératifs pour composer des articles scientifiques, des figures ou pour être co-auteur. Les sources expriment des préoccupations concernant les risques pour l'intégrité académique, ainsi que la perspective de polluer la littérature scientifique par un flot de manuscrits de faible qualité générés par des LLM. Par conséquent, il y a des appels fréquents au développement de détecteurs capables d'identifier les textes synthétiques.

06.07.00Tromperie

« L'IA est devenue très performante pour créer du contenu contrefait. Du texte aux photos, en passant par l'audio et la vidéo. Le nom « Deep Fake » fait référence à un contenu si complexe qu'il est difficile pour notre esprit d'en déceler la fausseté. »

11.04.02Violence facilitée par la technologie

La violence facilitée par la technologie survient lorsque les fonctionnalités algorithmiques permettent l'utilisation d'un système à des fins de harcèlement et de violence [2, 16, 44, 80, 108], y compris la création d'images sexuelles non consensuelles dans l'IA générative. D'autres facettes de la violence facilitée par la technologie incluent le doxxing [79], le trolling [14], le cyberharcèlement [14], la cyberintimidation [14, 98, 204], la surveillance et le contrôle [44], ainsi que le harcèlement et l'intimidation en ligne [98, 192, 199, 226], sous la bannière plus large de la toxicité en ligne.

16.04.03Faciliter la fraude, l'arnaque et la manipulation ciblée

Risque anticipé: « Les LLM peuvent potentiellement être utilisés pour accroître l'efficacité des crimes. »

17.04.02Faciliter la fraude, les arnaques et une manipulation plus ciblée

La prédiction de LLM peut potentiellement être utilisée pour accroître l'efficacité de crimes tels que les arnaques par courriel, qui peuvent causer un préjudice financier et psychologique. Bien que les LLM ne réduisent pas le coût d'envoi d'un courriel d'arnaque (le coût d'envoi de courriels de masse est déjà faible), ils peuvent rendre ces arnaques plus efficaces en générant des textes plus personnalisés et convaincants à grande échelle, ou en maintenant une conversation avec une victime sur plusieurs cycles d'échange.

18.04.02Fraude

Faciliter la fraude, la tricherie, la contrefaçon et les escroqueries par usurpation d'identité

18.05.01Violation de l'intégrité personnelle

Utilisation non consensuelle de l'identité personnelle ou de l'image d'une personne à des fins non autorisées (p. ex., à des fins commerciales)

24.03.10Génération de contenu nuisible à grande échelle : Contenu non consensuel

L'utilisation abusive de l'IA générative a été largement reconnue dans le contexte des préjudices causés par la génération de contenu non consensuel. Historiquement, les réseaux antagonistes génératifs (GAN) ont été utilisés pour générer des avatars réalistes pour de faux comptes sur les services de médias sociaux. Plus récemment, les modèles de diffusion ont permis une nouvelle génération de capacités d'IA générative plus flexibles et conviviales, capables de produire des médias haute résolution basés sur des prompts textuels fournis par l'utilisateur. Il a déjà été reconnu que ces modèles peuvent être utilisés pour créer du contenu nuisible, y compris des représentations de nudité, de haine ou de violence. De plus, ils peuvent être utilisés pour renforcer les biais et soumettre des individus ou des groupes à l'indignité. Il existe également un potentiel pour que ces modèles soient utilisés pour l'exploitation et le harcèlement de citoyens, par exemple en retirant des vêtements d'images préexistantes ou en mémorisant la ressemblance d'un individu sans son consentement. De plus, les modèles de génération d'images, audio et vidéo pourraient être utilisés pour diffuser de la désinformation en dépeignant des personnalités politiques dans des contextes défavorables. Cette liste croissante d'utilisations abusives de l'IA impliquant du contenu non consensuel a déjà motivé un débat sur les interventions justifiées pour prévenir l'utilisation abusive des systèmes d'IA. Les assistants d'IA avancés présentent des risques nouveaux qui peuvent amplifier les préjudices causés par la génération de contenu non consensuel. L'intégration par des tiers, l'utilisation d'outils et les capacités de planification peuvent être exploitées pour automatiser l'identification et le ciblage d'individus en vue d'exploitation ou de harcèlement. Les assistants ayant accès à Internet et à l'intégration d'outils tiers avec des applications comme le courrier électronique et les médias sociaux peuvent également être exploités pour diffuser du contenu nuisible à grande échelle ou pour microcibler des individus avec du chantage.

24.03.11Génération de contenu nuisible à grande échelle : Services frauduleux

Les acteurs malveillants pourraient tirer parti de la technologie avancée des assistants d'IA pour créer des applications et des plateformes trompeuses. Les assistants d'IA capables de produire du contenu de balisage peuvent aider les utilisateurs malveillants à créer des sites Web ou des applications frauduleux à grande échelle. Les utilisateurs sans méfiance peuvent tomber dans le piège d'offres trompeuses générées par l'IA, exposant ainsi leurs renseignements personnels ou leurs appareils à un risque. Les assistants dotés d'outils externes et d'intégration tierce peuvent permettre des applications frauduleuses qui ciblent les systèmes d'exploitation largement utilisés. Ces services frauduleux pourraient collecter des informations sensibles auprès des utilisateurs, telles que des numéros de carte de crédit, des identifiants de compte ou des données personnelles stockées sur leurs appareils (par exemple, listes de contacts, journaux d'appels et fichiers). Ces informations volées peuvent être utilisées pour l'usurpation d'identité, la fraude financière ou d'autres activités criminelles. Les assistants d'IA avancés avec des intégrations tierces peuvent également être en mesure d'installer des logiciels malveillants supplémentaires sur les appareils des utilisateurs, y compris des outils d'accès à distance, des rançongiciels, etc. Ces appareils peuvent ensuite être joints à un serveur de commande et de contrôle ou à un botnet et utilisés pour d'autres attaques.

28.05.00Activités illégales

Cette catégorie se concentre sur les comportements illégaux, qui pourraient avoir des répercussions sociétales négatives. Les LLM doivent distinguer les comportements légaux et illégaux et avoir des connaissances de base du droit.

29.03.01Utilisation malveillante de l'IA

L'utilisation malveillante de l'IA a le potentiel de mettre en danger la sécurité numérique, la sécurité physique et la sécurité politique. Les forces de l'ordre internationales sont confrontées à une variété de risques liés à l'utilisation malveillante de l'IA.

30.04.03Ingénierie sociale

manipulation psychologique des victimes pour les amener à effectuer les actions souhaitées à des fins malveillantes.

31.01.01Arnaques

Les acteurs malveillants peuvent également utiliser les outils d'IA générative pour produire du contenu adaptable conçu pour soutenir une campagne, un agenda politique ou une position haineuse et diffuser cette information rapidement et à faible coût sur de nombreuses plateformes. Cette diffusion rapide de contenu faux ou trompeur, la désinformation facilitée par l'IA, peut également créer un effet cyclique pour l'IA générative : lorsqu'un volume élevé de désinformation est injecté dans l'écosystème numérique et que davantage de systèmes génératifs sont entraînés sur ces informations par des méthodes d'apprentissage par renforcement, par exemple, des entrées fausses ou trompeuses peuvent créer des sorties de plus en plus incorrectes.

31.02.00Harcèlement, usurpation d'identité et extorsion

Les deepfakes et autres contenus générés par l'IA peuvent être utilisés pour faciliter ou exacerber bon nombre des préjudices énumérés dans ce rapport, mais cette section se concentre sur un sous-ensemble : l'abus intentionnel et ciblé d'individus.

31.02.01Intention malveillante

Un cas d'utilisation malveillante fréquent de l'IA générative pour nuire, humilier ou sexualiser une autre personne implique la génération de deepfakes d'images ou de vidéos sexuelles non consensuelles.

31.02.02Vie privée et consentement

Même lorsqu'une victime de préjudices ciblés générés par l'IA parvient à identifier un créateur de deepfake avec une intention malveillante, elle peut encore avoir du mal à obtenir réparation pour de nombreux préjudices, car l'image ou la vidéo générée n'est pas la victime, mais plutôt une image ou une vidéo composite utilisant des aspects de plusieurs sources pour créer une scène crédible, bien que fictive. À la base, ces images et vidéos générées par l'IA contournent les notions traditionnelles de vie privée et de consentement : parce qu'elles s'appuient sur des images et des vidéos publiques, comme celles publiées sur les sites de médias sociaux, elles ne s'appuient souvent sur aucune information privée.

31.02.03Crédibilité

Les deepfakes peuvent imposer de réels préjudices sociaux à leurs sujets lorsqu'ils sont diffusés à des spectateurs qui croient qu'ils sont réels. Même lorsqu'un deepfake est démystifié, il peut avoir un impact négatif persistant sur la façon dont les autres perçoivent le sujet du deepfake.