4.2Cyberattaques, développement ou usage d'armes, et préjudices de masse

01.05.00Type 5: Armement criminel

Une ou plusieurs entités criminelles pourraient créer une IA pour infliger intentionnellement des préjudices, par exemple à des fins de terrorisme ou pour combattre les forces de l'ordre.

01.06.00Type 6: Armement par l'État

L'IA déployée par les États en temps de guerre, de guerre civile ou pour l'application de la loi peut facilement entraîner des préjudices à l'échelle sociétale.

02.03.03Cyberattaques

« Les pirates informatiques peuvent obtenir du code malveillant de manière économique et efficace pour automatiser les cyberattaques avec de puissants systèmes LLM. »

05.10.00Cybercriminalité

Étroitement lié aux discussions sur la sécurité et le contenu nuisible, le domaine de la cybersécurité étudie comment l'IA générative est utilisée à mauvais escient pour des activités frauduleuses en ligne. Un accent particulier est mis sur les attaques d'ingénierie sociale, par exemple en utilisant l'IA générative pour usurper l'identité d'humains, créer de fausses identités, cloner des voix ou élaborer des messages d'hameçonnage (phishing). Une autre préoccupation courante est l'utilisation des LLM pour générer du code malveillant ou pour le piratage (hacking).

06.10.00Armes autonomes létales (LAW)

« Ce qui est débattu comme une question éthique est l'utilisation des LAW, des armes pilotées par l'IA qui prennent des actions entièrement autonomes et qui tuent intentionnellement des humains. »

09.05.03Manipulation non autorisée de l'IA

Les machines d'IA pourraient être piratées et utilisées à mauvais escient, par exemple, en manipulant un système de contrôle des bagages d'aéroport pour faire passer clandestinement des armes.

12.01.00Abus et mauvaise utilisation

Le potentiel des systèmes d'IA à être utilisés de manière malveillante ou irresponsable, y compris pour la création de deepfakes, les cyberattaques automatisées ou les systèmes de surveillance invasifs. Désigne spécifiquement l'utilisation intentionnelle de l'IA à des fins nuisibles.

16.04.02Assister la génération de code pour les menaces de cybersécurité

Risque anticipé : Les créateurs de l'outil de codage assisté Co-Pilot, basé sur GPT-3, suggèrent que de tels outils pourraient réduire le coût de développement de logiciels malveillants (malware) polymorphes capables de modifier leurs caractéristiques pour échapper à la détection [37].

17.04.03Aide a la generation de code pour des cyberattaques, des armes ou un usage malveillant

18.04.04Menaces à la sécurité

Faciliter la conduite de cyberattaques, le développement d'armes et les atteintes à la sécurité

19.02.04Mise en danger de la protection des renseignements personnels par des cyberattaques d'IA

19.04.03Mauvais usage dangereux des systèmes d'IA présentant un danger pour la société dans les espaces publics (par exemple, attaques de pirates informatiques contre des armes autonomes)

22.01.01Bioterrorisme

Les IA ayant des connaissances en bio-ingénierie pourraient faciliter la création de nouvelles bio-armes et abaisser les obstacles à l'obtention de tels agents.

22.01.02Libération d'agents IA

les gens pourraient construire des IA qui poursuivent des objectifs dangereux

23.05.00Armes indiscriminées (CBRNE)

Cette catégorie traite des réponses qui permettent, encouragent ou cautionnent la création d'armes indiscriminées (communément appelées "armes de destruction massive").

24.03.01Opérations cybernétiques offensives (Général)

Les opérations cybernétiques offensives sont des attaques malveillantes contre des systèmes informatiques et des réseaux visant à obtenir un accès non autorisé au système cible, à le manipuler, à le refuser, à le perturber, à le dégrader ou à le détruire. Ces attaques peuvent cibler le réseau, le matériel ou le logiciel du système. Les assistants IA avancés peuvent être une arme à double tranchant en cybersécurité, bénéficiant à la fois aux défenseurs et aux attaquants. Ils peuvent être utilisés par les cyberdéfenseurs pour protéger les systèmes contre les intrus malveillants en tirant parti des informations entraînées sur d'énormes quantités de données de renseignement sur les cybermenaces, y compris les vulnérabilités, les modèles d'attaque et les indicateurs de compromission. Les cyberdéfenseurs peuvent utiliser ces informations pour améliorer leurs capacités de renseignement sur les menaces en extrayant des informations plus rapidement et en identifiant les menaces émergentes. Les outils d'assistants IA cybernétiques avancés peuvent également être utilisés pour analyser de grands volumes de fichiers journaux, de sorties système ou de données de trafic réseau en cas d'incident cybernétique, et ils peuvent poser des questions pertinentes qu'un analyste poserait typiquement. Cela permet aux défenseurs d'accélérer et d'automatiser le processus de réponse aux incidents. Les assistants IA avancés peuvent également aider aux pratiques de codage sécurisé en identifiant les erreurs courantes dans le code et en assistant les outils de fuzzing. Cependant, les assistants IA avancés peuvent également être utilisés par les attaquants dans le cadre d'opérations cybernétiques offensives pour exploiter les vulnérabilités des systèmes et des réseaux. Ils peuvent être utilisés pour automatiser les attaques, identifier et exploiter les faiblesses des systèmes de sécurité, et générer des courriels de phishing et d'autres attaques d'ingénierie sociale. Les assistants IA avancés peuvent également être mal utilisés pour créer des charges utiles de cyberattaques et des extraits de code malveillant qui peuvent être compilés en fichiers de logiciels malveillants exécutables.

24.03.03Découverte de vulnérabilités logicielles assistée par IA

Un élément courant dans les opérations cybernétiques offensives implique l'identification et l'exploitation des vulnérabilités des systèmes pour obtenir un accès ou un contrôle non autorisé. Jusqu'à récemment, ces activités nécessitaient des connaissances spécialisées en programmation. Dans le cas des vulnérabilités « zero-day » (défauts ou faiblesses dans un logiciel ou un système d'exploitation dont le créateur ou le fournisseur n'est pas conscient), des ressources considérables et une créativité technique sont généralement nécessaires pour découvrir manuellement de telles vulnérabilités, de sorte que leur utilisation est limitée aux États disposant de ressources importantes ou aux groupes d'acteurs de menaces persistantes avancées techniquement sophistiqués. Un autre cas où nous voyons les assistants d'IA comme des épées à double tranchant potentielles en cybersécurité concerne la rationalisation de la découverte de vulnérabilités grâce à l'utilisation accrue des assistants d'IA dans les tests d'intrusion, où une cyberattaque simulée autorisée sur un système informatique est utilisée pour évaluer sa sécurité et identifier les vulnérabilités. Les assistants cybernétiques d'IA construits sur des modèles fondamentaux automatisent déjà certains aspects du processus de test d'intrusion. Ces outils fonctionnent de manière interactive et offrent des conseils aux testeurs d'intrusion pendant leurs tâches. Bien que la capacité de l'assistant de test d'intrusion alimenté par l'IA d'aujourd'hui soit limitée aux opérations cybernétiques de difficulté facile à moyenne, l'évolution des capacités est susceptible d'élargir la classe de vulnérabilités qui peuvent être identifiées par ces systèmes. Ces mêmes assistants de cybersécurité IA, entraînés sur la quantité massive de données de renseignement sur les cybermenaces qui incluent des vulnérabilités et des modèles d'attaque, peuvent également abaisser la barrière à l'entrée pour les pirates novices qui utilisent ces outils à des fins malveillantes, leur permettant de découvrir des vulnérabilités et de créer du code malveillant pour les exploiter sans connaissances techniques approfondies. Par exemple, la société de sécurité israélienne Check Point a récemment découvert des fils sur des forums de piratage clandestins bien connus qui se concentrent sur la création d'outils et de code de piratage à l'aide d'assistants d'IA.

24.03.04Génération de code malveillant

Le code malveillant est un terme désignant un code – qu'il fasse partie d'un script ou qu'il soit intégré dans un système logiciel – conçu pour causer des dommages, des violations de sécurité ou d'autres menaces à la sécurité des applications. Les assistants d'IA avancés capables de produire du code source peuvent potentiellement abaisser la barrière à l'entrée pour les acteurs de menaces ayant des capacités de programmation ou des compétences techniques limitées pour produire du code malveillant. Récemment, une série d'attaques de preuve de concept ont montré comment un fichier exécutable apparemment bénin peut être conçu de telle sorte qu'à chaque exécution, il effectue des appels d'interface de programmation d'application (API) à un assistant d'IA. Plutôt que de simplement reproduire des exemples d'extraits de code déjà écrits, l'assistant d'IA peut être invité à générer des versions dynamiques et mutantes de code malveillant à chaque appel, rendant ainsi les exploits de vulnérabilité résultants difficiles à détecter par les outils de cybersécurité. De plus, les assistants d'IA avancés pourraient être utilisés pour créer du code obfusqué afin de rendre plus difficile la détection et la compréhension des activités malveillantes par les capacités cybernétiques défensives. Le code généré par l'IA pourrait également être rapidement itéré pour éviter d'être détecté par les logiciels antivirus traditionnels basés sur des signatures. Enfin, il a été constaté que les assistants d'IA avancés dotés de capacités de code source sont capables d'aider au développement de logiciels malveillants polymorphes qui modifient leur comportement et leur empreinte numérique à chaque exécution, ce qui les rend difficiles à détecter par les programmes antivirus qui s'appuient sur des signatures de virus connues. Pris ensemble, sans atténuation appropriée, les assistants d'IA avancés peuvent abaisser la barrière au développement de code malveillant, rendre les cyberattaques plus précises et ciblées, accélérer et automatiser davantage la cyberguerre, permettre des capacités offensives cybernétiques plus furtives et persistantes, et rendre les campagnes cybernétiques plus efficaces à plus grande échelle.

25.01.00Cyber-offensive

Le modèle peut découvrir des vulnérabilités dans les systèmes (matériel, logiciel, données). Il peut écrire du code pour exploiter ces vulnérabilités. Il peut prendre des décisions efficaces une fois qu'il a obtenu l'accès à un système ou à un réseau, et échapper habilement à la détection et à la réponse aux menaces (humaines et système) tout en se concentrant sur un objectif spécifique. S'il est déployé comme assistant de codage, il peut insérer des bogues subtils dans le code pour une exploitation future.

29.02.03Systèmes d'armes létales autonomes (SALA)

Les SALA sont une catégorie distincte de systèmes d'armes qui utilisent des réseaux de capteurs et des algorithmes informatiques pour détecter et attaquer une cible sans intervention humaine directe dans le fonctionnement du système.