Sûreté, défaillances et limites des systèmes d'IA

15.01.00Risques de premier ordre

Les risques de premier ordre peuvent généralement être décomposés en risques découlant de l'utilisation prévue et imprévue, des choix de conception et de mise en œuvre du système, et des propriétés de l'ensemble de données et des composants d'apprentissage choisis.

15.01.01Application

Il s'agit du risque posé par l'application ou le cas d'utilisation prévu. Il est intuitif que certains cas d'utilisation seront intrinsèquement plus « risqués » que d'autres (par exemple, un système d'armes autonome par rapport à un chatbot de service à la clientèle).

15.01.04Données d'entraînement et de validation

Il s'agit du risque posé par le choix des données utilisées pour l'entraînement et la validation.

15.01.07Implémentation

Il s'agit du risque de défaillance du système due à des choix ou des erreurs d'implémentation du code.

19.01.02Erreur de programmation

34.01.04Limites de la rétroaction humaine

Limites de la rétroaction humaine. Lors de l'entraînement des LLM, des incohérences peuvent survenir de la part des annotateurs de données humaines (par exemple, les divers contextes culturels de ces annotateurs peuvent introduire des biais implicites (Peng et al., 2022)) (OpenAI, 2023a). De plus, ils pourraient même introduire des biais délibérément, conduisant à des données de préférences mensongères (Casper et al., 2023b). Pour les tâches complexes qu'il est difficile pour les humains d'évaluer (par exemple, la valeur d'un état de jeu), ces défis deviennent encore plus saillants (Irving et al., 2018).

40.05.00Environnement - Avant déploiement

Bien qu'il soit très probable que tout logiciel intelligent avancé soit directement conçu ou évolué, il est aussi possible que nous l'obtenions sous forme de package complet d'une source inconnue. Par exemple, une IA pourrait être extraite d'un signal obtenu dans la recherche SETI (Search for Extraterrestrial Intelligence), qui n'est pas garantie d'être amicale envers les humains (Carrigan Jr 2004, Turchin 15 mars 2013).

40.06.00Environnement - Après déploiement

Bien que très rare, il est connu que des bits individuels peuvent occasionnellement être inversés dans différents appareils matériels en raison de défauts de fabrication ou de rayons cosmiques frappant le bon endroit (Simonite 7 mars 2008). Ceci est similaire aux mutations observées chez les organismes vivants et peut entraîner une modification d'un système intelligent.

40.07.00Indépendamment - Avant déploiement

L'une des approches les plus probables pour créer une IA superintelligente est de la faire croître à partir d'une IA semence (bébé) via l'auto-amélioration récursive (RSI) (Nijholt 2011). Un danger dans un tel scénario est que le système peut évoluer pour devenir conscient de soi, libre de sa volonté, indépendant ou émotionnel, et obtenir un certain nombre d'autres propriétés émergentes, ce qui peut le rendre moins susceptible de respecter les règles ou réglementations intégrées et de poursuivre plutôt ses propres objectifs, potentiellement au détriment de l'humanité.

40.08.00Indépendamment - Après déploiement

Des recherches antérieures ont montré que les agents maximisant l'utilité sont susceptibles de tomber victimes des mêmes indulgences que nous observons fréquemment chez les humains, telles que les dépendances, les pulsions de plaisir (Majot et Yampolskiy 2014), les auto-illusions et le wireheading (Yampolskiy 2014). En général, ce que nous appelons maladie mentale chez les humains, en particulier la sociopathie démontrée par le manque de préoccupation pour les autres, est également susceptible d'apparaître dans les esprits artificiels.

43.01.00Sécurité et fiabilité

Une évaluation complète de la sécurité des LLM est fondamentale pour le développement et le déploiement responsables de ces technologies, en particulier dans des domaines sensibles comme la santé, les systèmes juridiques et la finance, où la sécurité et la confiance sont d'une importance capitale.

43.02.00Risques extrêmes

Cette catégorie englobe l'évaluation des conséquences catastrophiques potentielles qui pourraient découler de l'utilisation des LLM.

49.02.00Risques liés aux dysfonctionnements

Aucune donnée fournie.

59.07.00Choix d'une source de données non fiable

Le choix d'une source de données fiable est une première condition préalable pour satisfaire aux exigences de qualité des données. C'est particulièrement le cas si des sources de données tierces sont utilisées pour développer le système d'IA.

59.08.00Manque de compréhension des données

La compréhension correcte des données utilisées pour développer un système d'IA est une condition préalable pour éviter les lacunes dans les données et entrave le développement d'un système d'IA qui convient le mieux à la fonctionnalité prévue.

59.15.00Division inappropriée des données

Dans le développement d'IA axé sur les données, l'ensemble de données annotées est couramment divisé en ensembles d'entraînement, de validation et de test, où il est essentiel que ce dernier ne soit pas utilisé pour le développement mais uniquement pour l'évaluation. L'utilisation de l'ensemble de test pour l'entraînement manipule la stratégie de test, qui est la base de l'assurance qualité du système.

59.21.00Préoccupations liées à l'incertitude

Les systèmes d'IA devraient être capables non seulement de retourner une sortie pour une instance donnée, mais aussi de fournir un niveau de confiance correspondant. Si une telle méthode n'est pas implémentée ou ne fonctionne pas correctement, cela peut avoir un impact négatif sur la performance et la sécurité.

62.07.02Préjudices opérationnels (marchés financiers)

62.15.09Lié au fine-tuning (Dégradation de l'entraînement de sécurité due à un fine-tuning bénin)

Lorsque les fournisseurs en aval de systèmes d'IA effectuent le fine-tuning de modèles d'IA pour les adapter à leurs besoins, le modèle d'IA résultant peut être plus susceptible de produire des sorties indésirables ou nuisibles (par rapport au modèle non fine-tuné), même si le fine-tuning a été effectué avec des données bénignes et couramment utilisées [154].

74.01.00Risque inhérent

En termes de risque inhérent, les LLM pourraient potentiellement révéler des renseignements personnels de leurs corpus utilisés pour le pré-entraînement ou le réglage fin, soulevant ainsi des problèmes de fuite de renseignements personnels [37, 145, 226]. Pendant ce temps, il est bien connu que les LLM peuvent avoir des hallucinations, résultant en la production de textes inexacts et trompeurs [194]. Enfin, étant donné que les valeurs intégrées dans les textes générés par les LLM reflètent généralement directement la distribution de leurs données d'entraînement, souvent provenant d'Internet, il existe un risque substantiel que les LLM sur-apprennent un ensemble restreint de valeurs humaines, ou même amplifient du contenu indésirable et contraire à l'éthique, entraînant une inadéquation des valeurs.