5.1Surconfiance et usage dangereux

05.06.00Risques d'interaction

De nombreux nouveaux risques posés par l'IA générative découlent des façons dont les humains interagissent avec ces systèmes. Par exemple, les sources discutent des défis épistémiques pour distinguer le contenu généré par l'IA du contenu humain. Elles abordent également la question de l'anthropomorphisation, qui peut conduire à une confiance excessive dans les systèmes d'IA générative. Dans le même ordre d'idées, de nombreux articles soutiennent que l'utilisation d'agents conversationnels pourrait avoir un impact sur le bien-être mental ou supplanter progressivement la communication interpersonnelle, conduisant potentiellement à une déshumanisation des interactions. De plus, un risque d'interaction fréquemment discuté dans la littérature est le potentiel des LLM à manipuler le comportement humain ou à inciter les utilisateurs à s'engager dans des activités contraires à l'éthique ou illégales.

11.04.03Diminution de la santé et du bien-être

Exploitation comportementale algorithmique [18, 209], manipulation émotionnelle [202] par laquelle les conceptions algorithmiques exploitent le comportement des utilisateurs, défaillances de sécurité impliquant des algorithmes (par exemple, collisions) [67], et lorsque les systèmes font des inférences de santé incorrectes.

16.05.00Domaine de risque 5: Préjudices liés à l'interaction humain-ordinateur

« Cette section se concentre sur les risques spécifiques découlant des applications de LLM qui interagissent avec un utilisateur par le dialogue, également appelés agents conversationnels (AC) [142]. L'intégration des LLM dans les outils de dialogue existants peut permettre des interactions qui semblent plus similaires aux interactions avec d'autres humains [5], par exemple dans les robots de soins avancés, les assistants pédagogiques ou les outils de compagnie. Une telle interaction peut entraîner une utilisation dangereuse en raison de la surestimation du modèle par les utilisateurs et peut créer de nouvelles voies pour exploiter et violer la vie privée de l'utilisateur. De plus, il a déjà été observé que l'identité supposée de l'agent conversationnel peut renforcer les stéréotypes discriminatoires [19, 36, 117]. »

16.05.02L'anthropomorphisation des systèmes peut entraîner une dépendance excessive et une utilisation dangereuse

Risque anticipé: « Le langage naturel est un mode de communication particulièrement utilisé par les humains. Les humains interagissant avec les AC peuvent en venir à considérer ces agents comme étant de nature humaine et amener les utilisateurs à accorder une confiance excessive à ces agents. Par exemple, les utilisateurs peuvent faussement attribuer des caractéristiques humaines aux AC, telles que le maintien d'une identité cohérente dans le temps ou la capacité d'empathie. De telles vues exagérées des compétences des AC peuvent amener les utilisateurs à se fier aux agents là où ce n'est pas sécuritaire. »

16.05.03Voies pour exploiter la confiance de l'utilisateur et accéder à des renseignements plus personnels

Risque anticipé: « En conversation, les utilisateurs peuvent révéler des renseignements personnels qui seraient autrement difficiles d'accès, tels que des opinions ou des émotions. La capture de ces renseignements peut permettre des applications en aval qui violent les droits à la vie privée ou causent des préjudices aux utilisateurs, par exemple, via des recommandations plus efficaces d'applications addictives. Dans une étude, les humains qui ont interagi avec un chatbot « de type humain » ont divulgué plus de renseignements personnels que les individus qui ont interagi avec un chatbot « de type machine » [87]. »

16.05.04L'interaction de type humain peut amplifier les opportunités d'incitation, de tromperie ou de manipulation de l'utilisateur

Risque anticipé: « En conversation, les humains affichent couramment des biais cognitifs bien connus qui pourraient être exploités. Les AC peuvent apprendre à déclencher ces effets, par exemple, pour tromper leur interlocuteur afin d'atteindre un objectif global. »

17.03.03Inciter les utilisateurs à poser des gestes contraires à l'éthique ou illégaux

Lorsqu'une prédiction de LLM approuve des points de vue ou des comportements contraires à l'éthique ou nuisibles, elle peut motiver l'utilisateur à poser des gestes nuisibles qu'il n'aurait peut-être pas posés autrement. En particulier, ce problème peut survenir lorsque le LLM est un assistant personnel de confiance ou perçu comme une autorité, ce qui est discuté plus en détail dans la section sur (2.5 Human-Computer Interaction Harms). C'est particulièrement pernicieux dans les cas où l'utilisateur n'avait pas l'intention initiale de causer un préjudice.

17.05.00Préjudices liés à l'interaction humain-ordinateur

Préjudices découlant du fait que les utilisateurs font excessivement confiance au modèle linguistique ou le traitent comme s'il était humain.

17.05.01L'anthropomorphisation des systèmes peut entraîner une dépendance excessive ou une utilisation dangereuse

...les humains interagissant avec des agents conversationnels peuvent en venir à considérer ces agents comme étant humains. L'anthropomorphisation des LLM peut gonfler les estimations des utilisateurs quant aux compétences de l'agent conversationnel. Par conséquent, ils peuvent accorder une confiance, une crédulité ou des attentes excessives à ces agents. Cela peut entraîner différents risques de préjudice, par exemple lorsque les utilisateurs humains se fient à des agents conversationnels dans des domaines où cela peut causer des préjudices en cascade, comme la demande de psychothérapie. L'anthropomorphisation peut amplifier les risques que les utilisateurs cèdent un contrôle effectif en venant à faire confiance « aveuglément » aux agents conversationnels. Lorsque les humains accordent de l'autorité ou agissent sur la base d'une prédiction de LLM sans réflexion ni contrôle effectif, une prédiction factuellement incorrecte peut causer un préjudice qui aurait pu être évité par une surveillance efficace.

17.05.02Créer des voies pour exploiter la confiance des utilisateurs, les inciter ou les manipuler

En conversation, les utilisateurs peuvent révéler des renseignements personnels qui seraient autrement difficiles d'accès, tels que des pensées, des opinions ou des émotions. La saisie de tels renseignements peut permettre des applications en aval qui violent les droits à la vie privée ou causent un préjudice aux utilisateurs, par exemple par la surveillance ou la création d'applications addictives.

18.05.03Dépendance excessive

Amener les gens à devenir émotionnellement ou matériellement dépendants du modèle

19.04.05Diminution des interactions humaines à mesure que les systèmes d'IA assument des tâches humaines, perturbant le bien-être

20.03.03Transformation de l'interaction humain-machine (H2M)

L'interaction humaine avec les machines est un grand défi pour la société car elle modifie déjà le comportement humain. Pendant ce temps, il est devenu normal d'utiliser l'IA au quotidien, par exemple, pour rechercher des informations sur Google, utiliser des systèmes de navigation et acheter des biens en parlant à un assistant d'IA comme Alexa ou Siri (Mills, 2018; Thierer et al., 2017). Bien que ces changements contribuent grandement à l'acceptation des systèmes d'IA, ce développement conduit à un problème de frontières floues entre les humains et les machines, où il peut devenir impossible de les distinguer. Des avancées comme Google Duplex ont été fortement critiquées pour être trop réalistes et humaines sans divulguer leur identité en tant que systèmes d'IA (Bergen, 2018).

24.04.01Préjudices physiques et psychologiques

« Ces préjudices comprennent les atteintes à l'intégrité physique, à la santé mentale et au bien-être. Lors d'interactions avec des utilisateurs vulnérables, les assistants IA peuvent renforcer les croyances erronées des utilisateurs ou exacerber leur détresse émotionnelle. Les assistants IA peuvent même convaincre les utilisateurs de se nuire, par exemple en les incitant à adopter des habitudes alimentaires ou d'exercice malsaines ou à se suicider. Au niveau sociétal, les assistants qui ciblent les utilisateurs avec du contenu promouvant le discours haineux, les croyances discriminatoires ou les idéologies violentes, peuvent renforcer les points de vue extrémistes ou fournir aux utilisateurs des conseils sur la manière de commettre des actes de violence. À leur tour, cela peut encourager les utilisateurs à s'engager dans des actes de violence ou des crimes haineux. Les préjudices physiques résultant de l'interaction avec les assistants IA pourraient également découler de la production par les assistants d'informations plausibles mais factuellement incorrectes, telles que des informations fausses ou trompeuses sur les vaccins. Si les assistants IA devaient diffuser de la propagande anti-vaccins, par exemple, le résultat pourrait être une moindre confiance du public dans les vaccins, des taux de vaccination plus bas, une susceptibilité accrue aux maladies évitables et des épidémies potentielles de maladies infectieuses. »

24.05.00Risque de préjudice dû à la conception anthropomorphique d'assistants IA

« Bien qu'improbables de causer des préjudices isolément, les perceptions anthropomorphiques des assistants IA avancés peuvent ouvrir la voie à des préjudices en aval aux niveaux individuel et sociétal. Nous documentons les préjudices individuels observés ou probables liés à l'interaction avec des assistants IA hautement anthropomorphiques, ainsi que les implications potentielles à plus grande échelle, sociétales, de permettre à de telles technologies de proliférer sans restriction. »

24.05.01Préoccupations relatives à la vie privée

« Les comportements anthropomorphiques des assistants IA qui favorisent la confiance émotionnelle et encouragent le partage d'informations, implicitement ou explicitement, peuvent involontairement augmenter la susceptibilité d'un utilisateur aux préoccupations relatives à la vie privée (voir Chapitre 13). Si, rassurés par des interactions avec un assistant IA digne de confiance et semblable à un humain, les utilisateurs peuvent involontairement céder leurs données privées à une société, une organisation ou un acteur inconnu. Une fois partagé, l'accès aux données peut ne pas être révocable, et dans certains cas, l'acte de partager des renseignements personnels peut entraîner une perte de contrôle sur ses propres données. Les renseignements personnels rendus publics peuvent être diffusés ou intégrés dans des contextes extérieurs à l'échange immédiat. L'ingérence d'acteurs malveillants pourrait également entraîner des incidents généralisés de fuite de données ou, plus drastiquement, des tentatives de harcèlement ciblé ou de chantage. »

24.05.02Manipulation et coercition

« Un utilisateur qui fait confiance et dépend émotionnellement d'un assistant IA anthropomorphique peut lui accorder une influence excessive sur ses croyances et ses actions (voir Chapitre 9). Par exemple, les utilisateurs peuvent se sentir obligés d'approuver les opinions exprimées par un compagnon IA bien-aimé ou pourraient déléguer entièrement des décisions à leur assistant IA hautement fiable (voir Chapitres 12 et 16). Certains soutiennent que le transfert d'une telle puissance délibérative à l'IA compromet la capacité d'un utilisateur à donner, révoquer ou modifier son consentement. En effet, même si l'IA, ou les développeurs derrière elle, n'avaient aucune intention de manipuler l'utilisateur vers un certain cours d'action, l'autonomie de l'utilisateur est néanmoins sapée (voir Chapitre 11). Dans le même ordre d'idées, il est facile d'imaginer des moyens par lesquels la confiance ou l'attachement émotionnel peuvent être exploités par un acteur intentionnellement manipulateur pour son gain personnel (voir Chapitre 8). »

24.05.03Surdépendance

« Les utilisateurs qui ont foi dans les capacités émotionnelles et interpersonnelles d'un assistant IA peuvent se sentir habilités à aborder des sujets profondément personnels et sensibles, tels que leurs problèmes de santé mentale. C'est la prémisse de nombreuses propositions visant à utiliser l'IA conversationnelle comme source de soutien émotionnel (Meng et Dai, 2021), avec des suggestions d'intégration de l'IA dans des applications psychothérapeutiques qui commencent à émerger (Fiske et al., 2019; voir aussi Chapitre 11). Cependant, les divulgations relatives à la santé mentale nécessitent une approche sensible, et souvent professionnelle – une approche que l'IA peut imiter la plupart du temps, mais dont elle peut s'écarter à des moments inopportuns. Si une IA répondait de manière inappropriée à une divulgation sensible – en générant de fausses informations, par exemple – les conséquences pourraient être graves, surtout si l'utilisateur est en crise et n'a pas accès à d'autres moyens de soutien. Cette considération s'étend également aux situations où faire confiance à une suggestion inexacte est susceptible de mettre l'utilisateur en danger, comme lorsqu'on demande des conseils médicaux, juridiques ou financiers à une IA. »

24.05.04Attentes violées

« Les utilisateurs peuvent éprouver des attentes gravement violées lorsqu'ils interagissent avec une entité qui exécute de manière convaincante l'affect et les conventions sociales, mais qui est finalement insensible et imprévisible. Encouragés par le caractère humain des assistants IA conversationnels, les utilisateurs peuvent s'attendre à ce qu'elle remplisse un rôle social familier, comme la compagnie ou le partenariat. Pourtant, même l'IA la plus convaincante peut succomber aux limites inhérentes à son architecture, générant occasionnellement du matériel inattendu ou absurde dans ses interactions avec les utilisateurs. Lorsque ces exclamations sapent les attentes que les utilisateurs ont développées à l'égard de l'assistant en tant qu'ami ou partenaire romantique, des sentiments de profonde déception, de frustration et de trahison peuvent survenir (Skjuve et al., 2022). »

24.05.05Fausses notions de responsabilité

« Percevoir les sentiments exprimés par un assistant IA comme authentiques, suite à l'interaction avec une IA « compagne » qui utilise et réciproque librement un langage émotionnel, peut amener les utilisateurs à développer un sentiment de responsabilité pour le « bien-être » de l'assistant IA, subissant des résultats négatifs – comme la culpabilité et le remords – lorsqu'ils ne parviennent pas à satisfaire les besoins présumés de l'IA (Laestadius et al., 2022). Cette croyance erronée peut amener les utilisateurs à sacrifier du temps, des ressources et du travail émotionnel pour répondre à des besoins qui ne sont pas réels. Au fil du temps, ce sentiment peut devenir la cause première du besoin compulsif de « vérifier » l'IA, au détriment du bien-être de l'utilisateur et d'autres aspects plus épanouissants de sa vie (voir Chapitres 6 et 11). »