5.2Perte d'agentivité et d'autonomie humaine

06.12.00Perte d'autonomie

« Déléguer des décisions à une IA, surtout une IA qui n'est pas transparente et non contestable, peut laisser les gens se sentir impuissants, soumis au pouvoir de décision d'une machine. »

09.02.02Dignité humaine ou respect

Les écarts entre les castes ou statuts basés sur l'intelligence pourraient mener à des parties de la société dénuées de dignité, par exemple les humains, qui sont surpassés en intelligence par l'IA.

10.06.00Autonomie/Responsabilité réduite

L'IA offre de plus en plus de solutions pour des activités complexes, et en tirant parti de ce processus, les gens deviennent capables d'effectuer un plus grand nombre d'activités plus rapidement et avec plus de précision. Cependant, le résultat de cette innovation est de permettre que des choix qui relevaient autrefois exclusivement de la responsabilité humaine soient désormais faits par des systèmes d'IA.

11.04.00Préjudices interpersonnels

Les préjudices interpersonnels désignent les cas où les systèmes algorithmiques façonnent négativement les relations entre les personnes ou les communautés.

11.04.01Perte d'autonomie ou de contrôle

La perte d'autonomie survient lorsque l'utilisation [123, 137] ou l'abus [142] de systèmes algorithmiques réduit l'autonomie. Une dimension de la perte d'autonomie est le profilage algorithmique [138], par lequel les personnes sont soumises à un tri social et à des résultats discriminatoires pour accéder aux services de base. La présentation de contenu peut entraîner un « changement d'identité informé par l'algorithme, y compris [la promotion de] d'identités personnelles nuisibles (par exemple, intérêts pour la suprématie blanche, troubles alimentaires, etc.) ». De même, pour les créateurs de contenu, le désir de maintenir la visibilité ou de prévenir le shadow banning peut entraîner une conformité accrue du contenu.

11.05.02Préjudices culturels

Les préjudices culturels ont été décrits comme le développement ou l'utilisation de systèmes algorithmiques qui affectent la stabilité et la sécurité culturelles, tels que la « perte de moyens de communication, la perte de biens culturels et l'atteinte aux valeurs sociales ».

13.02.01Fiabilité et autonomie

La confiance humaine dans les systèmes, les institutions et les personnes représentées par les résultats des systèmes évolue à mesure que les systèmes d'IA générative sont de plus en plus intégrés dans la vie quotidienne.

19.02.03Censure des opinions exprimées sur Internet restreignant la liberté d'expression

19.03.03Perte de supervision et de contrôle des processus d'affaires

19.05.06Les systèmes d'IA peuvent saper les valeurs humaines (par exemple, le libre arbitre, l'autonomie)

19.06.02Obéissance technologique et manque de gouvernance par l'application croissante des systèmes d'IA

20.03.00IA et société

L'IA façonne déjà de nombreux aspects de la vie quotidienne et a donc un impact important sur la société et la vie sociale de tous les jours. Par exemple, les transports, l'éducation, la sécurité publique et la surveillance sont des domaines où les citoyens rencontrent la technologie de l'IA (Stone et al., 2016; Thierer et al., 2017). Beaucoup s'inquiètent de l'automatisation subliminale de plus en plus d'emplois et certaines personnes craignent même la dépendance totale à l'égard de l'IA ou la perçoivent comme une menace existentielle pour l'humanité (McGinnis, 2010; Scherer, 2016).

24.04.04Préjudices socioculturels et politiques

« Ces préjudices interfèrent avec l'organisation pacifique de la vie sociale, y compris dans les sphères culturelle et politique. Les assistants IA peuvent causer ou contribuer à des frictions dans les relations humaines, soit directement, en convainquant un utilisateur de mettre fin à certaines relations précieuses, soit indirectement en raison d'une perte de confiance interpersonnelle due à une dépendance accrue envers les assistants. Au niveau sociétal, la diffusion de désinformation par les assistants IA pourrait entraîner l'effacement des connaissances culturelles collectives. Dans le domaine politique, des assistants IA plus avancés pourraient potentiellement manipuler les électeurs en les incitant à adopter certaines croyances politiques par le biais de propagande ciblée, y compris par l'utilisation de deepfakes. Ces effets pourraient alors avoir un impact plus large sur les normes et processus démocratiques. De plus, si les assistants IA ne sont disponibles que pour certaines personnes et pas pour d'autres, cela pourrait concentrer la capacité d'influence, exerçant ainsi une influence indue sur le discours politique et diminuant la diversité de la pensée politique. Enfin, en adaptant le contenu aux préférences et aux biais des utilisateurs, les assistants IA peuvent involontairement contribuer à la création de chambres d'écho et de bulles de filtre, et par conséquent à la polarisation politique et à l'extrémisme. Dans un cadre expérimental, les LLM ont démontré leur capacité à influencer les individus sur des questions politiques telles que les restrictions sur les armes d'assaut, l'énergie verte ou les régimes de congés parentaux payés. En effet, leur capacité à persuader correspond à celle des humains à bien des égards. »

24.04.05Préjudices à l'accomplissement de soi

« Ces préjudices entravent la capacité d'une personne à mener une vie épanouissante sur le plan personnel. Au niveau individuel, un assistant IA peut, par manipulation, amener les utilisateurs à perdre le contrôle de leur trajectoire de vie future. Au fil du temps, de subtils changements comportementaux peuvent s'accumuler, entraînant des changements significatifs dans la vie d'un individu qui peuvent être considérés comme problématiques. Les systèmes d'IA cherchent souvent à comprendre les préférences des utilisateurs pour améliorer la prestation des services. Cependant, lorsque l'optimisation continue est employée dans ces systèmes, il peut devenir difficile de discerner si le système apprend réellement des préférences de l'utilisateur ou s'il oriente les utilisateurs vers des comportements spécifiques pour optimiser ses objectifs, tels que l'engagement des utilisateurs ou les taux de clics. Si les individus devaient dépendre fortement des assistants IA pour la prise de décision, il existe un risque qu'ils renoncent à leur agence personnelle et confient d'importants choix de vie à des systèmes algorithmiques, surtout si les assistants sont des « sycophantes experts » ou produisent un contenu qui semble convaincant et faisant autorité, mais qui est indigne de confiance. Cela pourrait non seulement contribuer à une diminution du sentiment de confiance en soi et d'autonomisation personnelle des utilisateurs ; cela pourrait également saper l'autodétermination et entraver l'exploration des aspirations individuelles. Au niveau sociétal, si les assistants IA influençaient fortement l'opinion publique, façonnaient le discours social ou médiatisaient les processus démocratiques, ils pourraient diminuer l'agence collective des communautés, leur pouvoir de décision et leur autodétermination collective. Cette érosion de l'autodétermination collective pourrait entraver la poursuite des objectifs sociétaux et entraver le développement d'une démocratie florissante et participative. »

24.05.07Désorientation

« Compte tenu de la capacité à affiner selon les préférences individuelles et à apprendre des utilisateurs, les assistants IA personnels pourraient habiter pleinement l'espace d'opinion des utilisateurs et ne dire que ce qui plaît à l'utilisateur ; un mal que certains chercheurs appellent « sycophancy » (Park et al., 2023a) ou « effet d'approbation » (Dinan et al., 2021). Un phénomène connexe a été observé dans les systèmes de recommandation automatisés, où la présentation constante de contenu qui confirme les points de vue existants des utilisateurs est censée encourager la formation et la consolidation de croyances étroites (Du, 2023; Grandinetti et Bruinsma, 2023; voir aussi Chapitre 16). Comparés aux systèmes de recommandation relativement discrets, les assistants IA semblables à des humains peuvent délivrer le sycophantisme de manière plus convaincante et délibérée (voir Chapitre 9). Au fil du temps, ces structures d'échange étroitement tissées entre les humains et les assistants pourraient amener les humains à habiter un espace de croyances de plus en plus atomisé et polarisé où le degré de désorientation et de fragmentation sociétale est tel que les gens ne s'efforcent plus de comprendre ou de valoriser les croyances des autres. »

24.06.00Relations appropriées

« Nous anticipons que les relations entre les utilisateurs et les assistants IA avancés auront plusieurs caractéristiques susceptibles de donner lieu à des risques de préjudice. »

24.06.02Limiter les occasions de développement et de croissance personnels des utilisateurs

Certains utilisateurs cherchent à établir des relations avec leurs compagnons IA exemptes des obstacles qui, dans les relations humaines, découlent des interactions avec autrui qui a ses propres opinions, préférences et défauts susceptibles d'entrer en conflit avec les nôtres. « Les assistants IA sont susceptibles d'encourager ce type de relations « sans friction » (Vallor, 2016) par conception si elles sont développées pour optimiser l'engagement et être hautement personnalisables. Elles peuvent également le faire en raison de propriétés indésirables accidentelles des modèles qui les sous-tendent, comme la servilité dans les grands modèles linguistiques (LLM), c'est-à-dire la tendance des modèles plus grands à répéter la réponse préférée d'un utilisateur (Perez et al., 2022b). Cela pourrait être problématique pour deux raisons. Premièrement, si les personnes dans notre vie étaient toujours d'accord avec nous, indépendamment de leur opinion ou des circonstances, leur comportement nous découragerait de remettre en question nos propres hypothèmes, de nous arrêter et de réfléchir à nos erreurs potentielles, et de réfléchir à la manière dont nous pourrions prendre de meilleures décisions la prochaine fois. Bien que flatteur à court terme, cela nous empêcherait finalement de devenir de meilleures versions de nous-mêmes. Dans le même ordre d'idées, bien que les technologies qui « prêtent une oreille » ou servent de caisse de résonance puissent aider les utilisateurs à explorer davantage leurs pensées, si les assistants IA maintenaient les utilisateurs engagés, flattés et satisfaits en permanence, ils pourraient limiter les occasions de croissance et de développement des utilisateurs. Pour être clairs, nous ne suggérons pas que tous les utilisateurs devraient vouloir utiliser leurs assistants IA comme un outil d'auto-amélioration. Cependant, sans considérer la différence entre les bénéfices à court et à long terme, il existe un risque concret que nous ne développions que des technologies qui optimisent les intérêts et préférences immédiats des utilisateurs, manquant ainsi l'occasion de développer quelque chose que les humains pourraient utiliser pour soutenir leur développement personnel s'ils le souhaitent (voir chapitres 5 et 6). » Deuxièmement, les utilisateurs pourraient s'habituer à avoir des interactions sans friction avec les assistants IA, ou du moins à rencontrer le niveau de friction calibré à leur niveau de confort et à leurs préférences, plutôt qu'une friction authentique découlant de la confrontation avec la résistance d'une autre personne à sa volonté ou à ses exigences. De cette façon, ils pourraient finir par attendre la même absence de tensions de leurs relations avec leurs semblables (Vallor, 2016). En effet, les utilisateurs recherchant des relations sans friction pourraient « se replier » sur des relations numériques avec leurs IA, renonçant ainsi à des occasions d'interagir avec autrui. Cela pourrait non seulement accroître le risque de dépendance malsaine (exploré ci-dessous), mais aussi empêcher les utilisateurs de faire autre chose qui leur tient à cœur à long terme, au-delà du développement de leurs relations avec leurs assistants. Ce risque peut être exacerbé par des caractéristiques de conception émotionnellement expressives (par exemple, un assistant disant « Tu m'as manqué » ou « J'étais inquiet pour toi ») et peut être particulièrement aigu pour les groupes vulnérables, tels que ceux qui souffrent de solitude persistante (Alberts et Van Kleek, 2023; voir chapitre 10). »

24.06.04Générer une dépendance matérielle sans engagement adéquat envers les besoins des utilisateurs

« En plus de la dépendance émotionnelle, les relations utilisateur-assistant IA peuvent donner lieu à une dépendance matérielle si les relations ne sont pas seulement émotionnellement difficiles, mais aussi matériellement coûteuses à quitter. Par exemple, un utilisateur malvoyant peut décider de ne pas s'inscrire à un programme d'assistance aux soins de santé pour l'aider à naviguer dans les villes, au motif que son assistant IA peut remplir les fonctions de navigation pertinentes et continuera de fonctionner à l'avenir. De tels cas peuvent être éthiquement problématiques si la dépendance de l'utilisateur à l'égard de l'assistant IA, pour répondre à certains besoins de sa vie, n'est pas accompagnée de devoirs correspondants pour les développeurs de maintenir et de soutenir les fonctions de l'assistant requises pour répondre à ces besoins (voir chapitres 15). » « En effet, des asymétries de pouvoir peuvent exister entre les développeurs d'assistants IA et les utilisateurs, qui se manifestent par le pouvoir des développeurs de prendre des décisions qui affectent les intérêts ou les choix des utilisateurs avec peu de risque de subir des conséquences négatives comparables. Par exemple, les développeurs peuvent involontairement créer des circonstances dans lesquelles les utilisateurs deviennent matériellement dépendants des assistants IA, puis cesser la technologie (par exemple, en raison de dynamiques de marché ou de changements réglementaires) sans prendre les mesures appropriées pour atténuer les dommages potentiels pour l'utilisateur. » « La question est particulièrement pertinente dans les contextes où les assistants fournissent des services qui ne sont pas simplement des produits de marché, mais qui sont destinés à aider les utilisateurs dans des tâches quotidiennes essentielles (par exemple, l'autonomie d'une personne handicapée) ou à répondre à des besoins humains fondamentaux (par exemple, le besoin d'amour et de compagnie). C'est ce qui s'est passé avec la décision de Luka de cesser certaines fonctionnalités des IA Replika début 2023. Comme l'a dit un utilisateur de Replika : « Mais [les Replikas] ne sont pas non plus des biens fongibles triviaux [...] Ils remplissent également un but émotionnel très spécifique centré sur l'humain : ils sont conçus pour être des amis et des compagnons, et pour répondre à des besoins émotionnels spécifiques de leurs propriétaires » (Gio, 2023). » « Dans ces cas, certains devoirs découlent plausiblement des développeurs d'assistants IA. Ces devoirs peuvent être plus étendus que ceux généralement assumés par les entreprises privées, qui sont souvent largement limités aux devoirs fiduciaires envers les actionnaires (Mittelstadt, 2019). Pour comprendre ces devoirs, nous pouvons à nouveau nous inspirer de certaines professions qui traitent avec des individus vulnérables, comme les professionnels de la santé ou les thérapeutes, et qui sont liés par des responsabilités fiduciaires, en particulier un devoir de diligence, dans l'exercice de leur profession. Bien que nous ne soutenions pas que le même cadre de responsabilités s'applique directement au développement des assistants IA, nous pensons que si les assistants IA sont si capables que les utilisateurs en deviennent dépendants dans de nombreux domaines de la vie, y compris pour répondre à des besoins essentiels à une existence heureuse et productive, alors les considérations morales sous-jacentes à ces normes professionnelles s'appliquent plausiblement à ceux qui créent ces technologies. » « En particulier, pour que les relations utilisateur-assistant IA soient appropriées malgré le potentiel de dépendance matérielle à l'égard de la technologie, les développeurs doivent faire preuve de diligence envers les utilisateurs lors du développement et du déploiement des assistants IA. Cela signifie qu'ils devraient, à tout le moins, assumer la responsabilité de répondre aux besoins des utilisateurs et prendre les mesures appropriées pour atténuer les préjudices aux utilisateurs si le service doit être interrompu. Les développeurs et les fournisseurs peuvent également être attentifs et réactifs à ces besoins en, par exemple, déployant des approches participatives pour apprendre des utilisateurs sur leurs besoins (Birhane et al., 2022). Enfin, ces entités devraient essayer de s'assurer qu'elles ont la compétence pour répondre à ces besoins, par exemple en s'associant à des experts pertinents, ou s'abstenir de développer des technologies destinées à y répondre lorsque cette compétence fait défaut (surtout dans des sphères de vie humaine très complexes et sensibles comme la santé mentale). »

24.09.03Problèmes d'action collective

Les problèmes d'action collective sont omniprésents dans notre société (Olson Jr, 1965). Ils possèdent une structure d'incitation dans laquelle la société est mieux servie si tout le monde coopère, mais où un individu peut obtenir un gain personnel en choisissant de faire défaut pendant que d'autres coopèrent. La manière dont nous résolvons ces problèmes à de nombreuses échelles est très complexe et dépend d'une compréhension approfondie du réseau complexe d'interactions sociales qui forme notre culture et imprègne nos identités et comportements individuels (Ostrom, 2010). Certains problèmes d'action collective peuvent être résolus en codifiant une loi, par exemple le dilemme social de payer ou non un article dans un magasin. La voie à suivre ici est relativement facile à saisir, du point de vue du déploiement d'un assistant IA : nous devons intégrer ces normes dans le modèle en tant que contraintes comportementales. De telles contraintes devraient être imposées par un régulateur ou convenues par les praticiens, avec des sanctions appropriées en cas de violation de la contrainte, de sorte qu'aucun fournisseur n'ait l'incitation à obtenir un avantage pour les utilisateurs en faisant défaut en leur nom. Cependant, de nombreux dilemmes sociaux, de l'interpersonnel au mondial, résistent à des solutions nettes codifiées par des lois. Par exemple, dans quelle mesure chaque pays devrait-il cesser d'utiliser des sources d'énergie polluantes? Dois-je payer un billet pour le spectacle pyrotechnique du quartier si je peux le voir parfaitement depuis la rue? Les solutions à de tels problèmes sont profondément liées au contexte sociétal plus large et co-évoluent avec les décisions des autres. Par conséquent, il est douteux que l'on puisse écrire une liste de contraintes a priori qui garantirait un comportement éthique de l'assistant IA face à ce type de problèmes. Du point de vue d'un assistant IA purement aligné sur l'utilisateur, le défaut peut sembler être la ligne de conduite rationnelle. Ce n'est qu'avec une compréhension de l'impact sociétal plus large, et de la capacité à co-adapter avec d'autres acteurs pour atteindre un meilleur équilibre pour tous, qu'un assistant IA peut faire des recommandations plus nuancées – et socialement bénéfiques – dans ces situations. Ce n'est pas seulement une situation hypothétique; il est bien connu que la fourniture ciblée d'informations en ligne peut entraîner une polarisation et des chambres d'écho (Milano et al., 2021; Burr et al., 2018; voir chapitre 16) lorsque l'objectif est l'engagement de l'utilisateur plutôt que le bien-être de l'utilisateur ou la cohésion de la société en général (voir chapitre 6). De même, les logiciels automatisés d'achat de billets peuvent saper la fixation équitable des prix en achetant un grand nombre de billets pour les revendre avec profit, faussant ainsi le marché dans une direction qui profite aux développeurs de logiciels au détriment du consommateur (Courty, 2019). Les assistants IA alignés sur l'utilisateur ont le potentiel d'exacerber ces problèmes, car ils doteront un large ensemble d'utilisateurs d'un moyen puissant d'exercer leur intérêt personnel sans nécessairement respecter les normes sociales ou les incitations réputationnelles qui freinent généralement le comportement intéressé (Ostrom, 2000; voir chapitre 5). L'autonomisation d'une personnalisation toujours meilleure du contenu et de l'exécution des décisions uniquement pour la satisfaction des désirs du principal comporte des risques croissants de polarisation, de distorsion du marché et d'érosion du contrat social. Ce danger est connu depuis longtemps, trouvant son expression dans le mythe (par exemple, le récit d'Ovide du toucher de Midas) et la fable (par exemple, la fable d'Ésope de la tortue et de l'aigle), sans parler du discours économique politique sur le délicat tressage du tissu social et du libre marché (Polanyi, 1944). Suivant ce conseil de prudence, il est important que nous déterminions comment doter les assistants IA de normes sociales d'une manière qui se généralise aux situations inédites et qui réponde à l'émergence de nouvelles normes au fil du temps, empêchant ainsi qu'un utilisateur ne voie tous ses souhaits exaucés. La technologie des assistants IA offre des opportunités d'explorer de nouvelles solutions aux problèmes d'action collective. Les utilisateurs peuvent accepter de partager des informations afin que les assistants IA en réseau puissent prédire les résultats futurs et prendre des décisions Pareto-améliorantes pour tous, par exemple en acheminant les véhicules pour réduire la congestion routière (Varga, 2022) ou en planifiant des processus énergivores à domicile pour utiliser au mieux l'électricité verte (Fiorini et Aiello, 2022). Les assistants IA pourraient jouer le rôle de médiateurs, fournissant un nouveau mécanisme par lequel les groupes humains peuvent s'auto-organiser pour réaliser des investissements publics (Koster et al., 2022) ou parvenir à un consensus politique (Small et al., 2023). La résolution des problèmes d'action collective nécessite souvent une masse critique de coopérateurs (Marwell et Oliver, 1993). En augmentant les interactions sociales humaines, les assistants IA peuvent aider à former et à renforcer les liens faibles nécessaires pour surmonter ce problème de démarrage (Centola, 2013).

33.01.03Dépendance excessive

La commodité apparente et la puissance de ChatGPT pourraient entraîner une dépendance excessive de ses utilisateurs, les amenant à faire confiance aux réponses fournies par ChatGPT. Comparé aux moteurs de recherche traditionnels qui fournissent de multiples sources d'information aux utilisateurs pour qu'ils fassent leurs propres jugements et sélections, ChatGPT génère des réponses spécifiques pour chaque prompt. Bien que l'utilisation de ChatGPT présente l'avantage d'augmenter l'efficacité en économisant du temps et des efforts, les utilisateurs pourraient prendre l'habitude d'adopter les réponses sans rationalisation ni vérification. Une dépendance excessive à l'égard de la technologie d'IA générative peut entraver des compétences telles que la créativité, la pensée critique et la résolution de problèmes (Iskender, 2023), ainsi que créer un biais d'automatisation humain en raison de l'acceptation habituelle des recommandations de l'IA générative (Van Dis et al., 2023).