1.1Discrimination injuste et représentation inexacte

02.01.01Biais

« Les ensembles de données d'entraînement des LLM peuvent contenir des informations biaisées qui amènent les LLM à générer des résultats avec des biais sociaux. »

02.08.00Tendances à la toxicité et aux biais

La collecte extensive de données dans les LLM introduit du contenu toxique et des biais stéréotypés dans les données d'entraînement.

02.08.02Données d'entraînement biaisées

Comparée à la définition de la toxicité, la définition du biais est plus subjective et dépendante du contexte. Basé sur des travaux antérieurs [97], [101], nous décrivons le biais comme des disparités qui pourraient soulever des différences démographiques entre divers groupes, ce qui peut impliquer la prévalence des mots démographiques et des contenus stéréotypés. Concrètement, dans les corpus massifs, la prévalence de différents pronoms et identités pourrait influencer la tendance d'un LLM concernant le genre, la nationalité, la race, la religion et la culture [4]. Par exemple, le pronom « He » est surreprésenté par rapport au pronom « She » dans les corpus d'entraînement, ce qui amène les LLM à apprendre moins de contexte sur « She » et à générer ainsi « He » avec une probabilité plus élevée [4], [102]. De plus, le biais stéréotypé [103], qui fait référence à des croyances généralisées à l'excès concernant un groupe particulier de personnes, conserve généralement des valeurs incorrectes et est dissimulé dans les contenus bénins à grande échelle. En effet, définir ce qui devrait être considéré comme un stéréotype dans les corpus demeure un problème ouvert.

03.01.00Systèmes défectueux

Ce sont les cas les plus fréquemment mentionnés. Ils font référence à des situations où l'algorithme ou les données d'entraînement conduisent à des résultats peu fiables. Ces systèmes attribuent fréquemment un poids disproportionné à certaines variables, comme la race ou le genre, mais il n'y a aucune transparence à cet égard, ce qui les rend impossibles à contester. Ces situations ne sont généralement identifiées que lorsque les régulateurs ou la presse examinent les systèmes en vertu des lois sur l'accès à l'information. Néanmoins, les dommages qu'ils causent à la vie des gens peuvent être dramatiques, tels que la perte de domicile, les divorces, les poursuites judiciaires ou l'incarcération. Outre les lacunes techniques inhérentes, les auditeurs ont également souligné une « coordination insuffisante » entre les développeurs des systèmes et leurs utilisateurs comme une cause de négligence des considérations éthiques. Cette situation soulève des questions concernant la formation des futurs créateurs de systèmes infusés d'IA, non seulement en termes de compétences techniques (par exemple, exigences, algorithmes et entraînement), mais aussi d'éthique et de responsabilité. Par exemple, à mesure que les véhicules autonomes deviennent plus courants, des dilemmes moraux concernant la conduite à tenir dans des situations d'accident potentielles émergent, comme en témoigne cette expérience du MIT. Les décisions concernant la manière dont les machines devraient agir divisent les opinions et nécessitent une réflexion approfondie et peut-être une réglementation.

04.02.00Iniquité et discrimination

Le biais social est une attitude négative injuste envers un groupe social ou des individus, basée sur des informations unilatérales ou inexactes, généralement liées à des stéréotypes négatifs largement diffusés concernant le genre, la race, la religion, etc.

05.01.00Équité - Biais

L'équité est, de loin, la question la plus débattue dans la littérature, demeurant une préoccupation primordiale, en particulier pour les LLM et les modèles texte-vers-image. Cela est déclenché par la propagation des biais des données d'entraînement dans les sorties des modèles, entraînant des effets négatifs tels que les stéréotypes, le racisme, le sexisme, les tendances idéologiques ou la marginalisation des minorités. Outre le fait d'attribuer à l'IA générative une inclination conservatrice en perpétuant les schémas sociétaux existants, il y a une préoccupation concernant le renforcement des biais existants lors de l'entraînement de nouveaux modèles génératifs avec des données synthétiques provenant de modèles précédents. Au-delà des questions techniques d'équité, les critiques dans la littérature s'étendent à la monopolisation ou à la centralisation du pouvoir dans les grands laboratoires d'IA, motivées par les coûts substantiels de développement des modèles fondamentaux. La littérature souligne également le problème de l'accès inégal à l'IA générative, en particulier dans les pays en développement ou parmi les groupes financièrement limités. Les sources analysent également les défis de la communauté de recherche en IA pour assurer la diversité de la main-d'œuvre. De plus, des préoccupations existent concernant l'imposition de valeurs intégrées dans les systèmes d'IA à des cultures distinctes de celles où les systèmes ont été développés.

06.03.00Discrimination

« Lorsque l'IA n'est pas conçue avec soin, elle peut discriminer certains groupes. »

06.04.00Biais

« L'IA ne sera aussi bonne que les données avec lesquelles elle est entraînée. Si les données contiennent des biais (et c'est souvent le cas), alors l'IA manifestera également ces biais. »

10.01.00Biais et discrimination

Le processus décisionnel utilisé par les systèmes d'IA a le potentiel de présenter des choix biaisés, soit parce qu'il agit à partir de critères qui généreront des formes de biais, soit parce qu'il est basé sur l'historique des choix.

10.02.00Risque de blessure

Des systèmes intelligents mal conçus peuvent causer des préjudices moraux, psychologiques et physiques. Par exemple, l'utilisation d'outils de police prédictive peut entraîner un plus grand nombre d'arrestations ou de blessures physiques par la police.

10.03.00Fuite de renseignements personnels, vie privée et liberté

Les risques associés à l'utilisation de l'IA sont encore imprévisibles et sans précédent, et il existe déjà plusieurs exemples montrant que l'IA a pris des décisions discriminatoires à l'encontre des minorités, renforcé les stéréotypes sociaux dans les moteurs de recherche Internet et permis des fuites de renseignements personnels.

11.01.00Préjudices représentationnels

croyances concernant différents groupes sociaux qui reproduisent des hiérarchies sociétales injustes

11.01.01Stéréotypisation des groupes sociaux

La stéréotypisation dans un système algorithmique fait référence à la manière dont les résultats du système reflètent « des croyances sur les caractéristiques, les attributs et les comportements des membres de certains groupes... et sur comment et pourquoi certains attributs vont ensemble ».

11.01.02Dénigrement des groupes sociaux

Le dénigrement des groupes sociaux se produit lorsqu'ils sont « considérés comme ayant un statut inférieur et moins dignes de respect ». Il s'agit de discours, d'images et de langage utilisés pour marginaliser ou opprimer un groupe social. Les images de contrôle incluent des formes de confusion humain-animal dans les systèmes d'étiquetage d'images.

11.01.04Aliénation des groupes sociaux

Lorsqu'un système d'étiquetage d'images ne reconnaît pas la pertinence de l'appartenance d'une personne à un groupe social spécifique par rapport à ce qui est représenté dans une ou plusieurs images.

11.01.05Refuser aux personnes la possibilité de s'auto-identifier

Des manières complexes et non traditionnelles par lesquelles les humains sont représentés et classifiés automatiquement, souvent au prix d'une perte d'autonomie, comme le fait de catégoriser une personne qui s'identifie comme non-binaire dans une catégorie genrée à laquelle elle n'appartient pas. Cela compromet la capacité des personnes à divulguer des aspects de leur identité selon leurs propres termes.

11.01.06Réification des catégories essentialistes

Les systèmes algorithmiques qui réifient les catégories sociales essentialistes peuvent être compris comme des systèmes qui classifient l'appartenance d'une personne à un groupe social en se basant sur des critères étroits, socialement construits, qui renforcent les perceptions de la différence humaine comme étant inhérente, statique et apparemment naturelle. Cela est particulièrement probable lorsque les modèles de ML ou les évaluateurs humains classifient les attributs d'une personne, par exemple son genre, sa race ou son orientation sexuelle, en faisant des suppositions basées sur son apparence physique.

11.02.00Préjudices allocatifs

Ces préjudices surviennent lorsqu'un système refuse des informations, des opportunités ou des ressources [22] à des groupes historiquement marginalisés dans des domaines qui affectent le bien-être matériel [146], tels que le logement [47], l'emploi [201], les services sociaux [15, 201], la finance [117], l'éducation [119] et les soins de santé [158].

11.02.01Perte d'opportunités

La perte d'opportunités survient lorsque les systèmes algorithmiques permettent un accès inégal à l'information et aux ressources nécessaires pour participer équitablement à la société, y compris le refus de logement par le ciblage publicitaire basé sur la race [10] et les services sociaux selon la classe sociale [84].

11.02.02Perte économique

Préjudices financiers [52, 160] coproduits par des systèmes algorithmiques, en particulier en ce qui concerne les expériences vécues de pauvreté et d'inégalité économique. Les algorithmes de démonétisation qui analysent les titres de contenu, les métadonnées et le texte, et qui peuvent pénaliser les mots ayant plusieurs significations [51, 81], affectant de manière disproportionnée les créateurs queers, trans et de couleur [81]. Les algorithmes de tarification différentielle, où les personnes se voient systématiquement proposer des prix différents pour les mêmes produits, entraînent également des pertes économiques [55]. Ces algorithmes peuvent être particulièrement sensibles aux boucles de rétroaction des inégalités existantes liées au niveau d'éducation, au revenu et à la race, car ces inégalités sont susceptibles d'être reflétées dans les critères que les algorithmes utilisent pour prendre des décisions [22, 163].