7.4Manque de transparence ou d'interprétabilité

05.13.00Transparence - Explicabilité

Étant un concept multifacette, le terme « transparence » est utilisé à la fois pour désigner l'explicabilité technique et l'ouverture organisationnelle. Concernant le premier aspect, les études soulignent la nécessité d'une interprétabilité mécanistique et d'expliquer les mécanismes internes des modèles génératifs. Sur le plan organisationnel, la transparence se rapporte à des pratiques telles que l'information des utilisateurs sur les capacités et les lacunes des modèles, ainsi que le respect des exigences de documentation et de rapport pour les processus de collecte de données ou les évaluations des risques.

06.06.00Manque de transparence

« L'idée d'une « boîte noire » prenant des décisions sans aucune explication, sans offrir de perspicacité sur le processus, présente quelques inconvénients : elle peut ne pas gagner la confiance de ses utilisateurs et elle peut ne pas satisfaire aux normes réglementaires, comme la capacité d'audit. »

09.02.03Transparence de la prise de décision

Nous faisons face à des défis importants pour apporter de la transparence aux processus de prise de décision des réseaux artificiels. Aurons-nous de la transparence dans la prise de décision de l'IA?

10.05.00Manque de transparence

Dans les situations où le développement et l'utilisation de l'IA ne sont pas expliqués à l'utilisateur, ou lorsque les processus décisionnels ne fournissent pas les critères ou les étapes qui constituent la décision, l'utilisation de l'IA devient inexplicable.

12.04.00Explicabilité et transparence

La faisabilité de comprendre et d'interpréter les décisions et les actions d'un système d'IA, et l'ouverture du développeur concernant les données utilisées, les algorithmes employés et les décisions prises. L'absence de ces éléments peut créer des risques d'utilisation abusive, de mauvaise interprétation et de manque de reddition de comptes.

14.05.00Degré de transparence et d'explicabilité

La transparence est la caractéristique d'un système qui décrit la mesure dans laquelle des informations appropriées sur le système sont communiquées aux parties prenantes pertinentes, tandis que l'explicabilité décrit la propriété d'un système d'IA à exprimer les facteurs importants influençant les résultats du système d'IA d'une manière compréhensible pour les humains. Les informations sur le modèle sous-jacent au processus de prise de décision sont pertinentes pour la transparence. Les systèmes avec un faible degré de transparence peuvent présenter des risques en termes d'équité, de sécurité et de reddition de comptes.

30.05.00Explicabilité et raisonnement

La capacité d'expliquer les sorties aux utilisateurs et de raisonner correctement.

30.05.01Manque d'interprétabilité

En raison de la nature boîte noire de la plupart des modèles d'apprentissage automatique, les utilisateurs ne sont généralement pas en mesure de comprendre le raisonnement derrière les décisions du modèle.

33.02.03Explicabilité

Une préoccupation récurrente concernant les algorithmes d'IA est le manque d'explicabilité du modèle, ce qui signifie que les informations sur la manière dont l'algorithme parvient à ses résultats sont déficientes (Deeks, 2019). Spécifiquement, pour les modèles d'IA générative, il n'y a pas de transparence sur le raisonnement de la manière dont le modèle parvient aux résultats (Dwivedi et al., 2023). Le manque de transparence soulève plusieurs problèmes. Premièrement, il peut être difficile pour les utilisateurs d'interpréter et de comprendre la sortie (Dwivedi et al., 2023). Il serait également difficile pour les utilisateurs de découvrir des erreurs potentielles dans la sortie (Rudin, 2019). De plus, lorsque l'interprétation et l'évaluation de la sortie sont inaccessibles, les utilisateurs peuvent avoir des problèmes à faire confiance au système et à leurs réponses ou recommandations (Burrell, 2016). De plus, du point de vue du droit et de la réglementation, il serait difficile pour l'organisme de réglementation de juger si le système d'IA générative est potentiellement injuste ou biaisé (Rieder & Simon, 2017).

33.02.05Ingénierie des prompts

Avec la large application de l'IA générative, la capacité d'interagir avec l'IA de manière efficace et efficiente est devenue l'une des littératies médiatiques les plus importantes. Par conséquent, il est impératif que les utilisateurs d'IA générative apprennent et appliquent les principes de l'ingénierie des prompts, qui fait référence à un processus systématique de conception minutieuse des prompts ou des entrées aux modèles d'IA générative pour obtenir des sorties précieuses. En raison de l'ambiguïté des langues humaines, l'interaction entre les humains et les machines par le biais de prompts peut entraîner des erreurs ou des malentendus. Par conséquent, la qualité des prompts est importante. Un autre défi consiste à déboguer les prompts et à améliorer la capacité de communiquer avec l'IA générative (V. Liu & Chilton, 2022).

37.02.04Attribuer la responsabilité des défaillances de l'IA

"Cette section, qui constitue près de 8 % des articles, aborde les implications découlant de l'action et de l'apprentissage de l'IA sans supervision humaine directe, englobant deux problèmes principaux : une lacune en matière de responsabilité et le statut moral de l'IA."

38.03.00Transparence et explicabilité

Une plainte récurrente parmi les participants était le manque de connaissances sur la manière dont les systèmes d'IA prenaient leurs décisions. Ils ont souligné l'importance de rendre les systèmes d'IA plus visibles et explicables afin que les gens puissent avoir confiance en leurs résultats et les tenir responsables de leurs actions. Comme les systèmes d'IA sont généralement opaques, ce qui rend difficile pour les utilisateurs de comprendre la logique derrière leurs décisions, des préoccupations éthiques concernant l'IA, ainsi que des problèmes de transparence et d'explicabilité, surgissent. Ce manque de compréhension peut générer de la méfiance et une réticence à adopter la technologie de l'IA, tout en rendant plus difficile de tenir les systèmes d'IA responsables de leurs actions.

38.05.00Confiance et fiabilité

Les participants à l'étude ont souligné l'importance de la fiabilité et de la crédibilité des systèmes d'IA. Les auteurs ont souligné l'importance de préserver la précision et l'objectivité dans les résultats produits par les systèmes d'IA, tout en assurant la transparence de leurs procédures de prise de décision. L'importance de la fiabilité et de la crédibilité des systèmes d'IA s'accroît parallèlement à la prolifération de ces technologies dans divers domaines de la société. Cela souligne l'importance d'assurer la confiance des utilisateurs. La préoccupation concernant la fiabilité des systèmes d'IA et leurs biais inhérents est une question courante parmi les participants à la recherche, soulignant la nécessité de procédures de validation rigoureuses et de transparence. L'établissement et la mise en œuvre de normes fiables, la garantie d'algorithmes impartiaux et le maintien de la transparence dans le processus de prise de décision sont des mesures essentielles pour aborder les considérations éthiques et favoriser la confiance dans les systèmes d'IA. L'avancement et la mise en œuvre de la technologie de l'IA de manière éthique dépendent de la résolution réussie des problèmes de confiance et de fiabilité. Ces questions sont d'une importance primordiale pour assurer la protection du bien-être des utilisateurs et la promotion des avantages sociétaux. L'utilisation de l'intelligence artificielle a été jugée comme un sujet de préoccupation important pour la majorité des interviewés, en particulier en ce qui concerne la confiance et la fiabilité (Tableau 1, Figure 1). L'établissement de la confiance dans les systèmes d'IA a été souligné comme un facteur crucial pour faciliter leur adoption généralisée par deux des participants, spécifiquement les participants 4 et 7. Les auteurs ont réitéré l'importance de prioriser le développement d'algorithmes fiables et impartiaux.

39.19.00Reddition de comptes

Une caractéristique essentielle de la prise de décision chez les humains, l'IA et aussi les agents basés sur l'interaction homme-machine (HLI) est la reddition de comptes. La mise en œuvre de cette caractéristique dans les machines est une tâche difficile car de nombreux défis doivent être pris en compte pour organiser un modèle basé sur l'IA qui soit responsable. Il convient de noter que cette question dans la prise de décision humaine n'est pas idéale, et de nombreux facteurs tels que le biais, la diversité, l'équité, le paradoxe et l'ambiguïté peuvent l'affecter. De plus, le processus de prise de décision humaine est basé sur la flexibilité personnelle, les paradigmes sensibles au contexte, l'empathie et des jugements moraux complexes. Par conséquent, tous ces défis sont inhérents à la conception d'algorithmes pour l'IA ainsi que pour les modèles HLI qui tiennent compte de la reddition de comptes.

39.20.00Transparence

une entité externe d'un écosystème basé sur l'IA peut vouloir savoir quelles parties des données affectent la décision finale dans un modèle d'apprentissage.

39.21.00Reproductibilité

Comment un modèle d'apprentissage peut-il être reproduit lorsqu'il est obtenu sur la base de divers ensembles de données et d'un grand espace de paramètres. Ce problème devient plus difficile dans les procédures d'apprentissage basées sur les données sans instructions transparentes.

39.25.00Vérifiabilité

Dans de nombreuses applications de systèmes basés sur l'IA telles que les soins de santé médicale et les services militaires, le manque de vérification du code peut ne pas être tolérable... en raison de certaines caractéristiques telles que la structure non linéaire et complexe des solutions basées sur l'IA, les solutions existantes ont généralement été considérées comme des « boîtes noires », ne fournissant aucune information sur ce qui les fait apparaître exactement dans leurs prédictions et processus de prise de décision.

42.01.00Responsabilité

La capacité de déterminer si une décision a été prise conformément aux normes procédurales et de fond, et de tenir quelqu'un responsable si ces normes ne sont pas respectées.

42.06.00Opacité

Résulte de l'inadéquation entre l'optimisation mathématique en haute dimensionnalité caractéristique de l'apprentissage automatique et les exigences du raisonnement à l'échelle humaine et des styles d'interprétation sémantique.

42.21.00Explicabilité

Toute action ou procédure effectuée par un modèle dans l'intention de clarifier ou de détailler ses fonctions internes.