Série L'intelligence artificielle est à nos portes : Parlons biais, équité et transparence (DDN2-V23)

Transcription : Série L'intelligence artificielle est à nos portes : Parlons biais, équité et transparence

[Le logo de l'École de la fonction publique du Canada (EFPC) apparaît à l'écran.]

[Alex Keys apparaît dans une fenêtre de clavardage vidéo.]

Alex Keys, École de la fonction publique du Canada : Bonjour à tous. Bienvenue à l'École de la fonction publique du Canada. Je m'appelle Alex Keys et je suis directrice au sein de l'équipe des compétences transférables ici, à l'école. Je vais présenter l'activité d'aujourd'hui. Je suis très heureuse d'être ici avec vous aujourd'hui et je souhaite la bienvenue à tous ceux et celles qui ont choisi de participer. Avant d'aller plus loin, j'aimerais reconnaître, puisque je vous parle depuis Ottawa, que je me trouve sur le territoire traditionnel non cédé du peuple anichinabé. Notre participation à cette activité virtuelle est une occasion de reconnaître que nous travaillons tous dans des lieux différents et que, par conséquent, chacun d'entre nous travaille sur un territoire autochtone traditionnel différent. Je vous invite à prendre un instant pour y réfléchir et le reconnaître.

Merci. L'événement d'aujourd'hui est le cinquième volet de notre série L'intelligence artificielle est à nos portes, que l'école propose en partenariat avec l'Institut Schwartz Reisman pour la technologie et la société, un centre de recherche et de solutions de l'Université de Toronto. Il a pour mission de veiller à ce que les technologies comme l'intelligence artificielle (IA) soient sûres, responsables et exploitées pour le bien de tous. Après avoir abordé des thèmes comme quand et comment l'IA peut être utilisée, le consentement citoyen et les répercussions de l'IA sur l'économie, nous allons aujourd'hui nous pencher sur le sujet de l'IA et des préjugés, de l'équité et de la transparence. L'événement d'aujourd'hui sera structuré de la façon suivante. Tout d'abord, nous regarderons une conférence de 30 minutes donnée par la professeure Gillian Hadfield, directrice et titulaire de la chaire en technologie et société de l'Institut Schwartz Reisman, ainsi que professeure de droit et de gestion stratégique à l'Université de Toronto. Après la conférence, nous passerons à la conversation entre nos deux panélistes invités.

Le premier est Ron Bodkin, vice-président de l'ingénierie de l'IA et dirigeant principal de l'information de l'Institut Vecteur, une organisation indépendante sans but lucratif se consacrant à la recherche dans le domaine de l'IA. Il est également chef de l'ingénierie à l'Institut Schwartz Reisman. Le second est Ishtiaque Ahmed, professeur adjoint au Département d'informatique de l'Université de Toronto et membre du personnel enseignant de l'Institut Schwartz Reisman. Ron et Ishtiaque discuteront des sujets et des thèmes abordés dans le cadre de l'exposé, puis la conversation sera suivie d'une période de questions des participants.

Avant de vous présenter la conférence, voici quelques indications d'ordre administratif qui nous aideront à rendre cette expérience le plus agréable possible. Pour optimiser votre visionnement, nous vous recommandons de vous déconnecter de votre RPV ou d'utiliser un appareil personnel pour regarder la séance, si possible. Si vous rencontrez des problèmes techniques, nous vous recommandons de relancer la webdiffusion en cliquant à nouveau sur le lien qui a été envoyé par courriel. Une traduction simultanée est disponible pour les participants qui se joignent à la webdiffusion. Vous pouvez choisir la langue officielle de votre choix en utilisant l'interface vidéo ou suivre les instructions fournies dans le courriel de rappel, qui comprend un numéro de conférence vous permettant d'écouter l'événement dans la langue de votre choix. Vous êtes invités à poser des questions tout au long de l'activité en utilisant l'interface vidéo collaborative sur laquelle vous regardez l'événement. Vous n'avez qu'à cliquer sur le bouton « lever la main » dans le coin supérieur droit de votre écran et à saisir votre question. Nous surveillerons la boîte de réception tout au long de l'activité. Maintenant, sans plus tarder, commençons la conférence.

[Un écran titre apparaît progressivement et indique « Série L'intelligence artificielle est à nos portes ».]

[On lit sur l'écran : « Que signifient toutes ces histoires au sujet des préjugés, de l'équité et de la transparence? »]

[Les mots s'estompent et l'on voit apparaître « Gillian Hadfield, professeure de droit et d'économie à l'Université de Toronto, directrice de l'Institut Schwartz Reisman et titulaire de la chaire Schwartz Reisman. » Elle se tient devant un fond bleu et des illustrations représentatives apparaissent à sa gauche.]

Gillian Hadfield : Depuis 2016 environ, les gouvernements ont commencé à accorder plus d'attention aux possibilités qu'offre l'intelligence artificielle (IA) et aux difficultés qu'elle pose.

[Le texte suivant figure sur l'illustration : « Quelles sont les difficultés posées par l'intelligence artificielle? »]

On se souviendra de l'élection présidentielle de 2016 aux États-Unis, au cours de laquelle nous avons appris que des systèmes d'apprentissage profond avaient été déployés, à l'aide de questionnaires sur la psychologie apparemment inoffensifs sur Facebook, pour alimenter des publicités politiques très ciblées.

[Un titre indique « Les données de 50 millions d'utilisateurs de Facebook ont été obtenues par une entreprise liée à Trump ». Un autre titre s'affiche progressivement : « Comment le système AlphaGo de Google a battu un champion du monde de Go ».]

L'année 2016 est également celle où l'entreprise DeepMind, propriété de Google, a annoncé que son système d'apprentissage automatique AlphaGo avait battu le champion du monde du jeu de Go. C'est aussi à cette époque que nous avons commencé à entendre parler des problèmes que pourrait engendrer l'IA et que les concepts de biais algorithmique, d'apprentissage automatique équitable et de transparence de l'IA sont apparus dans le débat public. Dans cette vidéo, je vous parlerai de ces concepts et vous renseignerai sur les sujets dont tout le monde parle.

[Une image montre des silhouettes de têtes dans lesquelles se trouvent des points d'interrogation et une autre dans laquelle se trouve une ampoule allumée. Deux panneaux en forme de flèches sur lesquelles se trouvent des ampoules apparaissent progressivement sur l'image.]

Avant de commencer, je voudrais poser deux balises dans le contexte de ce débat public. Premièrement, bien que les problèmes de partialité, d'équité et de transparence soient réellement importants et méritent une attention particulière dans le cadre des réponses en matière de politiques, ils ne sont pas les seules questions stratégiques que nous devons aborder. Une analogie avec la façon dont nous réglementons les dispositifs médicaux pourrait être utile.

[Une nouvelle illustration représente une montre intelligente de part et d'autre de laquelle se trouvent un homme vert avec un crochet au-dessus de la tête et une femme rouge avec un « x » au-dessus de la sienne.]

Supposons que nous ayons un nouvel appareil médical et que nous découvrions qu'il fonctionne beaucoup mieux pour les hommes que pour les femmes. Prendre conscience de ce biais et tenter de l'éviter est bien sûr l'un des principaux objectifs des gouvernements qui utilisent, achètent ou octroient les autorisations d'utilisation des dispositifs médicaux. Toutefois, nous ne nous préoccupons pas seulement de savoir si ces dispositifs permettent de traiter de façon égale les hommes et les femmes, ou les membres de divers groupes racisés. Nous nous soucions également de savoir s'ils fonctionnent bien, purement et simplement. Sont-ils fiables? Sont-ils sécuritaires? Les avantages l'emportent-ils sur les coûts?

[ L'homme et la femme disparaissent. Des symboles verts représentant une personne posant une question à une autre personne, une main tendue avec un cœur flottant au-dessus d'elle, un cœur avec une pulsation à l'intérieur et une balance entourent la montre intelligente. L'image s'estompe pour laisser place à une image de gens qui regardent un diagramme. Le texte suivant s'affiche : « Nous voulons que l'IA soit non biaisée et équitable, mais aussi sûre et fiable. »]

Il en va de même pour l'intelligence artificielle. Nous voulons certainement que l'IA soit non biaisée et équitable, mais nous voulons aussi qu'elle fonctionne bien et qu'elle soit sûre et fiable. Parfois, accorder beaucoup d'importance à l'égalité de traitement entre les divers groupes, en particulier les groupes vulnérables, peut amener les gens à penser que c'est la seule chose dont nous devons nous préoccuper, la seule chose que nous devons garantir, réglementer ou exiger dans les règles d'approvisionnement.

[Le texte à l'écran s'estompe et un nouveau texte indique : « L'équité n'est qu'une partie de l'équation. »]

Mais l'équité n'est qu'une partie de l'équation. Dans cette vidéo, nous allons nous concentrer sur cette partie du tableau, même si beaucoup d'autres questions doivent aussi être examinées.

[Une nouvelle image d'une flèche en métal posée sur du papier avec des lignes allant dans toutes les directions apparaît progressivement.]

Voici une deuxième balise pour la discussion. Le débat public concernant l'équité, les préjugés et la transparence de l'IA est souvent placé sous le thème de l'éthique de l'IA.

[Le texte suivant apparaît à l'écran : « Qu'entend-on par "éthique de l'IA"? »]

L'éthique constitue un cadre important, mais pour moi, elle n'est pas au cœur des difficultés posées par l'IA. Ce qui est problématique lorsque l'IA entraîne de la discrimination à l'égard des groupes racisés, ce n'est pas qu'elle est contraire à l'éthique – ce qui est le cas – mais qu'elle viole les règles que nous avons mises en place dans toutes les autres sphères de nos sociétés.

[Le texte suivant s'ajoute à l'écran : « Les nouveaux risques ne sont pas ceux associés à des manquements à l'éthique ou à des échecs sociétaux, mais sont le plus souvent ceux liés à des défaillances des systèmes. »]
           
Les nouveaux risques auxquels nous faisons face ne sont pas principalement associés à des manquements à l'éthique, à des ingénieurs à titre personnel ou à l'échec de la société à valoriser les bonnes choses. Il s'agit le plus souvent de défaillances des systèmes, de l'absence d'outils réglementaires et de technologies dont nous avons besoin pour nous assurer que cette technologie complexe et qui évolue rapidement respecte les valeurs auxquelles nous tenons. Ainsi, lorsque j'entends dire que les gens veulent parler de l'éthique de l'IA, je traduis cela par : « Ah! Ce dont vous voulez vraiment parler, c'est de la réglementation de l'IA. » Et je vous suggère de faire la même chose, surtout si vous travaillez dans le domaine de l'élaboration des politiques.

[Le texte suivant apparaît à l'écran : « Éthique de l'IA = réglementation de l'IA ». Une nouvelle illustration montrant une balance apparaît et le texte indique : « Qu'entend-on par équité? »]

Alors, parlons d'équité. N'aimons-nous pas tous parler d'équité? Si vous êtes parent ou si vous songez à quand vous étiez enfant, vous savez probablement que l'une des premières choses que les enfants apprennent à dire est « Ce n'est pas juste! » Voici la note que la fille de huit ans d'un collègue a griffonnée à son intention pendant que nous étions en réunion sur Zoom.

[Une note manuscrite dont l'écriture est grossière indique : « C'est TELLEMENT injuste! Will a droit à une crème glacée! Et je n'ai rien! Rien. » Un zéro est dessiné et étiqueté au bas de la note.]

C'est injuste que son frère ait eu droit à de la crème glacée en rentrant de l'école et pas elle. Des biscuits plus gros, du temps d'écran supplémentaire, moins de corvées. Dès notre plus jeune âge, nous sommes attentifs à la façon dont les friandises et le travail sont distribués.

[Une nouvelle illustration montre des cailloux en équilibre sur une planche. À une extrémité, un seul caillou repose sur la planche. À l'autre bout, quatre cailloux sont empilés. Le galet qui maintient la planche en place est beaucoup plus proche des galets empilés, ce qui fait que les deux côtés sont en équilibre.]

En tant que spécialiste des sciences sociales, j'étudie comment les êtres humains ont réussi à devenir l'espèce qui travaille le plus en collaboration sur la planète, en fonctionnant selon des systèmes complexes de répartition du travail et de partage d'excédent. De mon point de vue, l'équité est essentielle et constitue le ciment de la société.

[Le texte suivant apparaît dans l'image : « L'équité est le ciment de la société. » Une photo montre John Rawls et un extrait de son livre « Justice as Fairness », 1985 (titre en français : La Justice comme équité).]

L'une des personnes que j'admire le plus sur le plan intellectuel, le philosophe John Rawls, a déclaré que l'équité était l'essence de la justice, voire l'essence de la réciprocité.

[La phrase suivante apparaît à l'écran : « Personne ne veut faire partie d'une société dépourvue de règles ou de normes qui garantissent l'équité. »]

Personne ne veut vivre dans une société dépourvue de règles et de normes garantissant l'équité des échanges qui sous-tendent les sociétés complexes. Les gens reçoivent un salaire équitable. Ils ont un accès équitable à l'éducation et aux soins de santé. Ils sont traités équitablement par les représentants du gouvernement.

[Une nouvelle illustration montrant des points d'interrogation dans des bulles apparaît progressivement. Il y est inscrit : « Qu'entend-on par équitable? »]

Mais qu'entend-on par équitable? Ah! C'est là que le bât blesse. Qu'est-ce qu'un salaire équitable? S'agit-il de ce que le marché peut supporter? 15 $ l'heure? Ce qu'il faut pour jouir du même niveau de bien-être économique que la moyenne des gens? Vous reconnaîtrez peut-être ici les questions auxquelles nos politiciens s'attaquent tous les jours. De ce point de vue, veiller à ce que l'IA soit équitable n'est pas différent de veiller à ce que tous les autres aspects du fonctionnement de nos sociétés et de nos économies soient équitables.

[Les titres défilent et décrivent des projets sur l'équité de l'IA, la réduction des préjugés dans l'IA et l'IA discriminatoire.]

Lorsque l'équité en matière d'IA fait la une des journaux en ce moment, il est question d'un aspect particulier de l'équité. Dans le cadre des débats actuels, on entend par équité le fait que l'IA n'entraîne pas de discrimination à l'égard de groupes identifiables, en particulier les groupes qui sont protégés contre la discrimination par la loi. Vous avez probablement vu certaines de ces manchettes. Celle-ci date de 2010 et était parmi les premières sur le sujet. On y explique que le logiciel automatisé de reconnaissance faciale des caméras était biaisé et reconnaissait moins bien les clignements des yeux sur le visage des personnes d'origine asiatique que sur ceux des personnes blanches. Celle-ci, datant de 2015, rapporte un gazouillis dans lequel un utilisateur se plaignait que le marqueur de photos automatique de Google avait identifié son ami noir comme un « gorille ».

L'une des premières études statistiques à mettre cette question à l'avant-plan a été un rapport publié en 2016 par ProPublica, qui soutenait que le logiciel utilisé dans un certain nombre de systèmes de tribunaux pénaux américains pour évaluer le risque associé aux décisions de mise en liberté sous caution, de libération conditionnelle et de détermination de la peine était discriminatoire à l'égard des Noirs. En 2018, des chercheurs du MIT ont démontré que les systèmes de reconnaissance faciale vendus par IBM et Microsoft étaient entachés d'importants préjugés raciaux et sexistes. Ils identifiaient avec précision les hommes blancs, avec un taux d'erreur de seulement 1 %, mais se trompaient jusqu'à 35 % du temps lorsqu'on leur présentait des visages de femmes à la peau plus foncée. En 2018, Amazon a fait la une des journaux pour avoir développé, puis abandonné, un système d'IA pour trier les demandes d'emploi. Il était discriminatoire à l'égard des candidates, et même de toute personne dont le curriculum vitæ contenait des mots associés aux femmes. Ces exemples sont vite entrés dans le folklore au sein de la communauté de l'IA. Il serait difficile de suivre une conférence d'introduction sur l'équité dans l'IA, comme celle-ci, sans en entendre parler.

[Une nouvelle illustration montre le résumé d'un article intitulé « Atteindre l'équité grâce à la sensibilisation ».]

Dans l'ombre des grands titres, les chercheurs spécialisés en apprentissage automatique étudient la question des biais de l'IA depuis au moins 2011.

[Une image montre un jeune garçon noir en costume trois pièces marchant dans un labyrinthe dessiné sur l'asphalte.]

La discrimination fondée sur des motifs protégés, comme le sexe ou la race, est bien entendu un phénomène que les sociétés tentent d'éliminer depuis des décennies. L'égalité de traitement est garantie par la constitution dans la plupart des pays démocratiques et fait depuis longtemps l'objet de lois, comme les lois sur l'égalité salariale, les lois sur le logement et celles sur l'accès équitable aux prêts.

[Le texte suivant apparaît : « L'égalité de traitement est garantie par la constitution dans la plupart des démocraties. L'IA ne change pas l'objectif, mais elle change les règles du jeu. »]

L'arrivée de l'IA ne change pas l'objectif, mais elle change les règles du jeu. Afin de nous assurer que les humains ne font pas de discrimination, nous prenons certaines mesures, comme changer les normes. Un membre d'un service des ressources humaines qui comprend bien les codes de la société n'aurait pas, de nos jours, l'idée de proposer la publication d'offres d'emploi comme celles-ci.

[Des coupures de journaux montrent des offres d'emplois classées selon les catégories « hommes » et « femmes ».]

Le service des ressources humaines a probablement offert des formations, mis en place des protocoles et fournit des modèles pour éviter que cela ne se produise. Nous utilisons des stratégies comme l'élimination des variables liées au sexe ou à la race dans les formulaires de candidature ou les données relatives aux soins de santé.

[Le texte indique : « Éliminer les variables liées au sexe ou à la race. Accroître la sensibilisation aux préjugés inconscients. Conséquences juridiques de la discrimination. »]

Nous mettons sur pied des programmes de formation pour accroître la sensibilisation aux risques liés aux préjugés inconscients. Nous avons recours au système judiciaire pour faire en sorte que les personnes qui pratiquent intentionnellement la discrimination et les organisations qui utilisent des méthodes ayant des effets différents sur les groupes protégés soient tenues responsables de leurs actes.

[Une nouvelle illustration montre un code binaire.]

Les efforts que nous déployons pour éliminer la discrimination peuvent être sapés par l'IA de plusieurs façons.

[Le texte suivant apparaît : « Les données historiques sont couramment biaisées et peuvent enraciner les préjugés. »]

Tout d'abord, nous créons actuellement la quasi-totalité de nos modèles d'apprentissage automatique en les entraînant au moyen des données historiques générées par des décideurs humains. Et ces données sont couramment biaisées, à la fois parce qu'elles sont historiques, c'est-à-dire qu'elles peuvent comprendre des décisions prises avant que les décideurs ne comprennent mieux comment éviter les préjugés ou à une époque où les sociétés ou les organisations étaient moins diversifiées qu'aujourd'hui. Et parce que malgré tous nos efforts, les humains prennent encore des décisions entachées de préjugés.

C'est ce qui est arrivé à Amazon lorsque l'entreprise a créé son système de tri des demandes d'emploi fondé sur l'IA.

[Des icônes représentant douze hommes et six femmes apparaissent progressivement.]

Par le passé, ils ont embauché plus d'hommes que de femmes, en particulier dans les postes techniques. Cela pourrait s'expliquer par le fait que moins de femmes ont postulé à des postes techniques. Il se peut aussi que les personnes chargées du recrutement aient préféré les candidats masculins, même si elles n'étaient pas conscientes de ce préjugé.

[Une autre icône montre une personne qui pose une question à une autre personne. Une flèche pointe vers l'icône d'une tête contenant des engrenages.]

Un modèle d'apprentissage automatique entraîné pour prédire les décisions prises par les humains ne sera précis que s'il reproduit les biais de ses données d'apprentissage. Il fait ce que nous lui avons demandé de faire, mais pas ce que l'on veut qu'il fasse. Et comme les données d'apprentissage sont historiques, elles peuvent enraciner les préjugés du passé, même si les décideurs humains sont devenus moins partiaux.

[L'image s'estompe et une femme apparaît. Des lignes reliées par des points flottent au-dessus de son visage en une vague forme de visage. Le texte indique : « Que contient l'ensemble de données? »]

Nous pouvons aussi nous retrouver avec des données d'apprentissage biaisées en choisissant le mauvais ensemble de données pour l'apprentissage. C'était le problème des systèmes de reconnaissance faciale biaisés que les chercheurs ont repérés en 2018. Ils reconnaissaient les visages d'hommes blancs avec une grande précision, mais leur performance était lamentable dans le cas des femmes à la peau plus foncée, car les données d'apprentissage contenaient beaucoup plus d'hommes blancs que de femmes ou de personnes à la peau plus foncée, quel que soit leur sexe. La machine a donc eu beaucoup d'expérience avec des hommes blancs et n'a pas eu assez d'occasions de s'améliorer dans les autres cas. L'ensemble de données a été mal choisi tant pour l'apprentissage que pour les essais. C'était le genre de conception parfaite pour produire une IA biaisée.

[Une nouvelle image montre une loupe entourée de points d'interrogation. Le texte indique : « De quoi étaient constituées les données d'apprentissage? »]
           
L'une des questions importantes à se poser est donc : de quoi étaient constituées les données d'apprentissage? Il faut ensuite prendre des mesures pour garantir la représentativité et l'impartialité des données, non seulement au début du processus d'élaboration d'un modèle d'IA en particulier, mais aussi dans nos systèmes éducatifs et organisationnels. Si vous vous demandez à quoi ressembleront les nouveaux emplois lorsqu'une grande partie du travail commencera à être automatisée grâce à l'IA, en voici un exemple : organiser le contenu et certifier l'équité des données d'apprentissage.

[Une nouvelle illustration montre une longue rangée de chaises vides à la table d'une salle de conférence. Le texte indique : « L'apprentissage automatique ne se contente pas de reproduire les biais des données d'apprentissage, il peut aussi les amplifier. »]

L'apprentissage automatique ne se contente pas de reproduire les biais des données d'apprentissage, il peut aussi les amplifier.

[L'illustration contenant des icônes représentant les employés d'Amazon revient.]

Supposons que le service des ressources humaines d'Amazon ait légèrement favorisé les hommes dans le processus d'embauche et que, par le passé, plus d'hommes aient postulé pour des emplois dans des entreprises technologiques comme Amazon. Nous construisons un système d'apprentissage automatique en lui demandant de faire de bonnes prévisions. D'une certaine façon, nous le récompensons lorsqu'il évite les erreurs. L'un des moyens que peut utiliser la machine pour réduire le nombre d'erreurs est de privilégier les caractéristiques qui sont les plus fréquentes dans les données.

[Une flèche partant des icônes masculines pointe vers l'icône d'une tête contenant des engrenages. À côté de la tête, un signe égal mène à trois autres hommes.]

C'est un peu comme assurer vos arrières en supposant que l'autobus qui est habituellement en retard le sera probablement encore aujourd'hui, peu importe ce que vous savez à propos de la circulation. Ainsi, la partialité dont font preuve les humains et le déséquilibre qui se produit naturellement dans l'ensemble de données peuvent apprendre à la machine à redoubler de partialité.

[Une nouvelle illustration montre des bulles contenant un point d'interrogation et un point d'exclamation. Le texte indique : « Pour une machine, les erreurs ont la même valeur. »]

Cet effet est renforcé par le fait que, du point de vue de la machine, se tromper ainsi n'est pas considéré comme particulièrement coûteux. Les normes et les lois permettent d'éviter ce résultat dans le cas des humains. Pour la machine, il n'est pas plus grave de se tromper sur le fait de préférer les hommes aux femmes que de se tromper sur la valeur de quelques points supplémentaires à un examen de qualification. Les humains verront une différence là où la machine ne le fera pas. Ce problème devient particulièrement évident lorsqu'on pense à l'exemple de Google qui identifie une personne noire comme un « gorille ». C'est bien pire, pour nous, que d'identifier un vélo comme un avion. Mais pour une machine, les erreurs ont la même valeur.

[Une nouvelle image d'un mégaphone apparaît progressivement. Le texte indique : « Les préjugés peuvent être amplifiés par le langage provenant d'autres sources. »]

Les biais sont également amplifiés dans l'apprentissage automatique, car nos systèmes d'IA sont souvent assemblés à l'aide de nombreuses composantes provenant d'autres sources et le langage est l'un des principaux moyens par lesquels ces biais se glissent dans les systèmes.

[Des icônes représentant une tête contenant des engrenages, un boulier simple, un diagramme circulaire, un diagramme à barres et les symboles des fonctions mathématiques apparaissent.]

L'apprentissage automatique se fait au moyen des mathématiques et des statistiques, en calculant des chiffres. Ainsi, si vous souhaitez créer un système d'IA pour lire des curriculum vitæ ou des demandes de prestations, par exemple, vous devez d'abord convertir les mots en chiffres.

[De nouvelles icônes apparaissent progressivement. Une flèche partant d'un livre pointe vers une calculatrice. En dessous, le texte indique : « Intégration des mots ».]

Pour ce faire, les ingénieurs spécialisés en apprentissage automatique utilisent ce que l'on appelle un processus d'« intégration des mots », c'est-à-dire une sorte de dictionnaire qui traduit les mots en chiffres. Tout dictionnaire est créé à l'aide, vous l'aurez deviné, de l'apprentissage automatique, alimenté au moyen d'un ensemble de textes.

[La tête contenant un engrenage apparaît au-dessus de la flèche.]

On cherche à ce que ce genre d'apprentissage automatique produise de bons résultats lorsqu'il s'agit de prédire quel mot est le plus susceptible de suivre dans une séquence. Le système apprendra donc à parler de la même manière que dans les textes qui l'ont alimenté.

[Une nouvelle image montre une pile de bouts de carton sur lesquels des mots sont inscrits.]

Dans ce contexte, les informaticiens ont découvert le problème suivant : il faut beaucoup de texte pour constituer un dictionnaire puissant et utile. Les dictionnaires utilisés sont donc souvent alimentés à partir d'un énorme ensemble de textes facilement accessibles, provenant de l'Internet par exemple. Et devinez quoi? La façon dont les gens parlent sur Internet est empreinte de nombreux préjugés.

[Un graphique intitulé « Les biais sexistes dans le vocabulaire lié aux professions » montre un nuage de points corrélés au sexe et aux mots relatifs aux professions.]

L'un des dictionnaires les plus utilisés a été alimenté par Google News et a appris à remplir les espaces vides comme ceci :

[Le texte indique : « Homme = informaticien. Femme = ménagère. »]

[...] l'homme est à l'informatique ce que la femme est au ménage. Imaginez maintenant ce que votre système d'examen de curriculum vitæ fondé sur l'IA fera avec ça. Il est facile d'importer ce genre de préjugés dans un nouveau système d'IA, car il est beaucoup moins coûteux d'utiliser des composantes prêtes à l'emploi que de tout construire à partir de zéro.

[Une nouvelle image montre des morceaux de papier courbés dans les tons orangés et jaunes, reproduisant un incendie. Le texte indique : « Les machines peuvent déceler des tendances que les humains ne voient pas. »]

Le fait que les machines décèlent des tendances que les humains ne voient pas a aussi des conséquences. C'est ce qui les rend potentiellement si puissantes : elles peuvent, par exemple, repérer des tumeurs qui échappent aux médecins humains.

[Une série de scintigraphies du cerveau est présentée.]

Mais cela signifie aussi qu'elles peuvent voir des choses que nous ne voulons pas voir ou que nous ne voulons pas prendre en considération dans nos décisions.

[Un titre indique : « Une nouvelle IA peut deviner si vous êtes gai ou hétéro à partir d'une photo ».]

Une étude a fait ressortir ce phénomène en montrant qu'il était possible d'entraîner une machine à deviner laquelle de deux photos provenait d'un site de rencontres de personnes recherchant des partenaires du même sexe avec beaucoup plus de précision que les humains, soit avec un degré de précision de 90 % pour la machine contre 55 % pour les humains. Même lorsque nous excluons d'un ensemble de données toutes les variables que nous voulons que la machine ignore, en éliminant celles liées au sexe, à la race, à l'origine ethnique et à l'orientation sexuelle, la machine peut toute de même encore trier les personnes en fonction de ces catégories et finir par faire de la discrimination dans des situations où les humains ne pourraient pas le faire.

[Le texte indique : « Comment pouvons-nous créer des systèmes d'IA exempts de biais? »]

En parcourant la liste de toutes les façons dont on peut biaiser les systèmes d'IA, on peut commencer à penser que le jeu n'en vaut pas la chandelle, mais ce n'est pas ce qu'il faut retenir. L'idée, c'est qu'il existe des risques et que nous devons trouver des solutions pour y remédier. Dans l'idéal, nous aimerions créer des systèmes d'IA capables d'éviter les préjugés mieux que nous. Et je pense que nous pouvons y aspirer, mais nous devrons le faire en réfléchissant sérieusement aux façons dont les préjugés se glissent dans les systèmes.

[Le texte indique : « Réfléchissez bien à la façon dont les préjugés apparaissent. Développez une approche critique en ce qui concerne l'utilisation des données. Ayez recours à la surveillance humaine. Assurez-vous que les équipes qui conçoivent l'IA sont diversifiées. Offrez aux ingénieurs spécialisés en apprentissage automatique de la formation sur les risques. Assurez-vous que la technologie rejoint les politiques générales. »]

Nous ne devrions probablement pas créer de systèmes de prise de décision automatisés, comme nous le faisons souvent aujourd'hui, en entraînant des machines au moyen d'un ensemble de données constitué uniquement de décisions humaines prises antérieurement ou en récupérant simplement n'importe quel ensemble de données bon marché à notre disposition. Nous devons absolument trouver des moyens de faire en sorte que des personnes surveillent et aient leur mot à dire sur la manière dont les systèmes fondés sur l'IA prennent leurs décisions. Nous devrions diversifier les équipes qui développent l'IA afin d'augmenter la probabilité que quelqu'un remarque que nos données ne sont pas représentatives et offrir à nos ingénieurs spécialisés en apprentissage automatique de la formation sur les risques et sur l'importance de choisir des données d'apprentissage représentatives.

Nous devrions également veiller à ce que les technologies et les techniques que nous utilisons pour réduire les biais s'inscrivent dans le cadre de nos politiques générales et que de nombreuses personnes autres que des informaticiens participent à l'élaboration et à l'examen de ces technologies et techniques. Voici un bon exemple.

[Une nouvelle illustration montre des boules empilées sur une planche soutenue par une petite boule blanche au centre. À une extrémité, il y a une seule grande boule bleue. De l'autre côté, trois petites boules blanches sont empilées. La planche est équilibrée. Le texte indique : « L'apprentissage automatique équitable s'est penché sur de nombreuses variantes statistiques de l'équité... »]

Le domaine connu sous le nom d'apprentissage automatique équitable en informatique a permis d'explorer de nombreuses variantes statistiques de l'équité, comme l'égalisation des chances entre les divers groupes, l'exigence de la parité entre les groupes ou la recherche d'une garantie que toutes les prévisions faites par un modèle ne dépendent pas de caractéristiques de nature délicate comme la race ou le sexe.

[Un nouveau texte apparaît : « ...et il n'est pas possible de respecter toutes les définitions de l'équité en même temps. »]

Et les informaticiens ont démontré qu'il n'est pas possible, d'un point de vue statistique, de respecter toutes ces définitions de l'équité en même temps. Il y a donc des choix à faire, sur le plan politique, moral ou communautaire, pour établir les priorités lors de la conception de nos systèmes d'IA. Ainsi, si quelqu'un vient vous voir et vous dit : « Je peux garantir que ce modèle d'apprentissage automatique est équitable », demandez-lui : « Quelle est votre définition de l'équité? »

[Une image montre une boîte transparente avec un couvercle transparent. Le texte indique : « Qu'entend-on par transparence? »]

Comme je l'ai mentionné au début, l'équité dans la société comporte bien des aspects qui vont au-delà de la discrimination fondée sur des caractéristiques de nature délicate. L'une des choses auxquelles je réfléchis beaucoup, en tant que professeure de droit, est l'équité des processus. Et comme je l'ai souligné, le terme « équité » dans le contexte de l'apprentissage automatique ne signifie pas actuellement « processus équitable ». L'une des caractéristiques d'un processus équitable a toutefois gagné du terrain dans le débat public, à savoir l'idée de transparence.

[À mesure qu'elle énumère les formes de transparence, la liste apparaît à l'écran.]

Une forme de transparence consiste à informer les gens qu'ils interagissent avec un système d'IA et non avec un humain. Rendre le fonctionnement du système d'IA compréhensible en est une autre. La mise en application de ces deux types de transparence présente des difficultés.

[Une image montre une carte mère complexe. Le texte indique : « Les systèmes d'apprentissage automatique sont complexes. »]

Comme l'illustre certainement notre discussion sur l'équité, les systèmes d'apprentissage automatique sont complexes. Ils sont le produit d'énormes ensembles de données et de calculs et de statistiques complexes. Bon nombre de ces modèles sont énormes, et ceux d'entre nous qui ne sont pas ingénieurs ne sont pas les seuls à ne pas pouvoir comprendre comment ils font ce qu'ils font. Les ingénieurs qui les créent n'y parviennent souvent pas non plus.

[Une image montre un cerveau fait de lumières et de fils s'élevant verticalement depuis une carte mère.]

Et ils vont continuer de grossir, de se complexifier et de devenir plus difficiles à comprendre. Même les ingénieurs qui créent ces systèmes ne savent pas vraiment, par exemple, comment il se fait que l'entraînement d'un modèle mathématique servant à prédire le prochain mot d'une séquence puisse produire un système capable de faire des choses comme traduire un document juridique complexe dans un langage qu'un enfant peut comprendre.

[Le texte indique : « Le problème de la "boîte noire". »]

Dans le domaine de l'IA, on appelle souvent ce phénomène le problème de la « boîte noire ». Il suscite un appel à la transparence auquel il ne sera pas facile de répondre, précisément parce que la complexité et la taille, du moins avec les méthodes actuelles, sont ce qui nous permet d'obtenir des systèmes d'IA efficaces.

[Une formule indique : « Y = mx + b ». Le texte apparaissant au-dessus et en dessous indique : « Ce modèle mathématique comporte deux paramètres. Le GPT-3 compte 175 milliards de paramètres. »]

Ce modèle mathématique comporte deux paramètres. Le GPT-3 compte 175 milliards de paramètres. Il a été entraîné à partir d'un ensemble de données composé de 500 milliards de mots. Ce modèle simple à deux paramètres est facile à expliquer et à interpréter. Supposons qu'il soit utilisé pour décider d'admettre ou non au pays une personne qui demande un visa d'immigrant. Il fonctionnerait alors comme un simple système de points.

[Au fur et à mesure que les données sont définies, des icônes les représentant apparaissent.]

Dans ce système fictif, b pourrait représenter le nombre de membres de la famille déjà présents dans le pays. X pourrait représenter la probabilité que le candidat à l'immigration finisse par verser davantage d'impôt qu'il ne nécessite de dépenses publiques, comme des prestations d'assurance-emploi, par exemple. Et m représente le poids que notre politique accorde à ce facteur. Supposons que la valeur de cette dernière variable soit 10. Supposons maintenant que nous fixions le seuil d'une décision favorable à 7. Notre modèle est alors assez facile à interpréter.

[Les nouvelles icônes représentent un homme seul, un feu vert et un diagramme à barres sous lequel est écrit « 70 % ».]

Si un demandeur est célibataire et sans famille, il est admis s'il a au moins 70 % de chances de contribuer davantage aux revenus publics qu'il ne nécessite de dépenses.

[Une deuxième version de l'ensemble d'images apparaît, cette fois avec deux petites icônes de personnes en plus. Sous le diagramme à barres est écrit « 50 % ».]

Mais si deux membres de la famille du demandeur sont déjà au pays, il sera admis même s'il n'a que 50 % de chances d'apporter une contribution nette plutôt que d'être un bénéficiaire net. Il s'agit d'une politique qui peut faire l'objet de débats et les immigrants peuvent comprendre à quels critères ils doivent répondre pour être admis et pourquoi ils ont été refusés. Ils peuvent contester une décision s'ils pensent qu'elle est erronée. Ils peuvent faire valoir qu'ils auraient dû être classés comme ayant plus de chances d'être un contributeur net ou que certaines personnes auraient dû être considérées comme des membres de leur famille.

Si ce modèle simple était le résultat d'un système d'apprentissage automatique, c'est-à-dire si son code n'avait pas été rédigé directement par des programmeurs, mais représentait plutôt ce que la machine a découvert en examinant un ensemble de données d'apprentissage constitué des décisions passées en matière d'immigration, les concepteurs d'IA pourraient vérifier si le modèle est logique et s'il est conforme à la politique législative en matière d'immigration. Peut-être que la loi énonce que le nombre de membres de la famille ne devrait pas être pris en considération. Si c'est le cas, ce modèle simple montre que ce n'est pas ce qui se produit et que ce n'est pas ce que nous voulons qui se retrouve dans notre système pour l'avenir. Les concepteurs pourraient corriger les données ou modifier le modèle pour refléter l'intention du législateur.

[Une nouvelle image montre une loupe. Le texte indique : « Les concepteurs, les utilisateurs et les parties concernées comprendront mieux un système si le modèle peut être expliqué. »]

C'est ce qu'on entend lorsqu'on parle d'un modèle explicable ou interprétable. Un modèle explicable peut aider les concepteurs d'IA à comprendre ce que fait leur système et à le corriger si nécessaire. Le fait de pouvoir expliquer le modèle peut aider ses utilisateurs, comme un gouvernement qui l'utilise pour prendre des décisions en matière d'immigration, en leur donnant un moyen de s'assurer que le modèle est adapté à son objectif et qu'il fait ce que les utilisateurs souhaitent qu'il fasse. Le caractère explicable peut aider les personnes qui font l'objet des décisions prises à l'aide du modèle. Il peut les aider à comprendre ce qu'elles devraient changer pour obtenir un résultat différent et leur fournir des arguments pour contester les décisions du modèle, en faisant valoir que la décision n'est pas conforme à la loi ou ne respecte pas leurs droits constitutionnels ou d'autres principes.

[00:27:58 Le texte indique : « Les modèles d'IA très imposants sont difficiles, voire impossibles, à expliquer de cette façon. »]

Le problème, c'est que les modèles d'IA très imposants, qui sont constitués de centaines, de milliers ou même peut-être de milliards de paramètres, sont difficiles, voire impossibles, à expliquer de cette façon. Nous commençons à voir apparaître des lois exigeant que l'IA soit explicable.

[Une illustration montre le Règlement général sur la protection des données de l'UE et le projet de loi C-11.]

On retrouve par exemple des dispositions à cet effet dans le RGPD (Règlement général sur la protection des données) de l'Union européenne et dans un projet de loi du gouvernement canadien déposé en 2021.

[Une image montre des cubes colorés de diverses nuances de rose sur un fond rose. Le texte indique : « Certains modèles explicables ne devront utiliser que des techniques simples. »]

Dans certains cas, l'exigence selon laquelle l'IA doit pouvoir être expliquée ne pourra être satisfaite qu'en prenant la décision de ne pas utiliser les approches actuelles en matière d'apprentissage automatique, et de n'utiliser que des techniques beaucoup plus simples qui permettent de produire des modèles compréhensibles et plus élémentaires, comme un modèle d'immigration ou un modèle de quantification du risque lié à la mise en liberté sous caution qui n'utilise que quelques variables. Certains informaticiens soutiennent que nous ne devrions effectivement utiliser que des modèles explicables dans les situations où les enjeux sont importants et affirment que les modèles plus complexes ne procurent que de maigres avantages et n'en valent pas la peine. Il est toutefois probable qu'il y ait des situations, peut-être même beaucoup, où les modèles plus complexes pourront nous être utiles.

[Le texte suivant apparaît : « Dans d'autres cas, des modèles plus complexes seront plus avantageux. »

Un système d'IA qui apprend à lire des radiographies mieux que les radiologues pour détecter des tumeurs pourrait être difficile à expliquer, et c'est là que je pense que nous devons approfondir l'idée du caractère explicable. Dans mon exemple de modèle d'immigration simple et explicable, le caractère explicable signifie comprendre comment les calculs du modèle fonctionnent et être capable de donner une explication causale de la raison pour laquelle, mathématiquement, une décision a été prise. Par contre, pouvoir expliquer le modèle de cette façon n'est pas toujours ce que nous voulons.

[Une image montre une série de scintigraphies du cerveau sur lesquelles se trouvent des taches vertes et blanches mettant en évidence diverses zones du cerveau.]

Pensez au système d'IA qui détecte les tumeurs, par exemple. Il n'est pas certain que tout le monde doive nécessairement comprendre les calculs qui permettent d'obtenir ces résultats ou être en mesure de fournir une explication causale de la raison pour laquelle une tache sombre a été qualifiée de tumeur, mais pas une autre.

[Une image montre une femme en blouse souriant devant des scintigraphies du cerveau.] Le texte indique : « Si les informations techniques sont utiles aux concepteurs d'IA, les utilisateurs n'ont probablement pas besoin de connaître ces détails. »]

Les concepteurs d'IA qui créent le système ont intérêt à comprendre les détails mathématiques ou techniques du fonctionnement du système afin de pouvoir détecter les erreurs et développer de meilleurs systèmes, mais le médecin ou le système de santé qui utilise le système d'IA pour poser un diagnostic sur l'état d'un patient et prendre des décisions concernant son traitement n'ont probablement pas besoin de connaître les informations mathématiques et techniques, et ne savent peut-être même pas comment les utiliser.

[Le texte indique : « Au contraire, les utilisateurs veulent savoir si le modèle est éprouvé et fiable. »]

Ils veulent savoir que le modèle a fait l'objet de tests adéquats et que son fonctionnement est fiable. Le patient qui reçoit un diagnostic ne veut pas et ne peut pas non plus faire ces calculs.

[Les icônes montrent une personne ayant le bras en écharpe et, au-dessus de sa tête, une bulle contenant des points d'interrogation. À côté de la personne se trouvent une calculatrice, un diagramme à barres, un graphique circulaire et des symboles mathématiques. L'image se transforme et montre une personne qui pense à un crochet. Les autres icônes se transforment en icônes représentant un médecin, un hôpital, un cœur avec un battement de cœur et une balance.]

Il veut savoir que le modèle respecte les règles et les normes qui régissent la manière dont les hôpitaux, les médecins et les systèmes de soins de santé posent des diagnostics et prennent des décisions concernant les traitements, que le médecin ou le système de santé n'ont choisi que des méthodes fiables, qu'ils ont pris des mesures raisonnables pour assurer la surveillance de l'IA et qu'ils ont veillé à ce que l'IA ne prenne pas en compte des facteurs non pertinents.

[Une image montre un médecin souriant et serrant la main d'une personne.]

Les patients veulent savoir si le diagnostic et le traitement qu'ils ont reçus, déterminés en partie en fonction des résultats d'un système d'IA, étaient justifiés. Je pense qu'il s'agirait d'un meilleur terme à utiliser dans les lois comme le RGPD.

[Le texte indique « IA justifiable : Les gens devraient avoir le droit de connaître les motifs de la décision qui a été prise et pouvoir la contester. »]

Les personnes concernées devraient avoir le droit de connaître les motifs des décisions qui ont été prises par des systèmes automatisés de prise de décision et être en mesure de les contester. Il sera parfois nécessaire de comprendre ou d'expliquer le fonctionnement du modèle mathématique pour comprendre ces motifs, mais pas toujours. Les médecins dans les hôpitaux utilisent aujourd'hui de nombreuses technologies et toutes sortes de traitements – des appareils médicaux, des techniques chirurgicales, des produits pharmaceutiques – sans avoir une connaissance approfondie des mécanismes qui expliquent leur fonctionnement. Ils respectent toutefois des règles et des normes, comme le fait de ne prescrire que des produits pharmaceutiques approuvés par un organisme de réglementation en matière de santé ou de le faire uniquement selon les meilleures pratiques médicales. Nous pouvons faire la même chose avec l'IA.

[Une nouvelle image montre un mannequin de croquis articulé au-dessus duquel se trouve une bulle contenant un point d'interrogation. Le texte indique : « L'IA explicable est-elle au fond la même chose que l'IA fiable? »]

Il y a une autre raison d'examiner de près les demandes en faveur d'une IA explicable. De nombreuses personnes prétendent que l'IA explicable est une IA fiable. Cela nous paraît logique. Les gens feront plus confiance à un système qu'ils comprennent qu'à un système qu'ils ne comprennent pas. Un système explicable est un système auquel les gens peuvent faire confiance parce qu'ils sont à même de constater quand il ne fonctionne pas. Mais aucune de ces affirmations n'est aussi simple qu'elle n'y paraît.

[Une nouvelle image montre des flèches peintes en blanc sur la chaussée. Le texte indique : « Les explications peuvent parfois saper la confiance. »]

Fournir à quelqu'un qui ne comprend pas les mathématiques ou les explications techniques de nombreuses explications de ce type peut ébranler sa confiance plutôt que la renforcer. Il convient peut-être mieux de donner aux gens l'assurance que l'IA a été créée et testée avec soin.

C'est la raison pour laquelle vous avez confiance lorsqu'on vous sert des aliments au restaurant : non pas parce qu'on vous a expliqué en détail la nature des contrôles de la salubrité lors de la préparation des aliments à chaque étape dans la chaîne d'approvisionnement, mais parce que vous avez confiance en l'efficacité de la réglementation sur la salubrité des aliments. Étonnamment, nous réalisons aussi que, parfois, le fait de fournir plus d'explications amène les gens à faire trop confiance au système.

[La proposition suivante s'ajoute à l'énoncé précédent : « ...ou même amener les gens à faire trop confiance au système. »]

Une étude a montré que les gens étaient moins susceptibles de déceler les recommandations manifestement erronées générées par un système d'IA lorsqu'ils se faisaient expliquer comment le système fonctionnait que lorsqu'ils ne recevaient pas d'explications. Ils ont examiné le modèle inexpliqué de façon plus rigoureuse et appropriée.

[Une nouvelle image montre une seule ampoule allumée parmi d'autres ampoules posées sur une surface blanche dans un espace sombre.]

Nous avons encore beaucoup de recherche à faire sur la relation entre l'explication et la confiance. Nous commençons à peine à comprendre comment gérer correctement la relation entre les humains et les machines. Même la forme la plus simple de transparence, soit informer les gens qu'ils discutent avec une machine et non avec un humain, n'est pas si simple, car les gens en viennent parfois à traiter la machine comme une personne. Est-ce un problème? Nous cherchons toujours à le déterminer. Mais une chose est sûre : la transparence est importante.

[L'écran présentant la bannière « Série L'intelligence artificielle est à nos portes » réapparaît avant de se transformer en écran de discussion vidéo.]

Ron Bodkin, Institut Schwartz Reisman pour la technologie et la société : Eh bien, bonjour à tous. J'espère que vous avez apprécié les observations de Mme Gillian Hadfield. Il y a certainement beaucoup de matière à réflexion et nous sommes ravis de passer à notre discussion informelle. Alors, permettez-moi de me présenter rapidement. Je m'appelle Ron Bodkin. Je suis vice-président de l'ingénierie de l'IA et dirigeant principal de l'information de l'Institut Vecteur. Je suis également responsable de l'ingénierie à l'Institut Schwartz Reisman pour la technologie et la société. Tous les sujets liés à l'équité dans le domaine de l'IA et, de façon plus générale, à l'IA responsable sont assurément extrêmement importants pour moi. Et j'ai l'honneur d'accueillir M. Ishtiaque Ahmed, qui est un collègue, et je vais te céder la parole, Ishtiaque, pour que tu te présentes.

Ishtiaque Ahmed : Merci, Ron. Et bonjour à tous. Je suis Ishtiaque Ahmed. Je suis professeur adjoint d'informatique et de sciences de l'information à l'Université de Toronto. Je suis également membre du corps enseignant de l'Institut Schwartz Reisman. Mes travaux portent essentiellement sur les questions d'équité et de marginalisation dans le domaine de l'IA et je suis ravi d'être ici.

Ron Bodkin : Super. Petite précision concernant l'organisation : nous discuterons pendant les 20 prochaines minutes environ. Ensuite, nous serons heureux de répondre aux questions des participants. Vous êtes donc invités à poser des questions tout au long de l'activité en utilisant l'interface vidéo collaborative sur laquelle vous regardez l'événement. Dans le coin supérieur droit de votre écran se trouve un bouton représentant une main levée que vous pouvez utiliser pour saisir une question. Nous les lirons. Et après cette première discussion, nous nous assurerons de répondre à certaines de vos questions. Donc, cela étant dit, ce qui m'intéresserait vraiment, Ishtiaque, c'est de savoir quelle est ta réaction générale à la suite de la présentation de Gillian.

Ishtiaque Ahmed, Université de Toronto : Oui. Alors. Je pense que Gillian a souligné certains points très importants dans son exposé. Ainsi, l'équité en matière d'IA, comme vous le savez, est un sujet important ici et il prend de l'ampleur. Les préoccupations sont de plus en plus nombreuses et il est difficile de tout aborder en un seul exposé. Mais l'une des choses qu'a soulignée Gillian dans son exposé et dont je pense qu'il est très important que nous discutions est la façon dont... La question de l'équité de l'IA est en fait une question de réglementation de l'IA, parce qu'elle soulève la question de savoir comment les systèmes d'IA qui sont utilisés dans divers secteurs de notre vie, y compris les secteurs gouvernementaux comme les secteurs des services publics, et même comme les entreprises qui déploient ces systèmes d'IA, comment nous pouvons trouver une stratégie, sur le plan technique ou au niveau du poste, pour nous assurer que les inconvénients sont limités au maximum. Parce que, comme Gillian l'a également signalé dans son exposé, il est difficile d'atteindre cette équité à 100 % dans n'importe quel système technique social, mais le mieux que nous puissions faire est de leur imposer des contraintes réglementaires afin de ne pas trop s'en éloigner.

Ron Bodkin : Oui, c'est un bon point. Et je suppose que l'on peut se demander : « Eh bien, qu'y a-t-il de nouveau ici? » En ce sens que nous nous sommes préoccupés de réglementer et de traiter toutes sortes de préjudices dans beaucoup d'industries et de secteurs différents. Plus particulièrement, les préjugés injustes et la discrimination ne sont pas non plus des problèmes nouveaux. Selon toi, comment devrions-nous envisager la façon d'aborder l'IA différemment de ce qui a été fait dans le passé pour résoudre d'autres problèmes?

Ishtiaque Ahmed : Oui. C'est une excellente question. Le terme « réglementation » peut s'interpréter de diverses façons et il s'accompagne également d'un certain nombre de préoccupations. Qu'est-ce que nous réglementons au fond? Parce que par le passé, dans l'histoire, nous avons vu que l'imposition d'une certaine réglementation plus ou moins efficace a eu pour effet de réduire les gens au silence, de les empêcher de s'exprimer. Et le principal défi à l'égard de la réglementation de l'IA est de déterminer quelles voix nous soutenons et quelles voix nous réduisons au silence. Et la façon dont cela est lié à l'équité ou à l'éthique de l'IA est que maintenant, en tant que chercheurs ou spécialistes en matière d'IA, nous devons comprendre quels types de valeurs, quels types d'éthique nous voulons que ces systèmes d'IA mettent en pratique. Et si les valeurs que nous choisissons ne correspondent pas à celles des diverses communautés, alors la question de la réglementation devient vraiment problématique.

Je peux vous donner un exemple de ce qui se passe dans bien des cas sur les médias sociaux, que j'étudie depuis longtemps maintenant, à savoir que les discours haineux et la désinformation sont un gros problème sur ces plateformes. Et les entreprises de médias sociaux tentent de mettre au point des algorithmes d'intelligence artificielle pour relever automatiquement l'information, c'est-à-dire l'information erronée et celle qui, selon elles, est nuisible ou incorrecte. Mais ce faisant, elles repèrent les publications qui font souvent l'objet de débats. On en débat parce que certaines communautés pensent que c'est correct et d'autres pensent que ce ne l'est pas.

Nous avons travaillé avec des communautés religieuses des pays du Sud. Ainsi, ils croient en des choses qui ne sont souvent pas « scientifiquement » correctes. Maintenant, si nous misons sur la science, si nous pensons qu'être conforme à la science est la meilleure chose à faire sur le plan éthique. Et par science, j'entends les pratiques scientifiques modernes et occidentales. Souvent, nos algorithmes d'IA signalent toutes les communautés religieuses, toutes leurs voix, ainsi que les informations erronées et les fausses nouvelles, toutes ces choses, ce qui est problématique, car si nous faisons cela, nous n'aurons pas un environnement social et numérique inclusif. Donc, la réglementation, c'est-à-dire les questions de réglementation, la façon d'imposer des règles, devient difficile à ce moment-là. Et c'est quelque chose de nouveau, je crois, et un nouveau problème concernant la gouvernance numérique et l'équité de l'IA qui se pose ici.

Ron Bodkin : Oui. C'est un point intéressant. Je pense que, en définissant cela, et souvent quand les gens parlent des préjudices causés en ligne, ils se concentrent en quelque sorte sur ce qui pourrait être considéré, avec un peu de chance, comme un consensus universel. Donc, d'une certaine façon, les discours haineux. Bien sûr, il y a des choses comme les discours haineux illégaux ou l'incitation à la violence. Et pourtant, il est loin d'être évident que la plupart des préjudices découlent de ces exemples extrêmes. Et donc, l'une des choses auxquelles je pense, c'est le peu de données dont nous disposons réellement et la diversité des études menées par des personnes extérieures pour tenter de comprendre les effets des systèmes de médias sociaux, par exemple. Et je suppose que l'on pourrait examiner d'autres systèmes fondés sur l'IA si l'on voulait étudier les effets des transactions à haute fréquence. Il est très difficile dans un domaine comme celui-là, encore une fois, où l'on a affaire à une IA avancée, qui constitue un secret commercial breveté, de savoir vraiment ce qui se passe.

Donc, nous ne comprenons pas ce qui se passe. Et pourtant, en même temps, je pense que tu soulignes un point important et c'est qu'il n'y a pas de consensus sur ce qui est la bonne réponse, sur ce qui est vrai. Je dirais qu'on peut non seulement examiner les communautés religieuses du Sud, mais qu'on peut aussi regarder la manifestation des camionneurs qui a lieu en ce moment au Canada et dire qu'il y a des différences d'opinions assez profondes sur des sujets qui avaient peut-être été considérés jusqu'à présent comme faisant l'objet d'un large consensus en ce qui concerne, par exemple, la santé publique, les obligations envers ses concitoyens et l'efficacité des médicaments, et cetera. Donc, je ne sais pas si nous pouvons aller de l'avant en nous basant sur le consensus, car il n'y aura pas de consensus. Et pourtant, je suppose que tu... Comment penses-tu que nous devrions procéder s'il y a tant de valeurs différentes au sein d'une société démocratique multiculturelle?

Ishtiaque Ahmed : Pour être honnête, c'est une question qui s'adresse aux philosophes politiques, car ces derniers ont débattu de la manière de rendre un endroit véritablement démocratique. Et maintenant, en tant qu'informaticiens, nous essayons d'apprendre d'eux et de concevoir des systèmes où divers types d'idéologies, divers types de voix peuvent coexister. Et ce n'est pas facile pour deux raisons qu'il faut en fait comprendre si l'on veut appréhender clairement ces problèmes. L'IA est à la fois tournée vers l'avenir et vers le passé, car la plupart des algorithmes d'IA se servent de données historiques. Donc, l'intelligence est construite à partir de ce que les gens ont fait dans le passé. Et il y a cette histoire de marginalisation, non seulement à l'égard des personnes du Sud qui ont été victimes de la colonisation, mais aussi dans cette partie occidentale du monde. Il y a des personnes issues des communautés noires, des communautés autochtones, des communautés LGBTQ, des communautés immigrantes. Par le passé, elles ont été réduites au silence. Elles n'étaient pas disposées à discuter.

Donc, quand on examinait les données, on voyait essentiellement un ensemble de données biaisées. L'histoire est déjà biaisée. Et peu importe ce que l'on essaie de faire mieux à l'avenir, si le principal mode de fonctionnement est de travailler à partir de ces données antérieures biaisées, alors cela devient problématique. Et c'est pourquoi je pense que l'autre point que Gillian a soulevé dans son exposé était important. Il s'agit de la justification. Elle disait donc qu'il ne suffit pas d'expliquer aux gens le fonctionnement d'un système d'IA en ce qui concerne la façon dont les calculs sont effectués, mais qu'il faut aussi justifier pourquoi le système fonctionne de cette façon. Parce que si nous concevons un système qui se sert des données du passé où les femmes étaient moins bien traitées que les hommes, que je vous explique comment les calculs sont effectués, pourquoi « mon système est correct » parce qu'il utilise les données du passé, et qu'il produit un résultat biaisé, ce n'est pas le genre d'explication que les gens vont accepter. Nous devons le justifier. Et c'est là où nous devons proposer un meilleur système d'IA, je dirais, qui [inaudible à 00:45:12] vraiment les objectifs que nous voulons atteindre en tant que société.

Ron Bodkin : Oui. Je suis tout à fait d'accord avec Gillian lorsqu'elle affirme que nous devrions justifier les systèmes. Je pense qu'il est important de les comparer avec les autres options. Je pense que les gens essaient souvent d'imposer des critères plus élevés aux inventions, quelles qu'elles soient, par rapport aux autres options, et l'IA fait partie de cette catégorie. Ainsi, lorsque nous essayons de nous améliorer et de faire mieux que nos échecs en matière de discrimination historique, nous essayons de nous améliorer dans le contexte dans lequel nous nous trouvons. Il y a donc l'avantage de l'améliorer aussi. Mais je suis tout à fait d'accord pour dire que la justification est un aspect qui doit être examiné. Je pense donc qu'il s'agit en grande partie d'être capable de comprendre et de quantifier l'impact réel de quelque chose.

Pour en revenir à ce que je disais sur le fait que les gens n'ont pas, que nous n'avons pas de données fiables sur ce qui se passe réellement, que les recherches sont contradictoires. Je pense que l'une des premières étapes, et l'une des plus importantes, est de faire en sorte que notre société ait une meilleure compréhension des répercussions des systèmes d'IA. Ainsi, j'aime les propositions qui ont été faites à divers endroits et qui visent à donner un accès plus direct aux chercheurs indépendants afin qu'ils puissent mieux étudier les effets des systèmes d'IA de manière à comprendre et à quantifier l'étendue du problème.

Dans toute société, un grand nombre de problèmes peuvent se poser, mais comment parvient-on à en évaluer et à en comprendre l'urgence? Comment peut-on savoir, par exemple, quel est le risque de réduire au silence des groupes qui ont été victimes de discrimination par le passé? Ou quel est le risque de suicide et de dépression chez les adolescents découlant des algorithmes d'IA? Il faut quantifier ces éléments pour avoir une idée de leur importance et de leur urgence. Nous serions ensuite mieux en mesure de justifier nos choix et de déterminer si nous parvenons effectivement à y remédier efficacement. Mais il est très difficile de croire que les gens justifient quelque chose en s'appuyant sur... Ils contrôlent les données, définissent les paramètres et, comme par magie, les indicateurs s'améliorent.

Ishtiaque Ahmed : Oui, absolument. Et j'ajouterais une chose à ce que tu viens de dire. C'est que nous devons comprendre les préoccupations et nous devons les comprendre du point de vue de la personne qui souffre. Et c'est pourquoi il est très important d'étudier les diverses communautés différemment. Une étude qui m'a ouvert les yeux sur ce point est celle d'un groupe de... Je collaborais avec un groupe de chercheuses qui étudiaient les victimes de harcèlement sexuel. Donc, à ce moment-là, le mouvement #MoiAussi (ou #MeToo) était essentiel. Beaucoup de femmes ont commencé à en parler. Il y avait des préjugés. Les gens n'en parlaient pas, mais le mouvement créé par ce mot-clic a fait tomber ces préjugés et les femmes ont commencé à parler.

Mais lorsque nous avons rencontré des femmes de diverses communautés marginalisées qui vivaient encore avec leurs harceleurs, elles ne pouvaient toujours rien dire. Et ce genre de système d'IA, qui faisait apparaître à répétition ces messages #MoiAussi sur leur fil d'actualité ou sur celui de leur harceleur, ne s'est pas avéré très favorable à leur survie à long terme, car les harceleurs exerçaient désormais une pression plus forte pour les faire taire. L'effet devient encore plus pervers.

C'est pourquoi je pense qu'amener les diverses communautés à se faire entendre pour décrire la façon dont les systèmes les font souffrir et où le système est réellement biaisé est un processus ardu. Il faut répondre à de nombreuses questions touchant à l'autonomisation, à l'accès et à l'espoir d'obtenir justice. Parce que si vous amenez une personne à parler de sa situation de vulnérabilité et que vous ne parvenez pas à lui rendre justice, que vous ne la sauvez pas, cela signifie que vous la mettez dans une situation de vulnérabilité encore plus importante parce que maintenant, son opposant sait qu'elle dit ce qu'elle a à dire et ce peut être dangereux pour elle.

C'est pourquoi pour tout système axé sur les données pour lequel nous voulons des données quantifiables, nous avons besoin de preuves concrètes, nous devons travailler en collaboration avec les communautés vulnérables et marginalisées. Nous devons créer un espace sûr pour qu'elles puissent s'exprimer. Ensuite, nous pourrons obtenir des données quantifiables précises et compréhensibles. Donc, oui, je suis d'accord avec toi pour dire que nous avons besoin de ce modèle quantifiable. J'essayais simplement de faire remarquer que ce processus nécessite beaucoup de travail de terrain.

Ron Bodkin : Oui, sans aucun doute. Si l'on considère l'ensemble de la situation, des recherches innovatrices au déploiement à grande échelle, où se dresseront les plus grands obstacles selon toi? Et quelles sont les approches qui te semblent les plus intéressantes pour mieux réussir à répondre à certaines de ces préoccupations?

Ishtiaque Ahmed : Bonne question. Donc, si tu veux vraiment connaître ma réponse, elle peut sembler un peu philosophique, mais c'est ce que, honnêtement, j'ai ressenti en faisant cette recherche, c'est la question de l'espoir. Vous voyez souvent des personnes privilégiées sur votre fil Twitter ou Facebook, elles se plaignent des problèmes auxquels elles sont confrontées parce qu'elles ont l'espoir que d'autres personnes les écouteront. Qu'elles les soutiendront. Ou s'il s'agit d'un cas qui nécessite un changement de société et un changement de gouvernement, elles peuvent au moins faire passer le message. Et nous en avons même été témoins dans notre petite communauté universitaire. Quand nous trouvions que quelque chose n'allait pas, nous élevions la voix et le problème était corrigé. Cet espoir nous incite donc à en parler et à créer des données que nous pouvons utiliser pour élaborer des politiques et les modifier.

Mais ce qui se passe dans ces communautés marginalisées, c'est que souvent, elles ne parlent pas parce qu'elles n'ont pas cet espoir. Et je l'ai entendu très souvent en travaillant avec les participants à mes études. Ils disent : « À quoi bon parler de ça? Qui va nous écouter? » Donc, ce problème est... Une partie de ce problème est technique, mais une grande partie va au-delà de la technologie, je crois, cela concerne les gouvernements, les changements sociétaux. Sans cela, nous ne pourrons pas obtenir les données.

Dans notre laboratoire, nous avons essayé de créer ce genre d'espace sûr pour les communautés marginalisées, où elles peuvent s'exprimer de façon anonyme. Elles peuvent faire part de toutes leurs préoccupations ; il y a une sorte de flou à propos d'autres questions, de sorte que personne ne peut les identifier individuellement. Mais nous avons également constaté que leurs opposants prenaient le contrôle des systèmes et les sabotaient en quelque sorte. L'amélioration par rapport à l'utilisation anonyme des médias sociaux. Il s'agit donc d'un vaste problème. Et comme vous le savez, c'est un point sur lequel je rejoins Gillian une fois de plus, c'est que les informaticiens doivent travailler de concert avec des spécialistes en sciences sociales, des philosophes, des juristes, toutes sortes de spécialistes pour résoudre ce problème.

Ron Bodkin : Oui. Oui. C'est tout à fait sensé. Je veux dire, je pense qu'essayer de régler le problème du harcèlement de tout groupe en ligne, les discours haineux, le musellement et l'oppression, c'est un problème extrêmement complexe dans le sens où je ne pense pas que les médias sociaux et les entreprises en ligne, je ne pense pas qu'ils veulent le voir. Mais il peut être très difficile, à grande échelle, de détecter et de prévenir ces problèmes. Et bien sûr, le revers de la médaille, c'est que si vous êtes trop agressif pour arrêter ce qui pourrait être perçu comme, ou ce qu'un algorithme, de toute façon, identifierait comme négatif, cela pourrait facilement avoir pour effet d'étouffer un autre côté du débat. Donc, faire les choses correctement, c'est à tout le moins une proposition extrêmement coûteuse. Et peut-être que c'est une partie du problème : faut-il simplement changer le modèle d'affaires et dire que c'est le prix à payer? Mais d'un point de vue technique, il est très difficile de trouver un juste équilibre à l'échelle de ces gigantesques plateformes.

Ishtiaque Ahmed : Absolument. Et Ron, puisque tu as parlé de ce modèle d'affaires, je ne suis pas sûr que les entreprises de médias sociaux veuillent vraiment y mettre fin. Parce que s'il y a un débat sur un sujet, si des gens parlent de discours haineux, les personnes interagissent davantage sur les plateformes et elles font plus de profits. Je m'interroge donc vraiment sur leur intention sincère de mettre fin aux discours haineux ou à ce type de débat, comme certains sujets et la polarisation. C'est comme ça qu'elles gagnent leur argent. Mais c'est légitime. Je pense que la réglementation gouvernementale est importante, comme celle concernant les tiers.

Ron Bodkin : Oui. Je veux dire, certainement, je pense que les exemples les plus flagrants sont probablement nettement préjudiciables pour eux, mais l'ensemble est plutôt équilibré. Colère égale engagement. Beaucoup de gens pensent que c'est la publicité qui est à l'origine de ce problème. Mais il s'avère que de nombreux modèles d'affaires reposent sur les interactions. Inciter les personnes à continuer d'interagir si elles ont l'intention de s'inscrire. Si elles n'utilisent pas la plateforme, il est moins probable qu'elles s'inscrivent. Elles vont se désinscrire et ainsi de suite. Ainsi, même si j'aimerais que nous puissions remplacer la publicité et résoudre ce problème, je ne pense pas que nous le puissions.

Allons-y. Passons aux excellentes questions des participants. La première question est donc la suivante : existe-t-il des organismes de certification, des modèles d'évolution acceptés ou d'autres mécanismes sur lesquels nous pouvons nous appuyer pour aider les organisations à évaluer et à résoudre les problèmes liés à la partialité des données? Alors, Ishtiaque, je te laisse commencer pour celle-ci.

Ishtiaque Ahmed : Oui. Je peux commencer, mais je crois que tu en sais plus que moi sur ce sujet, car tu as acquis plus d'expérience sur le terrain. Ainsi, les données, ou les vérifications des systèmes d'IA sont un domaine en progression où ces organisations, elles ont mis en place des comités qui peuvent vérifier les systèmes d'IA. Et le comité de vérification examine à la fois les biais, les questions de protection des renseignements personnels et même l'incidence qu'aura le système d'IA à long terme sur la vie des gens, notamment en réduisant leur taux d'emploi et en créant une polarisation dans le domaine. Ce type de système de vérification est donc important. Je ne sais pas s'il existe une certification à ce sujet, que les entreprises peuvent envisager, mais c'est quelque chose dont, Ron, tu peux probablement nous parler.

Ron Bodkin : Oui. Eh bien, des travaux sont assurément menés par des organismes de normalisation dans ce domaine. Je sais que l'Organisation internationale de normalisation (ISO) a publié une norme sur les biais dans les systèmes d'IA et la prise de décision assistée par l'IA, que je ne lirai pas. Elle vient tout juste, en novembre dernier, de publier la première édition. Les personnes intéressées peuvent donc y jeter un coup d'œil. Bien sûr, il y a eu une multitude d'efforts de normalisation et je ne dis pas qu'il s'agit de la seule norme. La vie serait plus simple s'il n'y avait qu'une seule norme. Mais on cherche tellement à réussir à élaborer des normes et à s'attaquer à ce problème, non seulement de façon générale, mais aussi dans de nombreux cadres industriels différents, que nous avons en quelque sorte l'embarras du choix parmi les nombreux efforts déployés pour élaborer des normes. Et il y a beaucoup d'innovations dans le secteur privé qui examinent certaines choses comme la façon de faire, comme tu l'as dit, des vérifications. On voit des entreprises privées de divers types, qui vont de celles qui proposent des solutions très axées sur la technologie pour essayer de définir la portée de la vérification, à des approches plus personnalisées, plus consultatives, fondées sur les entretiens qui sont menés.

Je pense que l'un des éléments, c'est que la certification n'en est qu'à ses débuts. Il se trouve que j'ai travaillé à la fois avec le Forum économique mondial et le Responsible AI Institute sur certains projets en matière de certification de l'IA et leurs tentatives d'élaborer des normes. Là encore, on en arrive rapidement à la conclusion qu'il ne suffit pas d'avoir une norme générale visant l'ensemble des situations. Il faut commencer à s'intéresser aux détails des cas d'utilisation précis, des divers secteurs et des diverses situations. Mais l'autre chose que j'ajouterais à ce sujet, c'est que je pense que de passer d'une sorte d'approche fondée sur les commentaires qui permet de dire, eh bien, nous allons dire que nous avons défini un processus et allons ensuite nous assurer que nous suivons en quelque sorte fidèlement ce processus, à une approche fondée davantage sur les résultats du genre, comment pouvons-nous quantifier et comprendre l'incidence de manière plus objective, est extrêmement important.

Je dirais qu'une fois que l'on dispose d'assez bonnes études sur lesquelles on peut s'appuyer en ce qui a trait à l'étendue d'un problème ou d'une préoccupation, il est beaucoup plus raisonnable de trouver une sorte d'équilibre ou de compromis qui nous permettrait de déterminer quelle serait la meilleure façon de dire : « Qu'est-ce qui est justifiable ici? » Et encore une fois, je suis totalement d'accord avec ce dont nous avons parlé précédemment. Il n'est pas possible d'atteindre l'équité à 100 %. En fait, si on optimise le système pour favoriser l'un ou l'autre des aspects de l'équité, on devra probablement faire face à certains préjudices ailleurs. Donc, le fait est que c'est complexe et qu'il y a des compromis à faire. Je sais que l'UE a également, et je ne suis pas un expert en la matière, mais à ma connaissance, ils ont une norme beaucoup plus exhaustive concernant ce qui est considéré comme équitable, y compris ce qui est autorisé en ce qui a trait à certains des compromis algorithmiques, soit ce qu'on peut et ne peut pas faire en matière d'équité.

La bonne nouvelle : beaucoup de travaux sont menés sur le sujet. Je dirais aussi que l'équité s'inscrit souvent dans un cadre plus large regroupant l'éthique et l'IA responsable. Et certaines personnes définissent l'équité de façon si large que presque toute violation des règles de l'éthique est injuste, auquel cas c'est l'ensemble du domaine qui est visé. Mais si l'on opte pour une définition plus étroite de l'équité, alors il y a toute une panoplie d'autres normes auxquelles nous devons pouvoir réfléchir et que nous devons justifier, le bon comportement. Il s'agit donc d'établir des principes, mais aussi de mettre en place un cadre de gouvernance approprié qui permettra de déterminer comment appliquer ces principes au sein de l'organisation. Ou de déterminer comment mettre en place un processus permettant non seulement d'évaluer et de décider ce que nous allons faire, mais aussi de continuer à faire un suivi. Je pense que les organisations adoptent souvent une approche ponctuelle fondée sur des étapes et des jalons qui peut être très appropriée pour des technologies extrêmement matures.

C'est comme lorsque vous construisez un avion. À ce stade, j'espère que vous comprenez vraiment comment construire un avion sûr, que vous faites le travail préalable nécessaire et que, une fois que vous l'avez certifié, il ne devrait pas y avoir beaucoup de surprises. Eh bien, les systèmes d'IA ne sont pas comme ça. Ils changent fréquemment. Et donc, nous devons continuer à apprendre. Ainsi, lorsqu'on construit de nouveaux systèmes, on est souvent le moins bien placé pour savoir quels sont les risques réels. Il est donc possible d'en cerner certains, mais il faut surveiller les systèmes de près et se demander ce qui se passe réellement, et comment aborder l'expérience réelle que vivent les usagers de ces systèmes pour corriger le tir lorsque les choses ne se passent pas bien.

Ishtiaque Ahmed : Absolument.

Ron Bodkin : Sommes-nous prêts pour une autre question alors?

Ishtiaque Ahmed : Oui.

Ron Bodkin : La deuxième question est donc la suivante : que pensons-nous des systèmes de récompense et des principes de conditionnement utilisés dans d'autres pays? Par exemple, si vous enfreignez une règle sociale, votre bande passante est réduite, votre photo est affichée dans la zone où vous vous trouvez. Et comment pouvons-nous garantir que la réglementation de l'IA est utilisée de manière éthique et non comme un outil d'obéissance sociale?

Ishtiaque Ahmed : Oui. Alors. C'est ce que j'essayais d'évoquer lorsque je disais que la réglementation est un terme très chargé, qui peut avoir des significations différentes selon les pays et les contextes. D'une part, nous voulons que notre espace numérique ou technologique soit aussi équitable que possible. Nous ne voulons pas que les contenus qui s'y trouvent soient biaisés ou haineux. Mais d'un autre côté, voulons-nous réduire les gens au silence en disant : ce que vous avez dit n'est pas utile pour, disons, le gouvernement? Et c'est en fait un problème important dans de nombreux pays du monde. Si nous ne le voyons pas tant que ça en Amérique du Nord à proprement parler. En fait, je ne dis pas que ça n'arrive pas ici. Je dis que nous en entendons probablement moins parler ici. Mais dans de nombreux autres pays du monde, nous savons avec certitude que le gouvernement impose ce type de réglementation ou de surveillance aux citoyens, et que si vous dites quelque chose qui n'est pas conforme à leurs idéologies, vous en subirez les conséquences. Et cela peut venir du gouvernement. Cela peut également provenir de la communauté dans laquelle vous vivez. La communauté n'approuve pas ce que vous avez publié sur les médias sociaux et vous devez faire face aux conséquences.

C'est donc là qu'il faut une réglementation, mais une réglementation qui soit juste. Donc, c'est là que je rejoins Ron, sur cette question d'équité. La question de savoir dans quelle mesure le système d'IA doit s'intéresser à la question de l'équité est en fait une question très complexe. L'une des façons de l'envisager, et c'est simple, consiste à se concentrer sur les outils et les éléments avec lesquels le système d'IA interagit, comme les données que nous recueillons. S'agit-il de données équitables? S'agit-il de données représentatives? Nous pensons aux machines que nous utilisons et aux personnes qui les utilisent. Représentent-elles l'ensemble de la population? Y a-t-il assez de diversité ici? Le processus est-il respectueux de l'environnement? Sommes-nous certains de ne pas détruire des environnements? Donc, le processus est bon.

Et ensuite, lorsque nous livrerons le produit à la collectivité, qui sont les personnes qui vont l'utiliser? Et s'il y a une plainte, par exemple si nous n'avons pas pensé au problème et que les gens y sont confrontés et se plaignent, est-ce que nous les écoutons et est-ce que nous agissons? Ainsi, vous n'avez pas à « planifier » l'équité et à dire que ce que nous construisons est équitable et éthique à 100 %, mais ce qu'on peut faire à tout le moins, c'est être disposé à écouter les utilisateurs et à modifier le système en fonction des commentaires. Et c'est important.

L'autre chose que je veux souligner est que ce problème ne concerne pas uniquement les systèmes d'IA. Nous avons rencontré ce problème dans diverses sphères de notre vie politique, même au Canada. Au Canada, nous nous vantons du fait que notre environnement est très multiculturel et favorise l'inclusion et la diversité. Nous voulons travailler avec des personnes ayant des positions idéologiques et des idées politiques différentes. Maintenant, comment parvenons-nous à résoudre ce problème dans les systèmes qui ne relèvent pas de l'IA dans notre espace public? Les politologues, les décideurs politiques utilisent déjà certains moyens pour gérer ce genre de tensions. Le problème ici est que les personnes qui sont des experts en la matière n'ont souvent pas de liens avec ce domaine technologique. Et soudainement, au cours des dernières années, les technologies, en particulier les technologies numériques alimentées par l'IA, ont en quelque sorte pris le contrôle des citoyens. Or, ces entreprises technologiques sont parfois plus proches des gens que les gouvernements et elles ne sont pas toujours connectées à ce type de spécialistes de la politique ou de décideurs qui, pendant des centaines d'années, ont élaboré des stratégies pour maîtriser ces problèmes et les atténuer. Le défi consiste ici à rétablir ces liens.

Ron Bodkin : Ce sont tous d'excellents points. Je crois sincèrement que le capitalisme de surveillance contrôlé par les oligopoles est un mauvais système. Une dictature fondée sur la surveillance est encore pire. Et une collaboration poussée entre les oligopoles et les dictateurs est probablement le pire système de tous. Je comprends donc la pertinence de cette question, à savoir que je suppose que les nations qui accordent de l'importance à l'autoreprésentation individuelle et aux valeurs démocratiques libérales, je crois qu'il nous incombe de trouver de bons systèmes qui fonctionnent bien. Je ne pense pas qu'il faille s'inquiéter outre mesure des compromis légitimes que nous devons trouver entre les intérêts dans l'élaboration des politiques. Bien sûr, les dictatures s'en serviront comme excuse pour couvrir leur propre comportement, mais quoi que nous fassions, elles trouveront des excuses. Je ne pense donc pas qu'il faille hésiter à adopter une réglementation et des politiques réfléchies en invoquant la façon dont les dictatures fonctionnent.

L'une des choses que je souhaite, et à laquelle je pense qu'il est important que nous réfléchissions, est de savoir comment créer davantage de mesures incitatives et de choix. Je ne pense vraiment pas qu'il y ait de bonnes options. Je n'aime pas l'idée que le gouvernement dicte de plus en plus le discours qui devrait être véhiculé et ce qui est autorisé ou non, parce que je ne pense pas que cela se passe bien. Mais je n'aime pas non plus l'idée qu'un petit nombre d'entreprises privées contrôlent de plus en plus les propos qui sont tenus dans notre société. C'est aussi extrêmement dangereux. Je pense donc qu'il est important de trouver des moyens de préserver un plus grand choix et de permettre à chacun de s'exprimer davantage, ainsi que d'être davantage en mesure de créer des fiducies de données et de permettre à des associations de se réunir et d'avoir un meilleur contrôle sur ce qui est fait par elles et en leur nom.

Il y a des idées – les gens parlent de choix algorithmique, des moyens de créer une structure où les gens peuvent davantage contrôler leurs données et ont plus d'options par rapport à ce qui est fait. Je pense que si nous adoptions davantage de mesures incitant à servir les collectivités, exigions une politique qui considère comme souhaitable une multitude de moyens de communication et faisions en sorte que les gens puissent avoir le choix des lieux et des espaces qui leur conviennent, nous serions dans une meilleure position. Et je pense que nous l'avons fait. Une grande partie du succès des démocraties jusqu'à présent a été d'avoir... Il a été relativement facile de lancer une publication, de faire entendre une nouvelle voix et de se doter d'une nouvelle politique éditoriale. Et nous ne nous inquiétons pas tellement si une voix est divergente ou différente de la nôtre, car nous pouvons trouver un endroit qui rejoint nos idées. Je crois donc que nous devons élaborer des politiques en ce sens et non pas considérer un nombre limité de choix et les réglementer pour répondre à nos objectifs.

Ishtiaque Ahmed : Absolument.

Ron Bodkin : Donc, évidemment, un sujet que nous trouvons tout à fait... Je pense que c'est un sujet important. J'apprécie la question. Une autre question, aussi très bonne. Dans quelle mesure est-il important de s'intéresser aux personnes qui participent à la création, à l'étude et à la mise en œuvre de la réglementation en matière d'IA?

Ishtiaque Ahmed : Oui, je peux répondre à cette question. Je pense qu'il s'agit là d'une question très importante. Même dans son exposé, Gillian a parlé du philosophe John Rawls et de l'admiration qu'elle porte à la philosophie de la justice de John Rawls. Et je suis aussi un admirateur de John Rawls. Et l'une des choses que dit Rawls, c'est qu'il faut réfléchir du point de vue de la personne la plus vulnérable de la société en se demandant ce qui pourrait mal tourner si l'on prenait une certaine décision en matière de politiques ou si l'on créait une certaine technologie. Donc, la façon dont vous réfléchissez à la justice est celle dont vous... On ne pense pas aux personnes privilégiées, parce que, comme nous, elles bénéficient déjà d'un réseau de soutien en place au sein duquel elles peuvent trouver de l'aide. Mais pour les personnes les plus vulnérables, comment peut-on y arriver?

Or, Rawls était correct en théorie, mais comment peut-on envisager les choses du point de vue de la personne la plus vulnérable de la société? Ce n'est pas facile. Donc, c'est théoriquement juste, mais très difficile à faire en pratique. C'est là que la question de la représentation devient très importante. Lorsque vous créez un système, un système d'IA, vous devez faire appel à des personnes provenant de divers groupes, en particulier le groupe marginalisé, qui peuvent examiner le système. Elles peuvent examiner les données et dire : « Ces données ne nous représentent pas. » Ou « Le système que vous allez créer risque de faire plus de mal que de bien à ma communauté ou aux personnes que je représente. » C'est là que la représentation devient très importante. Et même dans sa théorie philosophique, Rawls le dit. Il parlait du système juridique et il y a une question, même dans une salle d'audience, il faut des personnes d'horizons différents pour soulever des préoccupations découlant de divers points de vue marginalisés. Et c'est là que cette représentation devient très importante en matière de réglementation de l'IA.

[Alex rejoint la discussion vidéo.]

Ron Bodkin : Très bien. Eh bien, merci. Je dirais que c'est un sujet dont nous pourrions discuter très longtemps, mais comme le temps file, nous devrions probablement faire part de nos derniers commentaires pour clore la discussion. Je vais peut-être en formuler quelques-uns et te céder la parole, Ishtiaque, pour conclure. Je pense que c'est merveilleux de constater à quel point les gens s'intéressent et réfléchissent à ces sujets importants. Et je pense qu'il est également important pour nous de chercher à contribuer de manière positive. Comment envisageons-nous de créer des systèmes d'IA qui auront une incidence positive et qui amélioreront ce qui a été fait auparavant? Comment réfléchissons-nous, dans le secteur public, aux façons dont l'IA peut nous aider à saisir les occasions de mieux servir la population, donner du pouvoir aux gens et améliorer les choses?

Il y a donc d'énormes possibilités dans ce domaine. Comment pouvons-nous, par la même occasion, le faire de manière réfléchie et mettre en place des systèmes qui permettent d'évaluer et de cerner les défis, les risques et les problèmes et d'agir rapidement pour les résoudre? Et parfois, la réponse peut être que quelque chose est trop risqué et que nous ne devrions pas le faire. Et je pense qu'en fait, c'est une bonne chose que d'envisager une solution et de décider ensuite de passer son tour. Je crois que nous devons rassembler certaines des meilleures idées dans les domaines de l'informatique, des sciences humaines et des sciences sociales pour contribuer au débat public. Voilà donc quelques observations et Ishtiaque, je te laisse la parole pour que tu puisses faire part de tes dernières réflexions.

Ishtiaque Ahmed : Oui, absolument. J'insisterais sur le fait qu'une plus grande collaboration est nécessaire entre les diverses disciplines, car souvent, les personnes qui travaillent en sciences humaines posent des questions sur la façon dont elles peuvent en apprendre davantage sur l'IA et l'utiliser pour améliorer ce qu'elles font. Et je leur réponds : « C'est nous qui avons besoin d'apprendre de vous. C'est plus important pour nous. » Je pense donc qu'il devrait y avoir plus de conversations entre les spécialistes de diverses disciplines, les personnes provenant de divers groupes, de divers endroits, afin de réunir ces questions. Et c'est là que l'IA centrée sur l'humain ou l'IA centrée sur la justice, ce sont les choses que nous devons mettre de l'avant. L'IA n'est pas la seule chose qui nous enthousiasme. C'est l'IA éthique qui devrait être présentée comme une question d'intérêt national, je crois.

Ron Bodkin : Excellent. Bien, je cède maintenant la parole à Alex pour qu'elle conclue notre événement avec le mot de la fin.

Alex Keys : Merci. Waouh. Merci beaucoup à tous les deux d'avoir pris part à cette conversation aussi pertinente qu'inspirante. Nous sommes heureux de pouvoir présenter à nos apprenants de la fonction publique vos perspectives et vos idées au sujet de la partialité, de l'équité et de la transparence de l'IA. Merci encore de nous avoir consacré du temps aujourd'hui. Nous souhaitons également remercier notre partenaire pour cette série, l'Institut Schwartz Reisman pour la technologie et la société, pour son soutien dans l'organisation de l'événement d'aujourd'hui, notamment la professeure Gillian Hadfield pour la conférence d'ouverture. Nous tenons également à remercier tous les apprenants qui se sont inscrits à cette activité. Merci beaucoup de vous être joints à nous.

Si vous souhaitez en apprendre davantage sur les travaux de Ron et d'Ishtiaque, n'hésitez pas à consulter le lien qui sera fourni dans le message que vous recevrez après l'événement d'aujourd'hui. Et comme toujours, nous vous serions très reconnaissants de répondre à l'évaluation qui sera également incluse dans ce message. Le prochain événement de la série L'intelligence artificielle est à nos portes aura lieu le 15 mars, et le thème portera sur les efforts déployés à l'échelle mondiale en vue de réglementer l'IA. Les renseignements concernant l'inscription seront publiés très prochainement sur le site de l'École de la fonction publique du Canada. Nous nous réjouissons à l'idée de tous vous revoir lors de notre prochain événement et vous invitons à consulter notre site Web pour découvrir les nouvelles activités d'apprentissage qui vous sont proposées. Encore une fois, merci beaucoup à vous tous. Bon après-midi.

[01:16:11 La discussion vidéo se termine par une transition vers le logo de l'EFPC.]

[01:16:18 Le logo du gouvernement du Canada apparaît et s'obscurcit peu à peu jusqu'au noir.]