Transcription
Transcription : Semaine de démos d'outils de données de l'EFPC : Tirer parti des données pour faciliter l'accès aux recherches en santé publique
[Le logo de l'École de la fonction publique du Canada (EFPC) apparaît à l'écran.]
[Vanessa Vermette apparaît dans une fenêtre de clavardage vidéo.]
Vanessa Vermette, EFPC : Bonjour à tous. Bienvenue à l'École de la fonction publique du Canada. Avant le début de l'événement d'aujourd'hui, je veux juste rappeler à tous nos auditeurs qu'il se déroule en anglais et qu'une traduction simultanée est disponible. Un rappel que l'interprétation simultanée language est disponible pour cet événement aujourd'hui. De plus, pour les participants seulement, il y aura une période de questions et réponses. Vous pouvez soumettre vos questions à un panéliste à tout moment pendant la webdiffusion en utilisant l'icône de la main levée en haut à droite du lecteur vidéo. Nous prendrons autant de questions que possible après la démonstration.
Aujourd'hui, c'est le dernier événement de la série Semaine de démos d'outils de données. Nous sommes très heureux de terminer la semaine avec nos partenaires de l'Agence de la santé publique du Canada et d'Evidence Partners. Puisque vous êtes tous en train de regarder cette webdiffusion, vous savez à quel point il est primordial pour les chercheurs et les décideurs d'avoir accès à des données probantes de haute qualité et opportunes pour faire évoluer les connaissances et favoriser la prise de décision.
En même temps, le volume d'études et de données que les chercheurs doivent trier et maîtriser est énorme. Il n'est pas structuré et il s'accroît de jour en jour. Evidence Partners est une entreprise d'Ottawa qui s'est donné pour mission de résoudre les problèmes auxquels sont confrontés le plus souvent les chercheurs qui participent aux analyses systématiques et à la surveillance documentaire. Il le fait d'une manière très pratique en utilisant l'automatisation et l'intelligence artificielle. Nous allons apprendre comment Evidence Partners s'y est pris et écouter l'Agence de la santé publique du Canada nous expliquer comment elle utilise l'outil DistillerSR d'Evidence Partners pour collecter, filtrer et extraire des données d'études de recherche scientifique afin de produire des données probantes de haute qualité en moins de temps et avec moins d'intervention manuelle.
J'aimerais présenter nos panélistes, en commençant par nos collègues de l'Agence de la santé publique.
[Trois autres panélistes se joignent au groupe.]
Nous avons d'abord avec nous Alejandra Jaramillo. Alejandra est gestionnaire scientifique principale à l'Agence. Elle possède plus de 18 ans d'expérience dans le domaine des soins de santé. Au cours des 12 dernières années, elle a axé ses efforts sur la conception et la réalisation d'analyses systématiques afin d'élaborer des directives de pratique clinique fondées sur des données probantes ainsi que des orientations et des politiques de santé publique.
Alejandra est accompagnée d'Alex Zuckerman. Alex est analyste de recherche et travaille également à l'Agence de la santé publique. Il est responsable des analyses systématiques au sein de l'Unité de synthèse des données probantes. Il est devenu l'expert de l'équipe en ce qui concerne l'utilisation de l'outil DistillerSR d'Evidence Partners.
C'est avec plaisir que nous accueillons aujourd'hui le directeur général d'Evidence Partners, Peter O'Blenis. Peter est un pionnier de l'automatisation des analyses documentaires et il travaille sur ces défis depuis 2001, donc depuis 20 ans maintenant, en se mobilisant avec des centaines de groupes de recherche dans le monde entier. Nous avons également avec nous Derek Lord, qui est le chef d'équipe des ingénieurs des solutions chez Evidence Partners. Le rôle de Derek est de participer directement à la mise en œuvre des solutions pour les clients et d'aider ceux-ci à se conformer aux pratiques dans ce domaine.
Alejandra, je vous invite à présenter vos observations préliminaires sur le travail que vous avez effectué et votre participation à l'élaboration de l'outil. Bienvenue! Merci.
[Alejandra parle sans que personne l'entende.]
Oh, Alejandra, si vous pouviez juste activer le son de votre micro.
Alejandra Jaramillo, Agence de la santé publique du Canada : Merci. Je suis désolée. Tout le monde m'entend bien?
Vanessa Vermette : Oui.
Alejandra Jaramillo : Bonjour à tous. Merci de nous avoir invités à participer à la Semaine de démos d'outils de données. Je vais prendre quelques instants pour vous parler un peu de notre équipe. Comme Vanessa l'a mentionné, c'est avec plaisir que je dirige un groupe de scientifiques et de méthodologistes à l'Agence. Nous faisons partie de la Division de la recherche appliquée au sein de la Direction générale de la promotion de la santé et de la prévention des maladies chroniques.
Notre principale mission est de procéder à des analyses systématiques des données probantes et d'élaborer des recommandations en matière de santé publique et des directives de pratique clinique fondées sur des données probantes. Actuellement, nos analyses systématiques et nos directives sont axées sur des sujets liés à l'incidence élargie de la COVID-19, notamment l'impact de la COVID sur la santé mentale, l'insécurité alimentaire, la violence familiale et la COVID longue. Les données que nous produisons et toutes nos conclusions se répercutent sur l'élaboration de politiques à l'Agence. Comme vous pouvez l'imaginer, le rythme de notre travail est très, très rapide.
Les résultats de nouvelles études sur la COVID sont publiés presque tous les jours. Il nous est donc très important de tenir à jour l'ensemble des données probantes et des recommandations destinées aux cadres supérieurs. Il y a très peu de place à l'erreur. DistillerSR a joué un rôle déterminant en nous permettant de fournir ce qui est attendu de nous. Peter et son équipe vous en diront plus sur cet outil. Je serai heureuse de répondre à vos questions par la suite. Merci, Vanessa.
Vanessa Vermette : Merci beaucoup. Oui, je pense que la COVID est un excellent exemple de la rapidité à laquelle nous devons nous adapter et changer, et être capables de rester à l'affût des données probantes qui existent. Merci pour cet exemple. Peter, c'est maintenant à votre tour de faire une courte présentation sur l'outil. Nous passerons immédiatement à la démonstration après votre présentation. Peter, à vous la parole.
Peter O'Blenis, Evidence Partners : Parfait. Merci beaucoup. Je vais vous montrer quelques diapositives pour établir le contexte, puis nous laisserons Derek s'occuper du volet amusant. Laissez-moi juste vous montrer rapidement mon écran; il y a tellement d'écrans à choisir à partir d'ici. Un instant, je vous prie. Voilà.
[Peter montre son écran et présente un montage de diapositives. Il fait défiler des diapositives qui montrent des photos de l'équipe d'Evidence Partners, des statistiques sur l'entreprise et des citations clés provenant de lui-même.]
D'accord. Si les diapositives ne vous semblent pas correctes, faites-le-moi savoir.
Voici un rapide aperçu d'Evidence Partners et de Distiller. Bien sûr, il y a moi-même et Derek, que vous allez entendre dans un instant. Voici une vue d'ensemble de l'entreprise. L'entreprise existe depuis la fin de 2008. Nous nous sommes d'abord concentrés sur les analyses documentaires systématiques dans le milieu universitaire. C'était notre marché principal à l'époque. Mais le marché s'est étendu aux entreprises pharmaceutiques, aux entreprises d'instruments médicaux et aux organismes gouvernementaux au Canada, aux États-Unis, en Europe, en Australie et au Royaume-Uni, et il vise un large éventail de types d'analyses documentaires.
Avant, il s'agissait principalement d'analyses systématiques. Maintenant, nous entendons parler de plus en plus de types d'analyses documentaires que les gens font. Nous avons environ 300 clients dans le monde entier. Ce sont des institutions qui utilisent la plateforme. Le taux de renouvellement très élevé est ce dont nous sommes fiers. Cette plateforme en est une par abonnement. De façon fondamentale, le taux de renouvellement est près de 100 %, tandis que le taux de satisfaction de la clientèle est très élevé.
Nous aimons le croire parce que cela nous tient vraiment à cœur. Notre mandat consiste à améliorer la qualité de la recherche à l'échelle mondiale. Lorsque nous avons commencé à concevoir des logiciels d'analyse documentaire, personne d'autre sur le marché ne le faisait. Il faut reconnaître que c'étaient des travaux de recherche très importants. Les gens utilisaient des chiffriers Excel, SharePoint et ainsi de suite pour essayer de réaliser ces travaux. Or, ce n'était qu'un processus vorace en temps et sujet aux erreurs qui ne permettait pas aux chercheurs de se concentrer sur la recherche. Ils se concentraient plutôt sur toute la logistique qu'englobait le processus.
Notre mandat consiste à être toujours en tête. Nous avons été perturbateurs sur ce marché. C'est nous qui avons créé le premier produit en son genre. Nous concentrons constamment nos efforts sur le réinvestissement dans la plateforme. L'idée est d'innover en permanence et de réinvestir tous les bénéfices générés par l'entreprise dans l'innovation. C'est un processus continu. Aujourd'hui, l'entreprise compte environ 75 employés et se développe rapidement.
L'objectif est de rester avant tout le partenaire de confiance des personnes que nous servons. En fin de compte, c'est ce que les gens veulent. Ils veulent pouvoir nous faire confiance en vue de la présentation de la plateforme et ils veulent pouvoir faire confiance aux données probantes qui en découlent, car elles sont essentielles. Les renseignements qui passent par ce système sont très, très importants.
Très rapidement, qu'est-ce qu'une analyse systématique ou une analyse documentaire structurée? Essentiellement, si vous deviez la décrire de la manière la plus générale qui soit, vous avez là une question. Il peut s'agir d'une question clinique. Ce peut être n'importe quelle question pour laquelle vous souhaitez obtenir une réponse. Vous consulterez l'ensemble de connaissances qui existent pour tenter de trouver des renseignements à ce sujet. Il s'agirait d'articles scientifiques ou d'articles de tout genre, selon le type de recherche que vous effectuez. Vous récupérerez les références qui semblent prometteuses. Vous éliminerez ensuite celles qui ne sont pas pertinentes.
Puis, vous allez extraire les principaux éléments de données de ceux qui le sont. Vous utiliserez ces données à des fins d'analyse et de rapport, et pour contribuer au processus décisionnel. Voilà essentiellement ce qu'est une analyse documentaire. Là encore, le problème est que ces processus englobent des dizaines de milliers de cellules de données. Dans le cas de la COVID, il pourrait y avoir des centaines de milliers d'articles au fil du temps. Mais il pourrait n'y en avoir qu'une centaine. Tous les domaines sont toutefois vraiment couverts. Il y a plusieurs personnes qui essaient de collaborer en temps réel, qui rassemblent des données, qui s'occupent de l'élimination des doublons ou qui valident les réponses des autres. Tout cela n'est que du temps système qui rend le processus plus vorace en temps et plus sujet aux erreurs. C'est vraiment ce à quoi nous essayons de nous attaquer.
Si l'on regarde de nouveau qui a recours à ce processus, ce sont les entreprises pharmaceutiques et les entreprises d'instruments médicaux dans le cadre de leurs processus réglementaires et de contrôle de la sécurité, ainsi que les organismes gouvernementaux, comme celui d'Alejandra, qui l'utilise notamment pour inspirer les directives publiques. Il est utilisé dans le domaine de la sécurité alimentaire. Il est utilisé dans les domaines de la recherche environnementale, de la toxicologie et, même, des sciences sociales. Je connais un groupe qui étudiait l'incidence de la taille des classes sur l'apprentissage des élèves, par exemple. Il a recours à un processus d'analyse documentaire systématique pour trouver des données probantes qui éclaireront ses décisions connexes.
Ce processus s'applique donc à de nombreux domaines différents. En fait, il est assez générique. Vous pouvez l'utiliser pour beaucoup de choses afin de générer des données probantes de haute qualité. Bien sûr, lorsque vous générez des données probantes de cette manière, vous regroupez des recherches qui ont déjà été effectuées. Vous obtenez ainsi quelque chose qui est généralement plus utile sur le plan statistique qu'une seule étude ou un petit groupe d'études. Le processus est donc très utile.n
[Une nouvelle diapositive montre les inconvénients des « processus d'analyse ponctuels peu fiables » que Peter énumère, et une flèche pointe vers un graphique circulaire où il est écrit « processus automatisés normalisés ». Trois sections égales à l'intérieur du cercle se lisent ainsi : « Gestion transparente », « Processus automatisés » et « Flux de travail structurés ». Dans un cercle plus petit au centre, il est écrit « Données probantes fiables ».]
Une fois de plus, la raison pour laquelle les gens cherchent à utiliser une plateforme comme Distiller est que le processus est intensif sur le plan logistique. Il est vorace en temps. Il coûte cher. Il est très sujet aux erreurs, surtout si vous utilisez des trucs comme des chiffriers dont plusieurs personnes se servent également. Il est très facile de saisir de mauvaises données. Par exemple, un groupe chez Medtronic a déclaré qu'il lui fallait en moyenne trois jours pour trouver une erreur dans un chiffrier puisque les chiffriers sont énormes.
Ce n'est donc pas une bonne utilisation du temps pour les chercheurs. Comme Alejandra pourra en témoigner, il est très difficile de trouver des gens compétents dans ce domaine. Ces chercheurs ne sont pas faciles à trouver. Nous voulons donc nous assurer d'avoir recours à leurs services aussi efficacement que possible.
[Une nouvelle diapositive montre un diagramme complexe où figure un texte en petits caractères. Elle comporte diverses sources infonuagiques de documents qui sont intégrées dans DistillerSR, qui, lui, transmet des données à DAISY. Les documents sont ensuite intégrés dans d'autres sources infonuagiques.]
Voici un graphique. Je n'entrerai pas trop dans les détails. Mais pour vous donner une idée de ce que Derek va vous montrer si vous envisagez d'utiliser Distiller en tant que moteur de flux de travail fondé sur l'intelligence artificielle, c'est essentiellement un moteur de flux de travail fondé sur l'équipe qui gère de nouveau la plupart des éléments logistiques de votre analyse documentaire. Vous intégrez les références dans le logiciel frontal de Distiller. Ces références peuvent être sensiblement dans n'importe quel format que vous pouvez trouver. Elles peuvent provenir de toutes sortes de sources de données différentes.
Il devient donc très important d'éliminer les doublons. Vous aurez toujours des doublons si vous utilisez plusieurs sources de données ou si vous effectuez une analyse documentaire continue. Le problème semble simple, mais en fait, il ne l'est pas tant que cela. Il faut effectuer beaucoup de travail. Par contre, Distiller possède un moteur d'élimination des doublons fondé sur le traitement du langage naturel qui est très efficace pour trouver et supprimer les doublons, sans pour autant supprimer accidentellement des données. Il ne devrait pas les supprimer. Il faut ensuite une intervention humaine dans le cadre du processus de filtrage, du processus d'évaluation des articles et, dans l'ensemble, de tous les processus de flux de travail que vous définissez. Vous pouvez établir votre protocole de recherche dans la plateforme. La plateforme gère ce processus. Elle attribue des tâches aux gens, qui les exécutent. Elle valide les travaux et ainsi de suite.
Il y a un autre élément, et c'est l'intelligence artificielle. L'intelligence artificielle peut servir à accélérer le processus de filtrage, par exemple. Elle surveillera le travail humain pendant le filtrage. Elle apprendra ce que les gens aiment et n'aiment pas, et fera remonter les articles importants en haut de la pile, ce qui peut faire gagner beaucoup de temps.
Vous pouvez aussi créer votre propre classificateur. Si vous avez filtré toute une pile de références, vous pouvez simplement faire savoir à la plateforme qu'il s'agit du type d'article que vous recherchez. La plateforme peut créer un classificateur qui pourrait être exécuté de manière autonome par rapport aux articles pour en évaluer la validité. Il s'agit essentiellement d'un moteur de classification fondé sur l'intelligence artificielle à créer soi-même. Puis, nous avons des gens ou des organisations qui conçoivent des classificateurs propres à leurs besoins.
Ce qui ressort de l'autre côté, c'est que vous pouvez bien sûr surveiller l'ensemble du processus pendant qu'il se déroule. Vous pouvez générer des exportations personnalisées. Il y a aussi un tas d'exportations en boîte. Également, la plateforme dispose d'une interface de protocole d'application, ce qui vous permet d'y intégrer et d'en extraire des documents sur le plan de la programmation si vous souhaitez en faire l'incorporation dans un plus grand système. Nous avons certainement beaucoup de clients gouvernementaux, en particulier aux États-Unis, qui sont en train de le faire en ce moment et ainsi de suite.
Une fois de plus, considérez la plateforme comme un moteur de flux de travail fondé sur l'intelligence artificielle. C'est un système entièrement fondé sur le Web. Il est hébergé dans le nuage. Il est conforme à la réglementation, ce qui représente assurément une condition préalable pour tous nos clients. En ce qui concerne les raisons pour lesquelles les gens l'utilisent, on note une amélioration assez spectaculaire. Les gens disent que leurs gains de temps se chiffrent de 40 % à 90 %. L'entreprise Phillips dit qu'elle économise un million de dollars par année au sein d'un service grâce à l'utilisation de la plateforme. Il ne s'agit pas de ne plus faire travailler les gens, car vous aurez toujours besoin de personnes très futées pour effectuer toutes ces analyses. Il s'agit simplement d'éliminer la corvée pour eux et de leur permettre d'axer leurs efforts sur ce qui leur est vraiment, vraiment utile.
Encore une fois, il y a les économies de coûts et de temps, et la réduction des erreurs parce que, comme Alejandra y a déjà fait allusion, vous ne voulez pas publier quelque chose d'erroné, surtout s'il s'agit d'une directive de santé. C'est un geste dangereux pour la carrière. Nous voulons des résultats réellement transparents et vérifiables. Si quelqu'un vous demande « Comment avez-vous pris cette décision? », eh bien, la provenance de chaque cellule de données devrait être facilement disponible, et vous n'aurez qu'à cliquer sur la cellule de données en question. Où avons-nous trouvé les données? De quel article proviennent-elles? Qui les a extraites? Tout est là, à votre vue. Vous pouvez voir l'information. La configurabilité est vraiment importante, car il n'y a pas deux groupes avec lesquels nous travaillons qui font les choses exactement de la même manière. Vous ne voulez pas que le logiciel dicte votre protocole. Vous devez être en mesure de définir le protocole, et le logiciel doit s'y adapter.
Enfin, il est très important sur le plan de l'intégration d'offrir un soutien à la clientèle et de permettre aux gens d'être rapidement opérationnels; justement, Derek collabore étroitement avec notre équipe de soutien à la clientèle. En général, il s'écoule quelques semaines entre le moment où vous pouvez vous inscrire, selon votre disponibilité, et celui où nous pouvons réellement lancer les projets. Je ne veux rien enlever à ce qui est plus important. Ce n'est qu'un aperçu de haut niveau de Distiller et de ce que nous faisons. Je pense que nous pouvons passer directement à Alejandra ou à Derek.
[Le partage d'écran se termine.]
Vanessa Vermette : Merci beaucoup, Peter. C'est excellent. Je pense que vous avez fait un bon résumé. C'est le mariage idéal entre l'humain et la machine où la machine s'occupe de toute la corvée, non? L'humain en est ainsi libéré et peut se consacrer aux tâches importantes. C'est un travail intéressant. Merci. À vous, Derek.
Derek Lord, Evidence Partners : Oh, merci beaucoup. Laissez-moi activer mon partage d'écran ici pour tout le monde. Donnez-moi une confirmation rapidement. Vous pouvez voir mon écran apparaître.
[Derek partage son écran qui montre une interface de Distiller. Un tableau de bord indique « Welcome to Arthritis Economic Impact Evaluation! » (Bienvenue à l'Évaluation des impacts économiques de l'arthrite!) et énumère des tâches comme le filtrage et l'extraction de données.]
Peter O'Blenis : C'est bien.
Vanessa Vermette : Oui.
Derek Lord : Excellent. Merci beaucoup. Et merci à Peter pour la vue d'ensemble. Vous avez couvert beaucoup de détails importants. Je vais en évoquer quelques-uns ici, qui sont vraiment importants. Mais en réalité, je veux consacrer du temps à examiner le logiciel réel. Comment fonctionne-t-il? Comment pouvons-nous nous en servir? Quels sont certains des avantages de son utilisation?
À un niveau très élevé, je vais parler de trois ou, en fait, de quatre éléments principaux. Je vais parler du logiciel dans son ensemble, puis de la manière dont nous y intégrons réellement les données. Comment traitons-nous ces données? Ensuite, comment les récupérons-nous? Ces trois éléments sont, bien entendu, la clé du succès. Mais chacun d'eux a ses propres défis uniques. Comme Peter l'a dit, c'est un logiciel en tant que service. Il est en ligne. Il n'y a pas d'installation; il est pris en charge par tous les principaux navigateurs. Il est donc très facile de collaborer dans le monde entier et au-delà des fuseaux horaires, surtout si vous avez l'habitude d'utiliser des feuilles Excel et d'essayer d'en assurer la transmission entre des équipes. Il y a beaucoup de défis, et c'est un gros fardeau. Je suis sûr que beaucoup d'entre vous ont déjà fait face à ce genre de situation où les données ne concordent pas tout à fait. Une personne met un trait d'union, une autre met des majuscules, mais pas l'autre, n'est-ce pas? Tout devient beaucoup plus désordonné. Il y a beaucoup d'efforts à déployer rien que pour le nettoyage, sans parler de l'extraction de renseignements.
L'utilisation d'un outil comme DistillerSR en ligne permet de se débarrasser de ces tâches administratives. Tout est centralisé, et l'équipe peut ainsi se concentrer sur les tâches importantes, intéressantes et valorisantes, plutôt que sur les tâches administratives. Maintenant, DistillerSR est incroyablement configurable. C'est quelque chose que nous avons entendu encore et encore de la part de tout le monde. C'est un outil très flexible, même sur ce projet que je viens d'ouvrir, soit l'Évaluation des impacts économiques de l'arthrite. Nous pouvons voir quelques niveaux dans mon flux de travail, à savoir le filtrage du résumé du titre, le filtrage du texte intégral, l'extraction de données, puis l'extraction de la sécurité et de l'efficacité. Mais tout ce que nous voyons ici est complètement programmable pour vous.
Quelle est la démarche à suivre? Quel travail devons-nous faire pour nous assurer d'obtenir les renseignements pertinents ici? Et ce n'est qu'un projet. Nous pouvons même créer plusieurs projets et passer de l'un à l'autre très facilement.
[Derek expose un menu déroulant qui montre une liste de projets.]
Comme dans le monde réel, il n'y a pas deux choses identiques. Vous pouvez configurer chacun de ces éléments de manière unique afin de vous assurer que les défis de ce projet et de cette équipe seront relevés. Nous pouvons même mettre en place un mécanisme de validation en temps réel pour l'équipe. Ainsi, pendant qu'elles seront collectées, les données seront validées par le système, et, une fois de plus, le travail administratif sera pris en charge dès le départ.
Ce que je veux examiner ici, c'est d'abord l'importation de références et je souhaite en parler un peu plus. Nous allons d'abord revenir sur certaines de ces autres choses. Je vais donc examiner... Nous avons le menu intuitif en haut ici. Si je veux intégrer des références dans mon projet, je vais aller dans « references » (Références), puis dans « find and import references » (Trouver et importer des références).
[Derek navigue vers la page « find and import references » (Trouver et importer des références). Sur celle-ci, un menu déroulant indique « select a source » (Sélectionner une source). Il l'expose en mettant en évidence l'option « From File » (À partir du fichier).]
Nous avons déjà quelques options. Je vais juste me concentrer sur « from file » (À partir du fichier). Nous avons beaucoup de groupes différents. Certains parmi vous utilisent PubMed. Ce n'est peut-être pas le cas de certains autres parmi vous. Nous avons une connexion directe à la base de données de PubMed.
[Les onglets sont exposés et offrent différentes options de formatage de balises.]
Je vais me rendre directement à « From File » (À partir du fichier). Maintenant, DistillerSR est configurable. Cela signifie que vous pouvez le rendre aussi simple ou aussi complexe que vous le souhaitez dans de nombreux cas. Par exemple, ici même, nous avons beaucoup d'options. Mais de façon réaliste, je peux faire défiler la page vers le bas en passant par-dessus. Nous pouvons même simplement faire glisser et déplacer un fichier CSV que nous voulons importer dans le projet, en cliquant là-dessus.
[Derek fait glisser un fichier dans un espace « glisser-déplacer » sous les options de formatage. Il clique sur un bouton sur lequel il est écrit « Import References » (Importer des références).]
Je m'excuse. C'est le gros bouton vert. On fait des vire langues en se rendant là.
Toutes ces références seront importées au début du projet, où elles pourront être examinées par l'équipe. C'est très facile à utiliser. Bien sûr, vous pouvez rendre les choses plus difficiles, au besoin, en fonction du nombre de sources que vous avez et des différences qui existent pour vous assurer qu'elles sont prises en compte.
Maintenant, nous avons aussi une fonction appelée LitConnect. C'est très intéressant. Beaucoup d'espaces différents commencent à l'adapter et permettent d'y avoir des bases de données comme PubMed ou Ovid qui ont des alertes automatiques ou des notifications configurées; vous n'avez pas à relancer votre recherche chaque jour ou chaque semaine. La base de données exécutera cette fonction pour vous selon vos conditions et vos critères. En fait, elle peut envoyer les données à Distiller, où elles seront automatiquement importées et intégrées dans votre projet de manière à ce que, comme si nous faisions une importation manuelle, elles soient toutes prêtes à être transmises de nouveau ici, dans le tableau de bord, à partir de notre écran de niveau un et prêtes à être consultées par l'équipe. Encore une fois, il s'agit d'éliminer les tâches administratives et de permettre à l'équipe de se concentrer sur ce qui est intéressant et sur ce qui doit être réellement fait, au lieu de parcourir le Web et de cliquer 20 fois pour essayer de faire le travail; l'équipe peut donc s'attaquer aux vraies tâches.
Une autre chose que je veux mentionner ici rapidement, c'est qu'en plus de la configurabilité, tout dans Distiller sera axé sur les autorisations. En tant qu'équipe, vous pouvez le configurer de manière à ce que différents utilisateurs aient accès aux différents projets dont nous avons parlé. Différents utilisateurs travaillent sur des sujets différents, et vous ne voulez pas tout voir en même temps. Vous pouvez configurer différentes tâches que différents utilisateurs pourront exécuter dans chaque projet. Les gens ne devraient pas tous tout faire et se consacrer à tous les projets, n'est-ce pas? C'est juste chercher les ennuis. Beaucoup de gens ne veulent pas de cet accès s'ils n'en ont pas besoin. Vous pouvez même être très précis. Ainsi, si vous faites appel à des entrepreneurs pour obtenir leur aide, par exemple, vous pourriez dire « Je souhaite seulement que les entrepreneurs nous aident à réaliser nos deux niveaux de filtrage », et ils ne devraient rien voir d'autre dans le projet, n'est-ce pas? Il n'y a aucun problème ici. Vous pouvez mettre en place toutes sortes de configurations précises afin de vous assurer que vos besoins pour ce projet sont satisfaits.
[Sur le tableau de bord, Derek fait dérouler un menu.]
Maintenant, sur la page d'accueil, nous pouvons voir très rapidement en tant qu'analystes où le travail doit être fait. Combien de références non analysées ai-je à chaque étape du flux de travail? Mais nous pouvons aussi passer à l'onglet « project progress » (État d'avancement du projet). J'aurai alors un aperçu de haut niveau de ce qui se passe dans le cadre du projet en ce moment.
[Derek navigue vers l'onglet « Project Progress » (État d'avancement du projet). Il montre un graphique en barres qui indique le statut et l'état d'avancement des références.]
Je peux ainsi voir, par exemple, que nous en sommes à environ 30 % du filtrage du résumé du titre. Je peux obtenir plus de détails à ce sujet. Combien de références ont été incluses ou exclues à chacun de ces niveaux?
Il s'agit simplement de renseignements de haut niveau et de quelques détails rapides sur les utilisateurs qui ont été actifs dans le système récemment et sur le type d'effort qu'ils ont déployé dans le cadre de ce projet particulier. Nous pouvons, bien sûr, opter pour des rapports beaucoup plus détaillés, mais si vous voulez un rapide coup d'œil de haut niveau, cela pourrait être un bon moyen d'avoir une première évaluation de l'état d'avancement du projet et de ce qui se passe actuellement.
Nous allons maintenant passer au traitement de certaines de ces références. Nous avons importé des données dans le système. Voyons comment les récupérer dans le système. Je vais donc passer à notre niveau de filtrage... ou, pardon, avant de le faire, je vais revenir un peu en arrière. Une fois que nous avons importé les références, la prochaine chose à faire est de procéder à l'élimination de leurs doublons, n'est-ce pas? Personne ne veut consacrer temps et argent à vérifier la même chose deux ou trois fois pour les différents membres de l'équipe. Je vais retourner dans notre menu et me rendre dans notre outil de détection des doublons.
[Dans l'outil « Duplicate Detection » (Détection des doublons), de nombreux filtres et options de balisage apparaissent. Derek les met en évidence et montre un bouton appelé « Run Dupe Check » (Exécuter la vérification des doublons).]
Jetez-y un bref coup d'œil. Une fois de plus, il y a beaucoup d'options. Mais vous pouvez passer directement à ce gros bouton vert. Cliquez dessus, et le système ramènera un tas de doublons potentiels. Maintenant, nous estimons que l'outil fait un excellent travail. Même lorsque l'on utilise des outils fiables comme EndNote, il y a toujours des doublons supplémentaires que la plupart des équipes trouvent en se servant de Distiller.
Dans ce cas, on peut voir que les codes d'identification de référence 6 et 226 ont été ramenés. Quand je les regarde, ils me semblent assez identiques. Et le système est d'accord. On obtient un taux de confiance de 97 % pour la concordance de ces deux doublons. Une fois que nous les aurons trouvés et évalués, nous pourrons choisir celui que nous voulons mettre en quarantaine afin de ne pas traiter la même chose plusieurs fois. Mais une quarantaine n'est pas une suppression.
Vous aurez toujours besoin de cette transparence, de cette vérifiabilité. Vous pouvez donc vous rendre dans le projet et dire « Montrez-moi toutes les références que nous n'avons pas traitées parce qu'elles avaient été mises en quarantaine. Et pourquoi? »
Maintenant, sur cet écran, je n'ai que six doublons potentiels. Mais dans de nombreux projets, vous pourriez en avoir des centaines, voire des milliers. Leur gestion nécessite beaucoup de temps et d'effort. Également, nous disposons d'une fonction appelée « Smart Quarantine » (Quarantaine intelligente), qui vous permet en fait de définir ce que vous souhaitez que l'ordinateur fasse pour vous aider. Nous pourrions fixer un seuil et dire « Si l'ordinateur est confiant à 97 %, alors je le suis aussi ». Et je veux que l'ordinateur mette automatiquement en quarantaine toutes les références les plus récentes qui atteignent ou dépassent ce seuil. Cette option permettra d'éliminer, disons, 80 % des doublons que vous trouvez et de laisser à l'équipe humaine le soin d'analyser ceux dont vous êtes un peu moins sûrs. Vous pouvez définir le type de seuil que vous souhaitez avoir ici.
Mais ce que nous essayons de faire, c'est de voir à ce que l'ordinateur soit là pour vous aider quand et où vous le voulez. Il vous incombe donc de déterminer ce qu'il va faire et où il va le faire. Sinon, vous exercez toujours un contrôle total sur le processus.
Nous allons maintenant revenir au tableau de bord. Je vais analyser l'une de ces références. Nous allons passer à la page de filtrage du résumé du titre et je vais ouvrir mes références non analysées. Là encore, il y a quelques options de filtrage en haut de l'écran. Je vais simplement opter pour la référence en haut de cette liste pour voir à quoi elle ressemble.
[Derek navigue vers une liste de références non analysées et en sélectionne une. Il accède à une page de résumé où se trouve en haut l'avertissement « You are editing data on forms originally submitted by derek_lord. Any changes will be tracked in the Audit Log. » (Vous modifiez des données sur des formulaires soumis à l'origine par derek_lord. Tout changement fera l'objet d'un suivi dans le journal de vérification.)]
Nous pouvons voir que c'est en fait quelque chose que j'ai déjà analysé moi-même. Je m'en excuse. Laissez-moi revenir ici. Je me rends dans une référence non analysée juste pour que vous puissiez voir à quoi ressemble une nouvelle référence.
[Derek sélectionne une nouvelle référence, mais le même avertissement s'affiche.]
D'accord. Alors...
Peter O'Blenis : Derek, la liste déroulante des références analysées était toujours sélectionnée, je crois.
Derek Lord : Elle était encore sélectionnée? Je m'excuse.
Peter O'Blenis : Oui.
Derek Lord : D'accord. Laissez-moi revenir ici. Je pense que ce n'est pas allé au bon endroit.
[Derek ajuste quelques filtres sur la page de filtrage.]
D'accord. Je vais plutôt faire un filtrage en texte intégral.
Vanessa Vermette : Vous êtes peut-être efficace au point où vous les avez toutes analysées?
Derek Lord : On dirait que je l'ai fait. Je m'excuse, tout le monde. D'accord. Eh bien, vous savez quoi? Pour gagner du temps, ce que je vais faire est de me rendre ici.
Alejandra Jaramillo : Derek.
Derek Lord : Oui.
Alejandra Jaramillo : Vous avez les réponses sélectionnées pour les promoteurs. Voilà pourquoi elles apparaissent avec toutes celles que vous avez analysées.
Derek Lord : Oui. Désolé. J'ai réglé le problème. Nous avons nos références non analysées. Je vais ouvrir la première en haut de la liste. Merci pour le dépannage, tout le monde. J'apprécie cela. Comme on peut le voir, les humains ne sont pas parfaits. Les machines ne sont pas parfaites. Nous trébuchons à travers tous ensemble.
[Une nouvelle référence se charge sans que l'avertissement apparaisse. Derek passe la souris sur les éléments pendant qu'il donne des explications.]
J'ai devant moi une référence non analysée que nous pouvons analyser tous ensemble. Ici, en haut, nous avons un format bibliographique pour cette référence. Encore une fois, il est configurable; vous pouvez définir les renseignements qui doivent être affichés ici et ceux qui ne doivent pas l'être. En bas à gauche, nous avons un résumé pour cette référence. Nous remarquerons tout un tas de couleurs ici et des mots comme « arthrite », « coûts » et « traitement ». Vous pouvez définir les mots-clés qui sont importants pour votre projet et les configurer rapidement et facilement dans le cadre du projet. Il sera ainsi possible d'attirer l'attention sur ces détails essentiels et de les soumettre à un filtrage encore plus rapidement et plus facilement.
Ici, à droite, nous avons le formulaire d'analyse réel. Voici les questions auxquelles je dois répondre en tant qu'analyste pour cette partie du projet. Nous pouvons avoir la validation en temps réel ici. Par exemple, si j'essaie de soumettre le formulaire, le système dira qu'il ne peut pas encore passer à l'étape suivante. Il y a des questions obligatoires auxquelles il faut répondre. Alors, est-ce qu'on inclut cette référence ou non?
Si je l'inclus, c'est bien. Maintenant, je peux soumettre le formulaire. Si je l'exclus, d'autres questions vont apparaître. Les formulaires peuvent même être créés de manière dynamique. Au lieu de parcourir une centaine de lignes dans une feuille Excel en essayant d'établir quelles questions s'appliquent et lesquelles ne s'appliquent pas, et d'y consacrer du temps, le système vous procurera en fait les renseignements que vous devez recueillir selon l'information que vous lui avez déjà transmise.
Nous pouvons aussi réagir en traitant ces références et en répondant à toutes les questions auxquelles nous devons répondre. Tout ce qui se trouve sur ce formulaire est entièrement configurable. Combien de questions avez-vous? S'agit-il de questions textuelles? De questions à choix multiples? Où cette validation doit-elle s'appliquer? Ce sont toutes des choses que vous définissez pour votre projet; c'est l'étape du flux de travail que vous êtes en train d'analyser.
Maintenant, si nous appuyons sur le bouton « submit » (Soumettre) ici, certaines choses vont se dérouler dans les coulisses. Dès que j'aurai cliqué sur ce bouton, la référence disparaîtra. Le système chargera automatiquement la référence suivante de sorte que nous ne perdions pas le fil et que nous traitions les choses rapidement. Mais il va en fait créer un journal de vérification. Nous saurons ainsi qui a consulté la référence et à quelle date et à quelle heure, quelles réponses ont été données, bref tous ces renseignements. Il y aura un historique des versions; par conséquent, si je modifie mes réponses ou si un gestionnaire vient les modifier, nous connaîtrons non seulement les données actuelles qui ont été sélectionnées, mais également, comme l'a dit Peter, la provenance et l'historique complet de tous les renseignements associés à la référence.
Vous pouvez donc remonter aussi loin que vous le souhaitez; tout est à votre disposition. Le système effectue automatiquement un suivi de toutes ces données. Il va même s'assurer que toutes les exigences en matière de flux de travail sont respectées. Ainsi, si deux analystes doivent examiner chaque référence, le système s'en chargera et verra à ce que deux personnes indépendantes s'en chargent.
Que se passe-t-il si les deux analystes ne sont pas d'accord? Un utilisateur peut dire « inclure » et l'autre, « exclure ». Le système peut signaler ces « conflits », comme nous les appelons, et les porter immédiatement à votre attention. Ainsi, vous détecterez ces problèmes et les réglerez immédiatement pendant qu'ils sont encore frais dans votre mémoire, et non pas six mois plus tard, lorsque vous découvrirez, en analysant la feuille Excel, que ces deux personnes n'étaient pas d'accord. Vous n'aurez pas à relire tout l'article et à établir pourquoi elles n'étaient pas d'accord.
Il y a donc beaucoup de choses qui se font dans les coulisses pour vous faciliter la vie et vous permettre de vous concentrer sur l'analyse proprement dite et la diffusion des données. Dès que nous aurons terminé, je vais revenir ici. Allons à une autre partie du flux de travail.
[Dans le formulaire des filtres de référence, Derek met en évidence les filtres de recherche.]
En fait, avant d'aller de l'avant, je vais vous dire un petit mot au sujet de DAISY Rank. Nous avons sélectionné ici ce que nous appelons DAISY Rank. Nous avons cette automatisation qui a été intégrée dans le système, à de nombreux endroits, grâce à l'intelligence artificielle. Mais il vous incombe d'établir dans quelle mesure vous souhaitez l'utiliser et où. Le niveau de complexité va de très simple à très avancé sur le plan de ce que fait le système. DAISY Rank est une excellente introduction à l'automatisation dans l'intelligence artificielle.
Dans ce cas, comme l'a dit Peter, l'intelligence artificielle va observer ce que fait l'équipe, trouver des similitudes entre ce que vous aurez inclus et ce que vous aurez exclu, et commencer à transposer en haut de la liste toutes les inclusions les plus probables de sorte que l'équipe trouve 90 % à 95 % de vos inclusions après avoir filtré seulement un petit pourcentage des références totales dans ce projet. Vous serez en mesure de les traiter ensuite jusqu'au texte intégral et vous trouverez l'information plus rapidement et prendrez ces décisions fondées sur les données que vous allez transformer en politiques ou en règlements beaucoup plus rapidement.
C'est génial parce que l'intelligence artificielle aide, mais que les humains prennent toutes les décisions. Il n'y a aucune dépendance à l'égard de l'ordinateur, et vous n'avez pas à vous soucier de la précision et de la confiance qui s'y rattachent. C'est en quelque sorte le point d'entrée. Nous disposons de beaucoup d'outils d'intelligence artificielle de ce genre : ils aident, mais ne forcent rien. Cela va jusqu'aux choses beaucoup plus complexes où vous pouvez réellement concevoir vos propres classificateurs personnalisés. Aucun codage n'est requis. La présence de scientifiques de données au sein de l'équipe n'est pas nécessaire, mais vous pouvez en fait trouver réponse à des questions fermées telles que « Est-ce un essai contrôlé randomisé? » S'agit-il d'une population d'enfants? Quel que soit le type de question que vous souhaitez poser, vous pouvez adapter les classificateurs personnalisés de façon qu'il vous aident, notamment avec la classification.
Il y a donc beaucoup d'options différentes. Je ne m'étendrai pas trop sur le reste. Mais vous savez qu'il existe de nombreux choix au chapitre de la méthode d'intégration potentielle. À partir du tableau de bord, je vais revenir en arrière. Je veux juste montrer une chose ici concernant le filtrage en texte intégral.
[Derek revient au tableau de bord en soulignant les éléments.]
Il est à noter ici que le chiffre est toujours 30, même si j'ai analysé une référence parce qu'elle a été exclue. Elle n'a donc pas été soumise au processus. Si nous excluons quelque chose, nous n'avons plus besoin de nous en occuper. Si un élément est inclus, il va évoluer dans le flux de travail comme nous le souhaiterions. Celui-ci a une pièce jointe. Allons à celui-là.
[Derek retourne dans la tâche de filtrage et fait défiler les références. À mesure qu'il mentionne des liens, il les ouvre.]
Dans cette référence, nous pouvons voir qu'il y a un fichier en PDF. Il y a un peu plus de contexte. En fait, un fichier en PDF pourrait être disponible dans le système. Je peux l'ouvrir dans un autre onglet. Nous pouvons ensuite obtenir ce contexte, le lire et l'utiliser pour le reste de l'extraction de données ou du filtrage en texte intégral.
Il y a d'autres façons d'obtenir des documents en texte intégral ici. Je ne vais en parcourir que quelques-unes. Mais il y a encore bien plus que ce dont je parle. Nous avons des partenariats avec RightFind et Article Galaxy. Nous avons des liens vers la source originale d'identifiant numérique d'objet si cette information a été transmise dans la référence, et nous pouvons en fait consulter PubMed Central pour y trouver tous les fichiers en PDF gratuits qui se rattachent à ces références et les joindre automatiquement pour vous. Si vous utilisez EndNote, nous pouvons en extraire des références.
Encore une fois, il y a plus que cela. Il y a de nombreuses façons d'essayer d'obtenir ces renseignements et ce contexte dans votre système. Même si vous disposez d'une bibliothèque interne partagée ou d'une source en ligne pour ces fichiers en PDF, vous pourriez être en mesure de créer un lien direct vers ceux-ci. Il y a donc beaucoup de choix, car nous savons que la collecte des documents en texte intégral n'est pas la meilleure partie de ce travail. Mais c'est une partie très importante du travail, non? Sans elle, tout le reste s'arrête en quelque sorte.
Dernier point, et non le moindre, je souhaite jeter un œil rapide sur les rapports. Comment récupère-t-on l'information du système?
[Derek montre un menu déroulant à partir d'une barre de menus supérieure qui montre divers rapports. Il navigue vers l'un d'eux.]
Nous avons un tas de rapports préétablis ici. Pour gagner du temps, je vais juste vous en montrer un. Nous avons notre rapport sur les exclusions. Je sais que nous avons beaucoup de groupes ici; je vais donc essayer de maintenir un niveau élevé. Mais nous avons les détails de filtrage. Combien de références ont été exclues de notre filtrage du résumé du titre? En fait, combien même ont été exclues pour une raison précise? Nous agirons ainsi pour chaque référence.
Nous vous donnons ces chiffres et ces renseignements tout de suite. Si vous le faites, utilisez PRISMA; c'est génial. Si vous avez besoin d'autres formats, nous avons certaines méthodes différentes. Vous pouvez télécharger l'information sur les exclusions. PRISMA est l'un des formats les plus populaires. Je vais donc télécharger PRISMA et ses détails ici.
[Derek télécharge un fichier PRISMA et l'ouvre; on y aperçoit un organigramme complexe.]
Tous ceux qui connaissent PRISMA vont reconnaître cela. J'espère que vous pouvez voir le document Word sur mon écran. Merci. Nous pouvons constater que tous les détails de PRISMA ont été en fait préalablement remplis pour nous. Tous ceux qui en ont créé savent que, lors des bonnes journées, il faut quelques heures pour le faire. Lorsque les choses vont moins bien, il faut parfois plusieurs jours pour collecter, structurer et traiter les renseignements de manière à pouvoir les présenter ici. Or, en cliquant sur un bouton, on peut faire beaucoup mieux que l'une ou l'autre de ces options. Cela pourrait représenter un énorme gain de temps pour vous.
Cependant, les rapports d'exclusion ne sont qu'une chose. Il en faut plus. Nous avons également Datarama, un outil de rapport personnalisé.
[Sur la plateforme Distiller, Derek passe à la page « Datarama », qui montre des onglets de paramètres, d'options et de critères de rapport.]
Il vous permet de créer vos propres rapports à l'aide de vos propres renseignements et choix par rapport à l'information précise à extraire du système et à envoyer là où elle doit être transmise ensuite.
Ici, je vais créer un rapport rapide sur les données de filtrage que nous analysons, par souci de cohérence. Donc, si je lance ce rapport, nous verrons un tas de données revenir ici avec les références qui ont été traitées, les réponses à ces questions.
[Derek clique sur un bouton, et un tableau de renseignements est rempli. Derek sélectionne un élément et est amené à la page des références.]
Je peux même cliquer ici, ce qui me ramènera directement à l'original. Comme nous l'avons vu plus tôt, si quelqu'un a déjà réalisé cette tâche, vous pouvez toujours ouvrir les données. Vous pouvez toujours les voir dans le format original dans lequel elles ont été vues avec leurs réponses. Si je change ceci, je peux le faire sans problème. Cela va se répercuter directement sur l'historique des versions dont nous avons parlé également. Ce peut être très utile pour comprendre pourquoi nous prenons cette décision. Allons dans les détails; nous pourrons y arriver rapidement et facilement.
Maintenant, si nous faisons de l'extraction de données, par exemple, vous pourriez avoir beaucoup de questions. Vous ne voulez pas toutes les avoir dans un seul rapport en même temps. Pour l'instant, je vais seulement réduire ce rapport et me débarrasser de la raison d'exclusion et des commentaires, disons, en ne gardant que quelques-uns des champs pour pouvoir l'exécuter de nouveau. Maintenant, c'est tout ce que l'on récupère. Nous pourrions souhaiter faire du filtrage pour des produits ou résultats précis. Ajoutons un filtre ici. Nous avons quelques types de filtres différents. Mais je vais m'intéresser à celui des questions-réponses, car c'est l'un des plus populaires.
[Sur la page « Datarama », Derek utilise les options de filtre.]
Je ne fais que sélectionner le niveau, la forme et la question. Je ne vais montrer que les références pour lesquelles nous avons signalé « oui » pour les conserver en tant que renseignements généraux. Exécutons ce rapport une fois de plus. C'est tout ce que l'on récupère. Il y a beaucoup de flexibilité en ce qui concerne les renseignements dont nous avons besoin dans le rapport et la manière dont nous voulons les transmettre.
Nous pouvons y ajouter un format bibliographique personnalisé ainsi que l'option AMA, où l'on peut poser n'importe quelle question. Ces éléments sont toujours en ligne, mais ne vous mèneront pas bien loin. Nous pouvons donc les transmettre dans un fichier Excel, CSV ou RES. Quel que soit le format, cela fonctionnera. Je vais transposer ceci dans une feuille Excel rapide et l'ouvrir.
[Derek télécharge un fichier Excel.]
C'est rendu sur mon autre moniteur. Voilà.
[La feuille Excel du rapport s'affiche.]
Ces mêmes renseignements sont maintenant disponibles sur une feuille Excel sur laquelle je peux créer un graphique ou faire des calculs, ou que je peux simplement transmettre à l'équipe suivante, selon ce que nous devons faire. Comme l'a mentionné Peter, nous disposons également d'une interface de protocole d'application. Vous pouvez extraire toutes sortes de renseignements rapidement et facilement. De cette façon, nous pouvons sauvegarder ces rapports et les exécuter de nouveau facilement. Il y a vraiment beaucoup de possibilités. Et ce n'est encore que la pointe de l'iceberg, comme pour bien d'autres choses.
Je pense que j'ai couvert toutes les choses les plus importantes que je voulais m'assurer de vous montrer aujourd'hui. Merci beaucoup de votre attention. Je vais prendre quelques questions, je crois.
[ Le partage d'écran se termine.]
Vanessa Vermette : Merci beaucoup, Derek. En effet. Nous commençons à recevoir des questions. Je rappelle à tous les participants qu'il est temps d'envoyer leurs questions en utilisant l'icône de la main levée dans le lecteur. Je voudrais d'abord donner la parole à nos collègues de l'Agence de la santé publique et leur demander de nous en dire un peu plus sur leur expérience de l'intégration de l'outil. Comment la configuration et tous les travaux se sont-ils déroulés? Je présume que la mise en place est assez détaillée et qu'on commence ensuite à en récolter les avantages au fil du temps. Alejandra ou Alex, l'un d'entre vous pourrait-il nous en dire un peu plus à ce sujet?
Alejandra Jaramillo : Oui, Vanessa, c'est une très bonne question. Je peux certainement passer le flambeau à Alex pour qu'il puisse répondre à certaines des questions plus techniques. Mais je voulais vous faire savoir, en fait ce que je veux dire, c'est que l'intégration est assez simple. Du point de vue de la gestion, cela facilite beaucoup les choses. C'est l'intégration pour nous en tant qu'équipe, c'est comme apprendre à utiliser un outil. Mais je suis sûre que beaucoup d'entre vous peuvent faire un lien avec la situation actuelle de la COVID, du moins à l'Agence, en raison de tous ces groupes de travail supplémentaires sur la COVID qui ont été créés. Nous avons des gens qui intègrent l'équipe et qui en sortent.
C'est une pratique assez régulière de nos jours. Du point de vue de la gestion, l'intégration de l'équipe dans son ensemble, mais aussi l'intégration des nouvelles personnes qui arrivent ont été assez faciles, tout comme la transmission des dossiers lorsqu'une autre personne doit réintégrer le groupe de travail, celui sur les vaccins; les gens reviennent. Nous devons en quelque sorte les remettre à jour sur l'outil. Du point de vue de la gestion, du moins, c'est facile. C'est aussi la certitude d'avoir tout documenté grâce à la piste de vérification à laquelle Derek a fait allusion. Donc, nous savons qui a fait quoi. Le transfert entre les personnes, entre les employés est beaucoup, beaucoup plus facile. Pour les volets techniques, je vais laisser la parole à Alex. Merci.
Alex Zuckerman, Agence de la santé publique du Canada : Oui. Merci. Merci de m'avoir invité. Oui. Je pense que Derek a abordé quelques-unes des fonctionnalités qui sont vraiment utiles pour ces équipes flexibles où les gens entrent et sortent. Une chose qu'il n'a pas abordée, c'est que vous pouvez en fait sauvegarder certains des rapports qu'il nous a montrés dans Datarama. Vous pouvez les sauvegarder, puis les publier dans la barre de tâches. Ainsi, si vous avez quelqu'un qui ne connaît pas bien l'outil DistillerSR, vous pouvez rendre ce tableau de bord très convivial. Je veux dire, évidemment, il est très simple de trouver les références. Comme Derek nous l'a montré, il suffit de cliquer sur le lien où il est écrit « unreviewed » (non analysé). Mais vous pouvez aussi permettre aux utilisateurs d'exécuter facilement des rapports préétablis qui leur donneront les réponses dont ils ont besoin.
Par exemple, s'ils veulent vérifier les conflits avec des collègues ou autre chose, et à mesure que les gens apprennent à connaître la plateforme, vous pouvez la configurer pour qu'elle soit très, très conviviale. Ensuite, à mesure qu'ils connaîtront mieux la plateforme, vous pourrez leur accorder plus d'autorisations. Vous pouvez également faire en sorte que les personnes ne puissent modifier que leurs propres réponses, car même si vous disposez d'un journal de vérification, il arrive que des personnes cliquent sur le mauvais formulaire par accident. Donc, vous pouvez en quelque sorte réduire le potentiel d'erreur.
Puisque vous pouvez ajouter des personnes à plusieurs projets dès qu'elles sont à l'aise avec un projet ou si elles veulent changer de projet, il suffit d'un clic de bouton pour les transférer très facilement d'une équipe à l'autre. Un aspect important de la valeur de Distiller pour la formation et pour les nouveaux membres, c'est qu'avec l'intelligence artificielle, vous disposez d'options de contrôle de la qualité très puissantes que vous pouvez utiliser.
Ainsi, en plus de donner une formation pilote sur les formulaires aux gens, comme vous le feriez pour n'importe quelle analyse systématique, l'intelligence artificielle, par exemple, suggère certaines références qui auraient pu être exclues par inadvertance. Si vous avez une nouvelle équipe qui travaille sur un dossier, vous pouvez vérifier ce qui, selon l'intelligence artificielle, aurait été exclu par accident. Vous pouvez faire une vérification très rapide sans même devoir produire un rapport complet et tout examiner. La plateforme est très efficace pour les utilisateurs expérimentés et très conviviale pour les nouveaux utilisateurs.
Vanessa Vermette : C'est excellent. Merci beaucoup. Nous avons ici une question sur le processus d'intégration. La question est la suivante : « Cet outil nous aide-t-il à nous assurer que nous analysons toutes les données probantes pertinentes ou obtenons-nous uniquement ce que nous sélectionnons au préalable à partir de certaines sources? » Je ne sais pas vraiment s'il y a quelqu'un qui voudrait peut-être répondre à cette question. Je sais que n'importe quel outil logiciel est comme un déchet qui entre et qui sort, non? À quel moment faites-vous ces sélections sur ce qui va être inclus dans le processus d'analyse? S'agit-il toujours d'une décision humaine ou l'outil vous aide-t-il à sélectionner ce qui va être inclus au début du processus d'intégration?
Alejandra Jaramillo : Je présume que c'est le processus d'intégration, c'est-à-dire les sources, vous disiez, qui sont utilisées pour les citations. Je veux dire que nous suivons des méthodes scientifiques très rigoureuses. Nous utilisons les bases de données normalisées où sont publiées les études médicales ou cliniques dans les études de santé publique. Nous avons donc en quelque sorte des bases de données normalisées. Nous en avons toujours plus d'une afin de nous assurer que nous ne manquons rien. Cette partie vient avec l'expertise qui découle de la simple connaissance de son propre domaine. Quelles sont les sources que vous devriez utiliser? C'est en quelque sorte l'aspect humain de la chose. Nous utilisons également DAISY en raison du classement des citations, par exemple, qui vous permet en fait de passer en premier lieu par celles qui sont les plus pertinentes pour votre travail afin de les parcourir en premier.
Je tiens à préciser que notre équipe chargée de ce mandat est assez nouvelle; elle a été créée il y a moins d'un an. C'est donc assez récent. Mais très rapidement, nous avons été en mesure d'intégrer tous les éléments de l'intelligence artificielle. Nous examinons la possibilité d'intégrer l'intelligence artificielle, y compris DAISY, de sorte que DAISY effectue par lui-même le premier filtrage, le premier niveau de filtrage, pour certaines des analyses que nous mettons constamment à jour. On espère ainsi que DAISY procédera à l'ensemble du premier niveau de filtrage. On se chargera ensuite des autres niveaux.
Mais les sources elles-mêmes, oui, ce sont des sources que nous choisissons en connaissant les sujets, en sachant d'où proviendront les données probantes, les meilleures données probantes. Mais nous intégrons en quelque sorte les bases de données électroniques où sont publiées des études médicales ou de santé publique. Nous incluons également, par exemple, des sources provenant de rapports gouvernementaux ou de sites Web. Une fois de plus, c'est vraiment l'humain qui décide. Par la suite, DAISY pourra nous aider à passer par cette étape et même à couvrir potentiellement le premier niveau de filtrage une fois que vous aurez donné la formation sur l'outil.
Vanessa Vermette : Super. Je pense que cela répond très bien à la question. Alex, avez-vous quelque chose à ajouter?
Alex Zuckerman : Non. Vous avez parlé de déchets qui entrent et qui sortent, et Derek a également évoqué l'élimination des doublons. Je peux vous dire que c'est très utile et que nous l'utilisons toujours. Nous avons une analyse systématique en cours, qui dispose maintenant d'environ 15 000 références. Évidemment, beaucoup de doublons s'y trouvent. L'outil est très puissant. Nous procédons à l'élimination des doublons avant dans notre logiciel de référence. Par contre, il y a toujours des trucs qui passent entre les mailles du filet, mais vous pouvez réellement vous débarrasser, comme je l'ai dit, de la plupart d'entre eux avec la quarantaine automatique.
Vous pouvez également parcourir l'outil et modifier exactement la façon dont vous souhaitez qu'il fasse concorder les éléments. Voulez-vous qu'il vérifie uniquement les titres ou uniquement les résumés? En effet, selon la base de données à partir de laquelle vous extrayez des éléments, il se peut que des renseignements manquent. Il est ainsi possible de gagner du temps par la suite et de détecter 99 % des doublons. Nous tombons très rarement sur un doublon évident lors du filtrage à la suite de l'exécution; nous consacrons un peu de temps à utiliser l'outil d'élimination des doublons.
Vanessa Vermette : Merci, Alex. Un participant a une question. Peter, je vous la transmets. Si quelqu'un souhaite pouvoir évaluer la qualité méthodologique d'un article ou d'une étude inclus, le système lui permet-il de le faire?
Peter O'Blenis : Oui. Je veux dire, vous auriez une méthode d'évaluation de la qualité. Ce pourrait être une norme Cochrane. Il s'agit essentiellement d'une série de questions que vous poseriez à un expert lors de l'analyse de l'article et auxquelles il répondrait. Vous attribueriez une note à l'article selon la façon dont il aurait répondu aux questions. Vous créeriez essentiellement ce formulaire dans Distiller. Plusieurs modèles s'y trouvent déjà, et vous pouvez les utiliser pour une grande partie des formulaires d'évaluation de la qualité de type Cochrane qui sont déjà là.
En réponse à la remarque antérieure de Derek, vous pouvez les établir. Les formulaires sont donc intelligents. Vous répondez aux questions d'une certaine manière, et le système peut calculer votre note de qualité globale au bas du formulaire si vous le souhaitez. Cela fait partie de la capacité de s'adapter au protocole que vous souhaitez utiliser.
Vanessa Vermette : Super. Merci.
Alejandra Jaramillo : Vanessa, si je peux...
Vanessa Vermette : Bien sûr, allez-y.
Alejandra Jaramillo :... Je veux simplement ajouter quelque chose. Juste dans notre cas, juste pour atténuer le risque de partialité, je veux dire, c'est un peu ce à quoi on arrive... la première étape pour atteindre la qualité des études ou des citations. En fait, nous avons conçu les outils de gestion du risque de partialité. Il existe de nombreux types différents d'outils qui servent à évaluer le risque de partialité selon le type d'étude. Nous avons la flexibilité nécessaire pour les concevoir dans Distiller. Nous pouvons bel et bien le faire et saisir des données, ce qui fait partie, une fois de plus, de la base de données dans laquelle nous conservons les renseignements sur toutes ces études. Nous appliquons également la notation. Ainsi, pour ceux parmi vous qui connaissent également les méthodes, les méthodes rigoureuses pour l'élaboration de directives, pour les orientations de santé publique et pour les directives de pratique clinique, nous utilisons la notation. Il est aussi possible de l'intégrer dans Distiller et, comme l'a dit Peter, de répondre à certaines de ces questions.
Ensuite, nous avons tout l'historique des raisons pour lesquelles nous avons pris des décisions parce que certaines d'entre elles sont des décisions de jugement. L'aspect humain est donc toujours présent. Nous portons des jugements sur ce que nous considérons comme une évaluation des données probantes, disons, ou une évaluation de leur qualité et de leur certitude.
Mais il faut toujours pouvoir revenir en arrière. L'équipe de la Dre Tam pourrait venir nous demander « Pourquoi avez-vous oublié cette étude ou pourquoi n'a-t-elle pas été intégrée? » Et on nous pose des questions à ce sujet. Nous devons pouvoir justifier nos décisions et expliquer pourquoi une étude a été incluse ou exclue, ou pourquoi nous avions une aussi grande certitude à l'égard de ces données probantes. Nous pouvons saisir ces renseignements dans le système.
Vanessa Vermette : Merci. Oui. Il est très important que la vérifiabilité renforce vraiment la confiance que vous avez à l'égard du résultat final et du processus dans son ensemble. D'autres questions se rattachent à l'analyse quantitative : « Est-il possible d'adopter une approche quantitative pour l'analyse, comme une méta-analyse ou une méta-analyse de régression dans le système? Sinon, comment le système pourrait-il assurer une plus grande prise en charge concernant les données que vous pouvez extraire? »
Alejandra Jaramillo : Je peux commencer. Ensuite, n'hésitez pas à intervenir, Alex, Peter ou Derek. Donc, nous utilisons un logiciel statistique. Nous ne procédons pas réellement à l'analyse dans Distiller. Mais notre capacité d'extraire les données de manière cohérente nous est d'une aide précieuse. Si nous le faisons dans Excel, ce que j'ai également fait dans le passé, le risque d'erreur est beaucoup, beaucoup plus élevé. La cohérence avec laquelle vous êtes capable d'extraire les données peut entraîner des erreurs, ce qui retarde tout. Il faudrait probablement passer par un contrôle de la qualité avant de procéder à l'analyse.
Mais l'analyse ne se fait pas dans Distiller. Il s'agit simplement de la capacité d'extraire des données et de concevoir des formulaires de manière à extraire exactement les données dont vous avez besoin, les données sur les résultats dont vous avez besoin. Pour ce qui est des données cliniques, la façon de faire est généralement assez simple. Mais nous travaillons également sur des sujets de santé publique. Leur compte rendu peut se faire de différentes manières.
Pour que nous soyons en mesure de le faire de façon cohérente et d'aider les gens, le formulaire peut réellement aider les extracteurs de données à détecter les résultats à extraire, les données à extraire, les caractéristiques des études et la manière de les intégrer dans le formulaire. Le formulaire peut être utile. C'est tout simplement convivial. Ensuite, ces données servent à l'analyse. Mais l'analyse est effectuée séparément. Nous utilisons le SaaS. Nous utilisons un autre logiciel, soit SPSS. Nous l'avons utilisé dans le passé. Alors, voilà. Pour les méta-analyses et pour tout type de méta-analyse de régression, nous les réalisons séparément.
Peter O'Blenis : Je vais juste mettre mon grain de sel en disant que l'idée derrière cela était qu'il existe de très bons logiciels statistiques. L'intention n'était pas d'essayer de réinventer la roue dans Distiller, mais simplement de le rendre prêt pour l'analyse. Le résultat qui en découle peut être intégré dans l'un ou l'autre de ces ensembles.
Vanessa Vermette : Super. Merci. Certains parmi vous ont fait allusion à la réduction des erreurs de données. Peter, je vais vous demander d'élaborer sur le point concernant la réduction des erreurs de données grâce à l'utilisation de DistillerSR. S'agit-il seulement du type humain de copier-coller? Ces types d'erreurs sont-ils plutôt réduits ou bien y a-t-il d'autres types d'erreurs que l'utilisation du logiciel pourrait contribuer à réduire?
Peter O'Blenis : Je vais laisser mes collègues ici présents intervenir également. Je veux dire, il y a plusieurs façons de réduire les erreurs. La première consiste à poser, dans la mesure du possible, des questions fermées. Si vous avez un chiffrier Excel et si les gens saisissent des renseignements dans les champs, comme cela a été évoqué précédemment, je pense, ils peuvent entrer des données dans différents formats. Il est facile de faire une erreur de frappe et ainsi de suite.
Si vous pouvez créer des questions fermées au moyen de menus déroulants ou de sélecteurs déroulants, vous obtiendrez un résultat formaté beaucoup plus cohérent. Vous pouvez aussi intégrer dans vos formulaires un contrôle instantané des erreurs. Il est donc plus difficile de soumettre des erreurs au départ. Il y a bien sûr les aspects de la corrélation des données. Encore une fois, si vous utilisez Google Sheets ou un autre programme pour déplacer des données et fusionner des données provenant de différentes sources, il est très facile de déplacer accidentellement une cellule d'un bloc ou de commettre une erreur de ce genre.
Ces interventions sont en quelque sorte très manuelles. Ce sont des erreurs simplistes. Elles ne se produisent fondamentalement que par inadvertance. Des erreurs se produisent à de très nombreuses étapes différentes. L'outil d'automatisation qui valide les données au point d'entrée essaie de vous aider à les structurer de manière à ce qu'elles soient toutes formatées de la même façon, puis il effectue toute la corrélation, entre autres, et la production de rapports sans même que vous y touchiez. Il y a beaucoup de mécanismes de sécurité en place qui empêchent les erreurs de se glisser.
Derek Lord : Tout à fait. Je veux juste élaborer sur ce point.
Vanessa Vermette : Oui. Allez-y.
Derek Lord : Un tout petit exemple est la validation en temps réel à laquelle vous pouvez avoir recours. Vous pouvez configurer une bonne partie de son fonctionnement. Par exemple, si vous recueillez des pourcentages pour un nombre, vous pouvez vous assurer que seules des valeurs variant de 0 à 100 sont saisies. Si quelqu'un tape un chiffre au-delà de 100, le système enverra d'abord un message d'erreur et tentera d'intercepter l'erreur au cas où une décimale manquerait ou pour voir à ce qu'il n'y ait rien dans les données qui puisse vraiment perturber le déroulement des choses.
Vanessa Vermette : Merci, Derek. Je vous ai vue hocher la tête, Alejandra. Voulez-vous intervenir sur la question des erreurs de données?
Alejandra Jaramillo : Oui, je voulais juste, je veux dire que Peter et Derek ont tout à fait raison. C'est vraiment utile pour cette partie de l'extraction de données. Mais je souhaite ajouter que pour nous, lorsque vous pensez à une analyse des données probantes, qu'il s'agisse d'une analyse systématique complète, d'une analyse rapide ou d'une analyse systématique complète en cours que vous faites régulièrement, si vous n'utilisez pas Distiller, vous devrez transférer les études d'une étape à la suivante tout au long du processus.
En fait, c'est ce que nous faisions, et il faut admettre que des erreurs se produisent, ce qui n'est pas la meilleure des choses. Cette situation se produit. Il nous est arrivé d'intégrer beaucoup d'études, et, lorsque nous sommes arrivés aux caractéristiques des études, nous avons constaté que nous en avions oublié une. Cette étude n'a donc jamais été transférée parce que nous n'utilisions pas Distiller. Même lorsqu'il s'agit de choses fondamentales de ce genre, il faut s'assurer de donner un bon exemple quand on parle de centaines d'études, comme la prévalence de la COVID longue : plus de cent résultats sont signalés, et il y a beaucoup d'études différentes.
Si vous transférez ces études, même la plus petite, d'une étape à l'autre, vous pouvez faire des erreurs et oublier une étude, ce qui n'est pas idéal. Mais le Distiller nous permet d'éviter cette situation. Je crois vraiment que c'est grâce à l'extraction de données. C'est aussi le simple fait de transférer les études d'une étape à l'autre et de s'assurer que tout a été passé au crible deux fois pour garantir le respect des normes les plus strictes. Cela nous permet vraiment de savoir ce qu'il en est.
Ainsi, chaque fois que nous effectuons cette procédure, nous exécutons des exercices pilotes au sein de l'équipe pour nous assurer que nous faisons les choses de façon cohérente. Pendant les exercices pilotes, les rapports que Distiller nous transmet nous permettent de savoir en quelque sorte qui est à l'origine de la plupart des conflits. Nous sommes en mesure de retrouver cette personne et de lui dire « D'accord, qu'est-ce qui n'est pas clair? Est-ce que ce sont les questions que nous posons dans les formulaires? Est-ce le concept? Est-ce trop clinique, et s'agit-il d'un nouveau sujet pour vous? Devons-nous donner une formation supplémentaire sur ce qu'est la COVID longue? »
Il faut s'assurer de tenter d'aborder ces questions dès le début de sorte que lorsque l'équipe se lance dans le filtrage, elle peut le faire. Le niveau de conflit est minimal parce que tout le monde a la même compréhension des concepts et des définitions que nous appliquons, et du sujet que nous abordons.
Alex Zuckerman : Puis-je aborder une autre source d'erreur? L'une des grandes choses que nous avons constatées avec quelques-uns de nos projets, c'est que nous arrivons à la phase d'extraction de données. Et nous nous rendons compte que ce que nous pensions être une analyse systématique désigne en fait plusieurs analyses systématiques en raison des types de données que nous trouvons.
Dans Distiller, vous pouvez revenir en arrière et faire passer, par exemple, un élément de l'inclusion à l'exclusion sur un formulaire, puis demander au système de faire la concordance nécessaire. Le système apportera la modification de manière à ce que le nouveau filtrage se fasse essentiellement en fonction des réponses dont vous disposez déjà, à la différence qu'un groupe d'articles est maintenant inclus ou exclu, ou va dans une catégorie différente pour ainsi dire. Si vous essayez de faire les changements dans un chiffrier Excel et d'inverser des données, il en découlera une énorme source d'erreurs. Dans Distiller, vous cliquez sur quelques boutons, et il le fait pour vous, et vous savez qu'il s'adapte en fonction des réponses que vous avez déjà données. Il n'y a donc aucune chance qu'une erreur se produise parce que vous changez pratiquement la méthode de tri des données, ce qui est très utile.
Vanessa Vermette : Merci. Je pense que ce sera notre dernière question avant que nous devions clore notre événement. Mais c'est un peu une question de gouvernance. Comme vous le savez tous, le gouvernement est plus attentif à la façon dont les ministères utilisent les outils d'automatisation et d'intelligence artificielle. Ainsi, le Conseil du Trésor a mis en place une directive sur la prise de décision automatisée. Il existe des outils d'évaluation de l'incidence algorithmique qu'il nous demande d'utiliser.
Comment ce recours à l'automatisation et à l'intelligence artificielle se compare-t-il aux outils d'évaluation que le gouvernement est désormais tenu d'utiliser? Alejandra et Alex, est-ce un aspect que vous avez dû examiner lors de la mise en œuvre de cet outil au sein de votre ministère?
Alejandra Jaramillo : C'est en fait une excellente question. Je peux vous dire qu'à l'heure actuelle, nous n'avons pas vraiment été en mesure de trouver un outil qui a été proposé et qui fait réellement le travail que nous devons faire. Pour l'instant, nous n'avons pas eu de problèmes avec l'outil. Parmi tous les autres outils proposés et les options d'intelligence artificielle, c'est l'outil que nous utilisons. Je présume qu'il y a une certaine concurrence comme pour n'importe quel outil. En ce moment, nous avons l'impression que cet outil répond vraiment à nos exigences et nous permet de fournir ce qui est attendu de nous. Il n'y a rien qui vient du gouvernement ou aucun outil, ou il n'y a aucune comparaison possible.
À l'heure actuelle, par rapport aux autres produits extérieurs, nous croyons que c'est le seul outil qui nous donne vraiment ce dont nous avons besoin, surtout DAISY. Au fait, j'aime bien ce nom, Peter. DAISY est vraiment bon; c'est l'outil d'intelligence artificielle. Nous utilisons beaucoup DAISY. C'est quelque chose qu'aucun autre outil ne nous procure, même s'il existe des logiciels gratuits destinés à faire une partie de ce que DistillerSR fait, et, pour nous, cet outil a vraiment répondu à nos exigences. La réponse à votre question, Vanessa, est donc non. Nous n'avons eu aucun problème. C'est un logiciel en tant que service. Nous n'avons aucun problème non plus avec la partie informatique et la maintenance du logiciel à l'interne. Il a été plus facile d'obtenir les autorisations dont nous avions besoin pour nous le procurer.
Vanessa Vermette : Oui. Vous ne recueillez pas non plus de renseignements au sujet de chaque personne et ne prenez pas de décisions qui touchent les gens individuellement. C'est vraiment au niveau de la population, et il s'agit d'études de recherche établies. La vérifiabilité et la tenue de dossiers dans le système contribuent vraiment, je pense, à éviter le syndrome de la boîte noire que les gens reprochent souvent à ces algorithmes.
Je vais laisser la parole à Peter pour qu'il vous présente quelques observations finales avant de libérer tout le monde. Merci beaucoup, Peter, de votre présence parmi nous aujourd'hui. Nous voulons vous donner une dernière chance de dire quelques mots.
[Peter parle sans que personne l'entende.]
Oh, Peter, vous êtes en sourdine.
Peter O'Blenis : J'aimerais bien pouvoir vous dire quelques mots alors que je ne suis pas en sourdine. Je tiens à vous remercier de nous avoir accueillis parmi vous. Je suis ravi d'avoir eu l'occasion de faire une présentation à ce groupe et je remercie également Alejandra et Alex. Je sais que notre équipe a collaboré étroitement avec eux. Ce fut vraiment une très belle relation. Je l'apprécie beaucoup. Oui, si des gens souhaitent en apprendre plus sur le logiciel, ils n'ont qu'à communiquer avec nous. Nous serons très heureux de vous donner des renseignements détaillés.
Vanessa Vermette : Formidable. Merci donc à tous nos intervenants d'aujourd'hui et à tous les participants qui se sont joints à nous en ligne. Nous espérons que vous avez apprécié le dernier événement des démos d'outils de données. Au cas où vous auriez manqué les événements précédents, ou si vous souhaitez transmettre celui-ci à un collègue, nous publierons très prochainement tous les enregistrements de la Semaine de démos d'outils de données sur notre chaîne YouTube. Restez à l'affût.
Nous tenons aussi à remercier tout particulièrement nos partenaires d'Innovation, Sciences et Développement économique, qui nous ont aidés à choisir cette belle brochette d'entreprises canadiennes pour les événements de cette semaine et à présenter certaines des façons dont elles nous aident à faire notre travail mieux et plus efficacement. Surveillez vos boîtes de réception, car un formulaire d'évaluation vous sera envoyé. Nous tenons vraiment à connaître votre avis et à utiliser vos commentaires pour déterminer les événements futurs, car ils seront plus nombreux.
Nous vous invitons tous à vous inscrire à la liste d'envoi de la communauté des données du gouvernement du Canada de sorte que nous puissions vous tenir au courant des événements et des ressources, des possibilités d'emploi pour les praticiens des relations publiques en matière de données et de tous les sujets pertinents. N'oubliez pas non plus de consulter régulièrement notre site Web et de vous inscrire au prochain événement de la communauté des données du gouvernement du Canada, qui aura lieu le 1er novembre prochain. Cet événement s'appellera « Le pouvoir de la liaison des données ». À la prochaine! Merci encore à vous tous et bonne fin de journée!
[La fenêtre de clavardage vidéo disparaît pour laisser place au logo de l'EFPC.]
[Le logo du gouvernement du Canada apparaît, puis l'écran redevient noir.]
