Transcription
Transcription : Série Café virtuel de l'EFPC : Tout ce que vous avez toujours voulu savoir à propos des sondages, avec Anil Arora, Claire Durand et Nik Nanos
[Le logo blanc animé de l'École de la fonction publique du Canada se dessine sur un fond violet. Une page apparaît, puis elle se transforme en livre ouvert. Une feuille d'érable apparaît au milieu du livre, qui ressemble aussi à un drapeau en dessous duquel se trouvent des lignes courbes. Juste à côté, il est écrit : « Webcast | Webdiffusion ». Le texte et le logo s'effacent pour laisser place à un appel vidéo avec Taki Sarantakis, un homme chauve à la barbe taillée et aux lunettes carrées. Il est assis dans sa bibliothèque personnelle.]
Taki Sarantakis : Bonjour et bienvenue au café virtuel de l'École de la fonction publique du Canada (EFPC), où nous présentons des idées contemporaines aux fonctionnaires pour les aider à mieux réfléchir et à mieux exécuter toutes les tâches qu'ils doivent accomplir.
[Une boîte de texte violette s'affiche pendant quelques secondes. Il y est écrit qu'il travaille pour l'École de la fonction publique du Canada.]
Aujourd'hui, nous abordons un sujet très intéressant, soit les sondages, et nous pensons souvent aux sondages par rapport aux élections. Appelons ça la partie passionnante des sondages. Les sondages constituent en fait une partie importante du processus de prise de décision des gouvernements, y compris bien sûr le gouvernement du Canada. Les sondages sont, à certains égards, une façon fantaisiste de dire : comment connaître ce que pensent les gens? Comment mesurer, indiquer ou affirmer ce que nous pensons qu'ils veulent ou ce qu'ils savent ou tout autre type de question? Aujourd'hui, nous sommes accompagnés de trois merveilleux experts dans ce domaine.
[Trois autres fenêtres vidéo apparaissent à l'écran. Celle de Taki est maintenant en bas à gauche. En haut à gauche, Claire Durand, une femme aux cheveux blancs courts et ondulés, est assise devant un mur auquel sont accrochés de longs cadres rectangulaires. Elle porte des écouteurs et des lunettes ovales. En haut à droite, Nik Nanos, un homme aux cheveux gris vêtu d'un complet, est assis dans un bureau devant une grande table de travail en bois. En bas à droite, Anil Arora, un homme vêtu d'une chemise rayée, est assis devant un arrière-plan rose et blanc avec un diagramme en barres et une feuille d'érable. Le mot-symbole « Canada » avec un petit drapeau flottant au-dessus du dernier « a » se trouve dans le coin inférieur droit de sa fenêtre.]
Tout d'abord, Mme Claire Durand de l'Université de Montréal, qui est professeure au département de sociologie. Plus important encore, pour nos besoins, elle est l'une des plus grandes expertes du Canada, voire du monde, en matière de méthodologie des sondages. Elle a également été présidente de l'Association mondiale pour la recherche sur l'opinion publique. Bienvenue, professeure Durand. Les deux autres sont en fait des amis de longue date de l'École de la fonction publique du Canada et aussi de la fonction publique du Canada. Le premier est M. Nik Nanos, qui est expert principal de Nanos Research Group. Le deuxième, et dernier, est Anil Arora, qui est expert principal, titre également connu sous le nom de statisticien en chef, à Statistique Canada. Nous allons passer la prochaine heure à parler d'idées. Prenez un café et joignez-vous à nous. Nous allons commencer par une très grande question qui est la suivante : à la suite des élections américaines de 2016 et de 2020, beaucoup de gens ont dit que nous n'étions pas tout à fait sûrs de l'identité du gagnant, mais nous savons qui était le perdant : le secteur des sondages.
[La fenêtre vidéo de Taki prend tout l'écran pendant quelques secondes. Toutes les fenêtres vidéo reviennent rapidement. Une notification Mac s'affiche. Un pointeur la fait disparaître.]
Ce secteur a encaissé le coup en 2016 et 2020. Ce sera une bonne façon pour nous de commencer à parler de certaines des questions qui sont intrinsèques aux sondages. Qui veut commencer? Je vais demander à Nik, puis à Claire et ensuite à Anil. Nik
[La fenêtre vidéo de Taki prend tout l'écran pendant quelques secondes. Les autres reviennent.]
Nik Nanos : Merci, Taki. Je regarde ma montre parce qu'il vous a fallu environ 30 secondes pour me pousser sous le rouleau compresseur en tant que sondeur durant la téléconférence, mais merci. Je me sens bienvenu. J'ai hâte de sortir de cet autobus.
[Taki rit.]
À mon avis, le récit selon lequel les sondages ont échoué dans l'élection de 2020 est un faux récit.
[La fenêtre vidéo de Nik remplit l'écran.]
Le fait est que le soir de l'élection, la plupart des bulletins de vote n'étaient toujours pas comptés à cause du vote par correspondance.
[Une boîte de texte violette s'affiche un instant. Il y est écrit que Nik représente la société Nanos Research.]
Nous savons que pour 40 à 50 États, les prévisions étaient exactes. Le soutien populaire pour Biden était en gros de l'ordre de 51 %. Le vote pour Trump a été sous-estimé d'environ 4 %. Quand on regarde les 50 dernières années de sondages, je pense que l'erreur moyenne est d'environ quatre à cinq pour cent. Il s'agissait essentiellement d'une élection normale. La seule différence, et c'est peut-être l'une des choses que nous avons apprises, c'est que les bulletins n'ont pas tous été comptés et qu'il y avait une différence importante selon le mode de vote. Si vous votez en personne, vous êtes plus susceptibles de voter pour Donald Trump, alors que si vous votez par la poste, vous êtes plus susceptibles de voter pour Biden. Cette différence explique le récit initial. C'est un peu un faux récit, pour ainsi dire. Je tiens à déclarer que je ne suis plus sous le rouleau compresseur. Je tiens aussi à dire que nous n'avons pas fait de sondage lors de l'élection.
[ Les trois autres fenêtres vidéo reviennent à l'écran.]
Taki : Vous avez peut-être échappé l'autobus. Claire, que pensez-vous des élections de 2016 et de 2020?
[ La fenêtre vidéo de Claire remplit l'écran. Une boîte de texte violette s'affiche un instant. Il y est écrit que Claire travaille pour l'Université de Montréal.]
Claire Durand : En premier lieu, nous ne devrions pas fonder nos jugements au sujet des sondages sur ce qui se passe aux États-Unis, ca r ce qui se passe là-bas n'est pas ce qui se passe au Royaume-Uni, au Canada, etc. En 2016, 8 des 13 sondages qui ont été publiés au cours de la dernière semaine se situaient dans la marge d'erreur lorsque tous les bulletins de vote avaient été comptés. Je suis surprise que Nik ne l'ait pas mentionné, mais les sondages téléphoniques, qu'il s'agisse d'interviews en direct ou de sondages par réponses vocales interactives (RVI), donnent de très bons résultats. La plupart d'entre eux se situent dans la marge d'erreur et les sondages par RVI sont presque dans la cible. Les sondages qui n'ont pas donné de bons résultats étaient principalement nos sondages en ligne. Cela n'était pas le cas au Canada. Au Canada, en 2019, les trois modes avaient à peu près les mêmes prévisions à la fin. Tel n'est pas le cas aux États-Unis. Ce pays compte 53 sondeurs différents qui ont réalisé des sondages à partir du 1er septembre. Vingt d'entre eux n'ont réalisé qu'un seul sondage. Contrairement au Canada, où nous avons un groupe de 10 à 12 sondeurs, tout au plus, qui effectuent des sondages électroniques. Ils savent comment les faire. Ils savent ce qu'il faut viser et ce qu'il faut vérifier. Il y a 53 sondeurs qui utilisent les agrégateurs. Ils regroupent tout, comme s'il n'y avait aucune différence entre les modes, aucune différence entre les sondeurs. Nous pensons que nous avons beaucoup d'estimations différentes du vote, mais beaucoup de ces gens utilisent les mêmes fournisseurs pour ce qui est de l'échantillon. S'il y a un problème avec le fournisseur, il est partagé par un certain nombre de sondeurs. Toutefois, la situation aux États-Unis est différente. Il y a une différence dans le mode d'exécution des sondages. Les sondages qui utilisent, ou utilisent principalement, des échantillons probabilistes ont fait mieux lors de cette élection que les sondages en ligne. Les sondages en ligne utilisent de nombreux types de sources différentes pour leur échantillonnage.
[Les trois autres fenêtres vidéo reviennent à l'écran.]
Taki : Claire a soulevé au moins trois points intéressants sur lesquels nous reviendrons tout au long de la discussion. L'un concerne le temps. L'autre concerne les États-Unis par rapport aux autres. Le dernier concerne la façon d'obtenir ce que pense la population. Anil, vous n'êtes pas un sondeur, mais vous jouez beaucoup avec les chiffres en tant que statisticien en chef. En 2016 et en 2020, cela a-t-il changé d'une façon ou d'une autre, en bien ou en mal, par rapport à ce que vous pensiez des sondages en tant qu'indicateur du corps politique?
[La fenêtre vidéo d'Anil remplit l'écran. Pendant qu'il parle, une boîte de texte violette s'affiche quelques secondes. Il y est écrit qu'il travaille pour Statistique Canada.]
Anil Arora : Tout d'abord, je pense que vous avez raison. Statistique Canada ne fait pas de sondages. Nous effectuons, de temps en temps, un certain travail sur les indicateurs de sentiment, mais les sondages sont quelque chose que nous ne faisons pas habituellement. Nous nous intéressons plus au « combien », au « quoi », et ainsi de suite. Tout d'abord, je voudrais juste faire trois remarques. Premièrement, il s'agit d'une tâche très complexe. Claire et Nik viennent de parler un peu de certaines des choses en jeu. La première est que dans les sondages, on essaie de mesurer l'intention. C'est ce que les gens mesurent habituellement, puis on est jugé en fonction du vote réel. Si vous essayez simplement de suivre l'intention au fil du temps, je pense que ce serait encore plus... Les gens peuvent dire une chose, mais ils n'agissent pas nécessairement de la même manière.
La deuxième chose : je pense que Claire a tout à fait raison. Lorsque vous commencez à examiner les différents modes, les gens ont en fait des habitudes différentes et se comportent différemment. Ces modes ciblent en fait certains types de populations. La rigueur statistique avec laquelle vous intégrez ces choses a vraiment de l'importance. Parfois, le raffinement n'est pas au rendez-vous, voilà pourquoi on observe des différences, comme Claire l'a dit.
Le troisième point est le suivant : quelle excellente occasion d'informer et d'éduquer les Canadiens et de leur donner une très bonne idée du genre de questions que l'on devrait se poser lorsqu'on examine les résultats d'un sondage ou d'une enquête! Je pense que c'est une réelle occasion de mettre l'accent sur la méthodologie, la qualité, le respect des délais et la transparence, car, en fin de compte, je crois que nous exerçons tous le même métier. Nous sommes là pour informer les Canadiens afin qu'ils fassent de bons choix en fonction de ce qui se passe. Nous avons l'occasion, dans cet écosystème, de nous assurer que les gens ne partent pas avec une idée alors que les faits disent en réalité quelque chose de très différent.
[Les trois autres fenêtres vidéo reviennent à l'écran.]
Taki : Cela va constituer une grande partie de notre discussion. Qu'est-ce qu'un bon sondage? Qu'est-ce qui fait un bon sondage? Nous avons une pléthore de sondages qui nous assaillent de partout, que ce soit dans la presse écrite, les médias électroniques ou les médias sociaux. Nous sommes saturés de sondages. J'aimerais revenir à l'époque où j'avais un peu de cheveux et où ils n'étaient pas gris. Je regardais la télévision le soir avant de m'endormir. Il y avait un monsieur du nom de Knowlton Nash, et il prenait position sur les événements de la journée et me disait, ainsi qu'aux autres Canadiens, ce qui s'était passé aujourd'hui, ce qui était important aujourd'hui et pourquoi c'était important aujourd'hui. L'une des expressions marquantes qui passait de son écran au mien était « un nouveau sondage Gallup a été publié aujourd'hui, indiquant que les Canadiens... » Nous voulions plus de soins de santé ou nous voulions moins de soins de santé. Nous voulions des services de garde d'enfants ou nous n'en voulions pas. Nous étions confiants quant à l'avenir ou nous ne l'étions pas. Nik, était-ce plus facile à l'époque où c'était M. Gallup, ou son organisation, qui nous disait ce que nous pensions? Était-ce exact? Était-ce plus précis? Était-ce moins précis? Au moins, nous sommes sûrs d'une chose : vous étiez moins nombreux par le passé.
[La fenêtre vidéo de Nik remplit l'écran.]
Nik : Tout d'abord, d'un point de vue empirique, les 30 premières années dans l'industrie des sondages n'ont pas été le bon vieux temps. Il y a eu de gros ratés, des ratés historiques, comme l'annonce erronée de l'élection de Dewey. C'était une nouvelle activité. Les gens commençaient à apprendre la méthodologie. Ce que nous avons vu, c'est une période où les méthodologies étaient cohérentes, où il était possible d'atteindre l'univers entier, où tout le monde avait une ligne fixe, où les gens participaient volontairement aux sondages.
Pour revenir à ce que disait Claire tout à l'heure au sujet des élections américaines, il y avait une comparaison directe. Il y avait également des obstacles pour entrer dans le domaine. C'était difficile d'entrer dans le monde des sondages. Il fallait avoir une infrastructure. Il fallait avoir son propre centre d'appels. Ces obstacles ont en fait augmenté la qualité. Il y a eu une période où la plupart des sondeurs procédaient de la même façon. On a obtenu des résultats assez cohérents et bons. On pourrait avoir un échantillon probabiliste et joindre tout le monde. On avançait rapidement, mais maintenant il y a une diversité de méthodologies. Elles ne sont pas transparentes. La couverture n'est pas assurée pour l'ensemble de la population. Voilà pourquoi les sondeurs appellent aux numéros de téléphone portable et cherchent d'autres solutions. On ne peut pas mélanger tous ces sondages quand on est un « regroupeur ». C'est terrible à dire, mais si vous avez l'argent pour acheter un échantillon, vous pourriez être un sondeur. Il y a eu une période où il y avait beaucoup plus de certitude, une meilleure qualité et de meilleurs résultats, mais nous sommes maintenant dans une phase de transition. La bonne nouvelle, c'est qu'il y a encore beaucoup de sondeurs qui font du très bon travail. Il y a beaucoup de chercheurs qui font un excellent travail. Nous devons maintenant commencer à examiner les petits caractères. S'agissait-il d'un échantillon aléatoire? Comment le sondage est-il réalisé? Toutes ces autres choses. Nous devons accorder beaucoup plus d'attention à ces choses. Par le passé, tout le monde utilisait essentiellement les mêmes méthodologies.
[Les trois autres fenêtres vidéo reviennent à l'écran.]
Taki : Claire.
Claire : Oui, beaucoup de choses à dire. J'ai été sondeuse. Nous promettions que le taux de réponse serait de 60 %. C'était quand même le bon vieux temps. Plus personne ne le promet. La particularité de la situation actuelle est que lors de la transition précédente, la transition entre les sondages par téléphone et les sondages en personne est arrivée d'un seul coup. Lors d'une élection, le sondage s'est fait en personne pour tout le monde et lors de l'élection suivante, on a appelé tout le monde au téléphone. Nous voyons cela comme une transition, mais nous avons trois modes qui restent. Nous disons trois modes, mais ce que j'ai vu aux États-Unis, c'est qu'environ 17 % des sondages sont des modes mixtes. Bien sûr, les sondages par RVI doivent être mixtes, car les responsables de ces sondages ne peuvent pas appeler les gens à leurs numéros de téléphone portable. Ils doivent achever leur échantillon. J'ai vu des sondages en ligne plus par téléphone, par téléphone plus par la RVI, etc. Nous avons un certain nombre de modes. C'est une très bonne chose, car nous pouvons analyser les différences entre les modes, leur raison d'être, et peut-être les améliorer.
Dans le bon vieux temps, comme vous le dites, je me souviens que nous avons fait un échantillon aléatoire et que nous avons ensuite examiné les données démographiques. On n'avait pas besoin de pondérer autant. C'était au sujet de Statistique Canada. Nous ne sommes plus là. Nous devons examiner d'autres choses. J'examine un certain nombre de fichiers de données. C'est très intéressant. Pour les sondages en ligne, par exemple, je constate que si l'on considère la situation de façon globale, par exemple à l'échelle du Québec ou du Canada, on aurait probablement une assez bonne estimation pour ce qui est de la bonne composition de l'électorat. Lorsqu'on examine la situation au niveau infranational, au niveau régional, si on a des anglophones au Québec et que 50 % d'entre eux vivent à l'extérieur de Montréal, il y a un problème. Vous avez des choses comme ça, vous avez un bon nombre d'anglophones, mais ils ne sont pas à l'endroit où ils devraient être. Il faut améliorer les échantillons lorsqu'il s'agit de sondages en ligne.
[Les trois autres fenêtres vidéo reviennent à l'écran.]
Taki : Entrons un peu dans le vif du sujet, car nous avons tourné autour de la notion de bon sondage. Nik a parlé de la façon dont on doit examiner les détails. La plupart des Canadiens ont des choses à faire dans leur vie et ne peuvent donc pas examiner les détails des sondages. Parlons un peu de trois points de ces détails.
[La fenêtre vidéo de Taki remplit l'écran. Il compte avec ses doigts.]
Je veux parler de l'échantillon aléatoire. Je veux parler de la taille de l'échantillon. Je veux parler de la façon de poser les questions. Vous avez tous les deux laissé entendre que les téléphones sont ceci et les téléphones portables sont cela, et que le sondage en personne est cela et le sondage en ligne est une troisième chose. Commençons par l'échantillon aléatoire. Nik, pourquoi est-il important d'avoir un échantillon aléatoire?
[Les trois autres fenêtres vidéo reviennent à l'écran.]
Nik : Je dis toujours que si quelqu'un se porte volontaire pour faire un sondage, ce n'est pas normal. Vous voulez que les gens soient choisis de façon aléatoire, sauf avec les sondages de Statistique Canada. Si l'on fait un sondage de Statistique Canada, on est patriote. J'ai une préférence pour les sondages à échantillon probabiliste aléatoire.
[La fenêtre vidéo de Nik remplit l'écran.]
Nous voulons que les personnes soient choisies au hasard afin d'essayer d'avoir un groupe représentatif. Cela dit, nous constatons que les sondages doivent être beaucoup plus courts, car la capacité des gens à partager leur temps est limitée, surtout maintenant que nous appelons les gens à leur numéro de téléphone portable. On ne peut pas faire un sondage de 15 à 20 minutes lorsque le répondant risque d'épuiser une partie du montant prévu de son forfait de téléphonie portable. C'est ainsi que nous nous sommes adaptés afin d'accommoder les gens. À mon avis, le caractère aléatoire est essentiel. Le fait est que vous n'avez pas toujours besoin d'un échantillon aléatoire pour chaque projet de recherche. Nous ne devrions pas considérer les échantillons aléatoires comme la panacée pour tout. Dans certaines situations, vous n'avez pas nécessairement besoin d'un échantillon probabiliste parce qu'il s'agit d'une population définie et qu'il peut s'agir d'une liste de certains types de personnes. Probablement, vous voulez toujours que ce soit aléatoire, mais pas l'échantillon purement aléatoire dont nous parlons.
[Les trois autres fenêtres vidéo reviennent à l'écran.]
Taki : Anil, au sein du gouvernement, « aléatoire » est un peu un mauvais mot, n'est-ce pas? Nous ne faisons pas les choses au hasard. Nous faisons les choses de manière ciblée et nous les faisons avec un certain raffinement. Vous ne pouvez pas venir comme ça et poser aux gens des questions au hasard.
Anil : Absolument.
[Les quatre présentateurs rient. Claire hoche la tête. Pendant qu'Anil parle, sa fenêtre vidéo remplit l'écran.]
Le caractère aléatoire est vraiment une question mathématique. Vous voulez pouvoir calculer la probabilité qu'une personne soit choisie. Compte tenu de cela, vous voulez vous assurer que tout le monde a une chance égale, de sorte que lorsque vous évaluez les réponses par rapport à la population totale, vous n'avez rien faussé. Il existe également des échantillons aléatoires stratifiés. Si vous voulez échantillonner un immeuble d'appartements d'une chambre, de deux chambres et de trois chambres, vous ne pouvez pas vous contenter d'un échantillon aléatoire, car les caractéristiques des appartements de trois chambres ne seront pas les mêmes que celles des appartements d'une chambre. Même le montant du loyer que les gens paient pour l'appartement, selon l'étage où ils se trouvent, va être différent. Il faut parfois procéder à une stratification, mais il faut aussi s'assurer que l'on peut calculer la probabilité qu'une personne soit choisie. Tous nos sondages comportent des éléments et, comme je l'ai dit, c'est une question mathématique et nous devons être en mesure de faire des calculs. Il est très important de lire les détails que vous ne lisez pas en raison des calculs qui ont été faits sur la manière de choisir cette personne. Maintenant, pas du point de vue de Statistique Canada, mais, ayant travaillé dans quelques ministères d'orientation, nous constatons que le gouvernement le fait. Absolument. Les ministres, le Cabinet, nous tous. Lorsque nous avons commencé à proposer des options et à formuler des recommandations, nous avons tenu compte des études, des sondages, etc.
Pour les personnes qui nous écoutent aujourd'hui, vous êtes peut-être occupés, je le comprends, mais prenez le temps de faire la différence avant d'accorder le même poids à chaque source et à chaque point de données, car ils n'ont pas le même poids. Si vous examinez une option et une recommandation d'une source avec un ensemble différent d'indicateurs de qualité, et que vous essayez de dire « ils sont tous les mêmes », il faut savoir qu'ils ne le sont pas. Je dirais qu'il est important pour nous tous, en tant qu'analystes de politiques qui essaient de fournir les meilleurs conseils en tant que décideurs, de nous informer et de comprendre les méthodologies et les limites. Si quelque chose exclut une certaine population, comme notre population autochtone ou les jeunes ou les moins de 18 ans, il est important que vous le sachiez, si la recommandation que vous faites suppose le contraire. Informez-vous et participez. Que vous preniez les informations d'un sondage ou celles de Statistique Canada, posez ces questions et prêtez attention à ces détails.
[Les trois autres fenêtres vidéo reviennent à l'écran.]
Taki : C'est un point de vue très important. Ce qu'Anil dit, c'est que nous, en tant que responsables de politiques, de programmes, de conseils et de présentation d'options pour les décideurs, devons être des consommateurs critiques d'informations, y compris des informations sur les sondages. Nous ne pouvons pas nous contenter de prendre ce qui nous est présenté comme une vérité absolue, car une partie de notre travail consiste à effectuer un contrôle de qualité avant d'aller de l'avant. Claire, parlez-nous un peu de l'échantillon aléatoire. Comment cela peut-il être aléatoire si je suis sur un site Web et que je choisis moi-même de répondre à un sondage ou si je suis sur une page Web et que tout d'un coup, on me demande de répondre à ce sondage? Le fait que je sois sur cette page Web ne veut-il pas dire quelque chose à mon sujet? Cela ne signifie-t-il pas que l'échantillon, presque par définition, n'est pas aléatoire?
[La fenêtre vidéo de Claire remplit l'écran.]
Claire : Il existe de nombreuses façons de réaliser des sondages non aléatoires et quasi aléatoires. La première chose que je voudrais dire, c'est que je pense que les chercheurs comme moi sont passés de « ces sondages en ligne ne sont pas aléatoires, et ils ne devraient donc pas donner de bonnes informations précises » à « pourquoi donnent-ils de bonnes informations la plupart du temps? » Nous devons maintenant essayer de comprendre cela. Vous êtes sur un site Web et un sondage s'affiche. C'est une nouvelle façon de faire. Elle est peut-être là depuis 10 ans. Les premiers sondeurs en ligne ont essayé d'avoir un panel à option d'adhésion et cela est réglé. Puis ils essaient d'avoir plus de membres dessus. À un certain moment, ils cessent de recruter parce qu'ils doivent entrer en contact avec ces personnes, ce qui représente beaucoup de travail et d'argent. Ils essaient de prélever des échantillons de rivière. Ils affichent des sondages sur un certain nombre de sites Web et ils apparaissent. Ils essaient de faire varier ces sites pour qu'en fin de compte, ils représentent toute la population. Il y a aussi une autre méthode qui vous permet, si vous êtes un client de Costco, par exemple, de recevoir un message de Costco où, à la fin, on vous demandera : « Accepteriez-vous de répondre à ce sondage »? Ce sont tous des moyens que les sondeurs utilisent pour essayer de randomiser parce qu'ils savent qu'ils sont un peu biaisés. Ils manquent d'objectivité à l'égard des personnes qui ont du temps, les personnes qui ne travaillent pas et les personnes qui s'intéressent à la politique. On pourrait penser à des jeunes, mais en fait, ce sont des personnes âgées. Ils ont des difficultés à trouver des jeunes. Nous avons tout cela et certains sondeurs en ligne vont chercher trois sources différentes d'échantillons et les mettent ensemble.
[Les trois autres fenêtres vidéo reviennent à l'écran.]
D'une certaine manière, ils essaient d'équilibrer les inconvénients et les avantages de chaque chose. C'est ce qui se passe actuellement. Je dois soulever deux points.
Nik a parlé de sondages courts et ce que je vois, ce sont des sondages d'une heure qui ne respectent pas le répondant. Ce n'est pas possible. Vous devez vous demander : que puis-je demander à quelqu'un? Cela ne devrait pas durer plus de 20 minutes, 30 minutes pour Statistique Canada.
[Nik rit. Taki et Anil hochent la tête. La fenêtre vidéo de Claire remplit l'écran.]
Certains de ces sondages sont beaucoup trop longs. Enfin, je ne comprends pas. Je dois soulever cette question. Pourquoi Statistique Canada et d'autres organismes publient-ils des sondages sur le Web et disent-ils aux gens qu'ils doivent aller sur le site Web et y répondre? Ce n'est pas un sondage en ligne. C'est le pire des échantillonnages pratiques. Ils ont fait ça pendant la pandémie à un moment donné. J'ai reçu le lien. Allez sur ce site et répondez à notre sondage. Pourquoi moi? Je l'ai vu sur Twitter.
[Les trois autres fenêtres vidéo reviennent à l'écran.]
Cela ne doit pas être considéré comme des sondages en ligne. Les sondages effectués sur Facebook. Il ne s'agit pas de sondage en ligne. C'est un sujet sur lequel j'aimerais connaître votre opinion.
Taki : Alors Anil, voulez-vous dire quelque chose ou voulez-vous que nous revenions en arrière?
Anil : Je suis heureux de répondre. Tout d'abord, le contexte est important. Nous avons d'abord effectué la collecte de données par approche participative avant que le cannabis ne soit légalisé.
[La fenêtre vidéo d'Anil remplit l'écran.]
Il y aura des moments où vous ne vous contenterez pas de frapper à la porte ou de téléphoner à quelqu'un pour lui demander « quelle quantité de cannabis illégal avez-vous acheté aujourd'hui? Quelle en était la qualité? Auprès de qui l'avez-vous acheté? Quel était le prix? » et ainsi de suite. Lorsque tout est là, il faut parfois être en mesure d'obtenir une indication qualitative de ce qui se passe. On n'en reste pas là. Si vous présentez les choses comme un résultat qualitatif solide, alors cela dupe l'utilisateur. Parfois, l'écart et le fait de permettre à n'importe qui de tenir un débat sur ce qui se passe à son avis ne sont pas la meilleure chose à faire.
Deuxièmement, les chiffres sont importants. Pendant la COVID-19, près d'un quart de million de Canadiens ont participé à notre première collecte de données par approche participative. Nous avons pu utiliser la méthode de triangulation des caractéristiques de ces personnes par rapport à la population et donner une certaine indication de la qualité. Nous avons été très clairs sur le fait qu'il ne s'agissait pas d'un sondage ordinaire de la même qualité. Je pense que la transparence est vraiment, vraiment importante. Lorsqu'on dit qu'on se fait une idée de ce qui se passe, je pense que c'est important.
La troisième chose, c'est que nous avons été en mesure de revenir en arrière et examiner certaines de ces réponses dans le cadre de certains de nos autres sondages, qui étaient fondés sur des méthodologies rigoureuses, et d'examiner la cohérence ou l'incohérence des réponses. Enfin, bon nombre des personnes qui ont participé à notre campagne de collecte de données par approche participative se sont ensuite inscrites pour faire partie de notre panel en ligne. C'était aussi un moyen d'aller de l'avant. Nous faisons actuellement un travail statistique très intéressant pour déterminer si nous pouvons faire adapter certaines de ces personnes qui ont volontairement pris part à la collecte de données par approche participative et voir si un poids peut leur être attribué en fonction des réponses qu'elles nous donnent. Il s'agit d'un travail de recherche. Nous n'avons aucune idée de l'existence possible d'une rétro-ingénierie qui peut nous donner une idée de la qualité. Pour nous, aborder une question urgente et dire « nous communiquerons à nouveau avec vous dans six mois » ne fonctionne pas vraiment. Nous ne prétendons pas qu'il s'agit d'un sondage. Nous ne prétendons pas qu'il a la même qualité que certains de nos sondages rigoureux. C'est de loin l'exception, pas la règle. Je suis d'accord avec Claire. Nous ne devrions pas faire cela tout le temps, mais il y a un moment et un lieu. Tant que nous sommes transparents à ce sujet, je pense que cela aide.
[Les trois autres fenêtres vidéo reviennent à l'écran.]
Nik : En tant que chercheurs, une autre chose que nous devrions ajouter est que l'un des principes clés de la recherche de qualité est la répétabilité, c'est-à-dire que quelqu'un d'autre peut prendre votre méthodologie et la reproduire. Je sais que notre entreprise a eu des problèmes de collecte de données par approche participative en ce qui a trait à la répétabilité.
[La fenêtre vidéo de Nik remplit l'écran.]
La répétabilité ne s'est produite que de 12 fois sur 20, comparativement 19 fois sur 20. Voilà pourquoi nous avons opté pour le recrutement aléatoire de personnes au moyen de lignes terrestres et cellulaires pour les déployer dans le cadre d'un sondage en ligne. En ce qui concerne ce que fait Statistique Canada, la preuve est dans la capacité de répéter l'étude et de répéter les résultats et les trianguler. Je dirais, Anil, que c'est probablement un travail en cours. Ce n'est pas votre seul point de données, mais vous essayez de faire des expériences. Tant qu'on ne nuit pas à l'écosystème en faisant ces expériences, ça ne nous pose pas de problème. Je pense que nous pouvons le faire, et c'est l'une des choses sur lesquelles nous devons nous concentrer.
[Les trois autres fenêtres vidéo reviennent à l'écran.]
Taki : Formidable.
Anil : Nous faisons environ 400 sondages sur les programmes. On parlait de quatre ou cinq. Statistique Canada n'est pas du tout en train de se lancer dans cette activité de façon régulière.
[La fenêtre vidéo d'Anil remplit l'écran.]
La deuxième chose, c'est qu'il y a actuellement des documents de recherche très intéressants à l'échelle internationale, préparés par des organismes chargés des statistiques qui essaient certaines de ces choses pour déterminer si les méthodologies peuvent, en fait, apprendre de certaines de ces expériences. Cela est au mieux expérimental. Je pense que c'est ce que nous faisons tout le temps pour pousser la science plus loin. Il faut essayer certaines choses. Parfois ça fonctionne, parfois ça ne fonctionne pas.
[Les trois autres fenêtres vidéo reviennent à l'écran.]
Taki : Exactement. Revenons à la question de savoir ce qui fait un bon sondage. On a un peu parlé du caractère aléatoire. Les jeunes analystes des politiques doivent retenir ceci : si ce n'est pas aléatoire, c'est presque de la foutaise ou parfois pire que de la foutaise.
[Claire et Nik secouent la tête et articulent « Non ».]
Ils ajouteront quelques qualificatifs pour ce qui est du caractère aléatoire stratifié et du ciblage de populations particulières.
[La fenêtre vidéo de Taki remplit l'écran.]
Il faut également respecter le temps des gens. Si vous voulez savoir ce qu'un céréalier veut savoir sur les subventions de l'OMC, ce n'est probablement pas une bonne idée de lui demander de vous accorder trois heures de son temps. Déterminez ce que vous voulez vraiment savoir et demandez-le. En second lieu, ne les dérangez pas pendant la récolte. Respecter leur temps est une bonne grille pour cela. Passons maintenant à la taille de l'échantillon. C'est une question qui m'a toujours intrigué. Quelle est notre population, Anil? 37 à 38 millions?
[Les trois autres fenêtres vidéo reviennent à l'écran. Anil hoche la tête.]
Anil : Un peu plus de 38 millions.
Taki : Bon, 38 millions. De combien de personnes avons-nous besoin pour obtenir un bon échantillon ou un échantillon précis pour déterminer ce que les Canadiens pensent sur un sujet donné?
Claire : Cela dépend. Voulez-vous savoir ce que pensent les habitants des provinces de l'Atlantique? Vous voulez savoir ce que pensent les Québécois? Que pensent les habitants de l'Ontario? Les gens en Colombie-Britannique? Voulez-vous avoir autant de détails? Les différentes régions du pays ne voient pas nécessairement les choses de la même manière. Chaque fois que vous dites « J'ai besoin de 1 000 au Québec, 1 000 en Ontario et 1 000 en Colombie-Britannique », vous vous retrouvez avec beaucoup de gens. En fait, j'ai été extrêmement surprise de voir aux États-Unis des sondages réalisés au niveau national avec un échantillon de 700 ou 800 personnes. Vous dites « ce n'est pas possible. On devrait vraiment avoir une population plus diversifiée. La taille de l'échantillon devrait être plus grande. »
Taki : Y a-t-il une règle empirique qui dit que si vous voulez vraiment savoir ce que 38 millions de Canadiens pensent d'un sujet donné, et que vous demandez à moins de 1000 ou à moins de 10 000 d'entre eux, cela ne vaut rien? Nik. Anil
Nik : Non. Si vous optez pour un échantillon aléatoire, les résultats sont les mêmes, qu'il s'agisse de 500, 1 000, 2 000 ou 10 000 personnes en ce qui concerne le nombre maximum.
[La fenêtre vidéo de Nik remplit l'écran.]
Pour revenir à ce que disait Claire, le pouvoir d'effectuer des analyses diminue avec la taille réduite de l'échantillon. Vous ne serez pas en mesure d'examiner les sous-populations. Habituellement, lorsque nous discutons de la taille de l'échantillon, je me concentre davantage sur le type d'analyse qu'on veut faire. Le fait est que nous voulons savoir ce que pensent les francophones du Nouveau-Brunswick par exemple. Cela signifie autre chose en ce qui concerne la taille de l'échantillon. Si vous regardez les élections canadiennes, il n'y a aucune corrélation entre l'exactitude du sondage et le nombre d'entrevues. Zéro.
[Les trois autres fenêtres vidéo reviennent à l'écran. Anil lève la main une seconde.]
Taki : Vous dites quelque chose qui est contre-intuitif pour moi en tant que profane. Ce que vous dites, si je vous comprends bien, c'est qu'avec seulement 500 personnes choisies de façon aléatoire, je peux vous dire ce que 38 millions de Canadiens pensent sur un sujet donné?
Claire : Sa marge d'erreur sera plus grande pour le nombre.
Nik : Le nombre, hypothétiquement, serait le même.
Taki : Ma marge d'erreur devient statistiquement respectable à 38 millions si je demande combien de personnes? 1 000? 2 000? 20 000?
Claire : La population n'entre pas dans l'équation. La seule chose qui entre dans l'équation de la marge d'erreur est la taille de l'échantillon et la proportion.
[La fenêtre vidéo de Claire remplit l'écran. Elle fait des gestes et envoie ses mains vers sa gauche.]
Au Québec, pour le référendum de 1995, c'était très serré. L'échantillon comprenait 10 000 personnes, car c'était très serré. Si la marge d'erreur est trop grande, vous pouvez simplement dire que c'est serré et c'est tout. Si vous avez une situation où c'est 60/40, alors, votre échantillon peut être plus petit.
[Les trois autres fenêtres vidéo reviennent à l'écran.]
Les 38 millions, 3 millions ou 380 millions n'entrent pas dans le calcul.
Taki : C'est fascinant.
Anil : Je pense que Claire l'a parfaitement exprimé lorsqu'elle a dit que cela dépendait.
[Taki rit. La fenêtre vidéo d'Anil remplit l'écran.]
C'est vraiment la réponse. Si vous n'avez que dix dollars pour découvrir quelque chose, vous allez choisir quelqu'un au hasard dans la rue, vous lui posez la question et puis vous dites « c'est à peu près ce que pensent les Canadiens ». Dans quelle mesure allez-vous avoir raison? Dans quelle mesure cela se répétera-t-il? Dans quelle mesure cela représente-t-il tous les Canadiens? Probablement pas si bien. Cela dépend de l'utilisation que vous allez faire de ces informations, du temps dont vous disposez, du type d'erreur que vous pouvez tolérer, de l'identité des populations que vous allez exclure et du degré de subtilité que vous avez en ce qui concerne la capacité à utiliser ces résultats. Il y a un certain nombre de facteurs qui entrent en ligne de compte. Nous ne faisons pas de sondages. Je ne pense pas que nous ne puissions jamais faire un sondage avec 800 ou 1 000 réponses. Nous n'avons tout simplement pas pu le faire parce que je ne serais pas en mesure de donner à un décideur la possibilité de dire « faites quelque chose avec ça ».
[Les trois autres fenêtres vidéo reviennent à l'écran.]
Taki : Anil, quelle est la différence entre un sondage d'opinion et une enquête?
Anil : Un sondage d'opinion est généralement utilisé pour obtenir une opinion : qu'est-ce que quelqu'un pense de quelque chose? Dans une enquête, on pose plutôt des questions de fait. Par exemple, nous ne demandons pas aux gens : quel est, selon vous, le taux de chômage? Nous essayons de le calculer. Nous ne vous demandons pas : quel est l'écart de prix d'un produit de base d'un mois à l'autre? Nous essayons de contrôler la taille, le volume, la qualité, etc., et de vous donner la norme, de vous donner un contrôle comparable. Habituellement, ce que nous faisons, c'est établir une base de référence en fonction de la démographie, de la répartition des groupes d'âge, etc., de sorte que lorsque Nik fait un sondage, il peut dire : « Je choisis de façon aléatoire. Voici les chiffres. 1 000 personnes. J'ai obtenu d'elles ce qu'elles pensent de quelque chose. » Il peut maintenant dire « J'ai eu tant de personnes âgées, tant de personnes de ce groupe d'âge, tant de personnes de cette région géographique », puis dire « qu'est-ce que Statistique Canada considère comme une base de référence? Cette seule réponse a un poids de 10 000 personnes. » Vous pouvez maintenant déterminer si vous deviez opter pour cet échantillon plusieurs fois, quelle serait la variance des réponses que vous obtiendriez dans chacun de ces échantillons? C'est habituellement l'énoncé de qualité lorsqu'il est question de la taille d'un échantillon.
[La fenêtre vidéo d'Anil remplit l'écran.]
Pour l'enquête sur la population active, par exemple, 56 000 ménages ou 110 000 Canadiens nous donnent des réponses sur leur situation par rapport au marché du travail. Pourtant, on a encore du mal à obtenir des taux stables et de qualité dans de très petites régions. Pour le recensement que nous effectuons, chaque ménage a une chance sur cinq d'obtenir le formulaire long. Nous savons que dans certains domaines, nous devons encore supprimer les réponses. Cela dépend du phénomène ou de la population que vous souhaitez le plus connaître. Par exemple, si nous parlons de la population LGBTQ+, elle est si petite. Si vous choisissez la personne moyenne dans la rue ou si vous prenez 1 000 personnes et que vous essayez maintenant de déduire que ces réponses peuvent être ventilées pour la population LGBTQ+, la marge d'erreur sera si élevée que cela n'aura probablement aucun sens. Cela dépend de ce que vous essayez d'étudier, de la nature de ce phénomène, du montant d'argent, du temps nécessaire et de ce que vous pouvez garantir en ce qui a trait à la qualité. C'est une question simple : quelle est la taille de l'échantillon? La réponse est exactement ce que Claire a dit. Cela dépend.
[Les trois autres fenêtres vidéo reviennent à l'écran un instant avant que celle de Taki ne prenne toute la place.]
Taki : J'adore ça. Merci. Passons au troisième point : le mode de sondage. Il y a le sondage en personne, le sondage par téléphone, portable et fixe, et il y a aussi le sondage par Internet. Alors, quel mode utilisez-vous? Pourquoi?
[Les trois autres fenêtres vidéo reviennent à l'écran.]
Nik : Nous les utilisons tous. Nous sommes œcuméniques. Je m'inquiète toujours de tout chercheur qui dit : « J'ai une façon de faire le sondage et c'est une solution pour tout. » Nous faisons des sondages par téléphone. Nous faisons des entrevues en personne. Nous réalisons des sondages en ligne, probabilistes ou non.
[La fenêtre vidéo de Nik remplit l'écran.]
Une chose que je voudrais soumettre à la discussion, et qui est particulièrement importante pour quiconque effectue des recherches dans la sphère gouvernementale, est d'utiliser le bon mode pour le bon public. Parlons maintenant de la population marginalisée au Canada. Ce que nous avons constaté, du moins dans nos recherches, c'est que les populations marginalisées n'ont pas toutes accès à Internet. Il y a des gens qui sont sous-employés, au chômage ou qui peuvent être sans abri. Je pense qu'il faut être très prudent, car parfois vous êtes dans un ministère, vous avez un budget pour faire un sondage, vous commencez à survire cette voie et vous arrivez à la toute fin et quelqu'un vous dit « allons-nous être en mesure d'inclure les Canadiens marginalisés dans cette enquête? Parce que c'est important pour une question de politique publique. » Ensuite, vous découvrez que vous créez un panel en ligne à option d'adhésion, qui s'adresse probablement à des personnes plus aisées qui ont un niveau de scolarité plus élevé. Vous vous rendez compte par la suite que ce n'est peut-être pas le bon outil et que vous avez besoin d'un sondage par téléphone, de la même manière que si vous faites un sondage auprès d'une population ayant un niveau de scolarité élevé, vous pouvez probablement aller en ligne et réaliser un sondage probabiliste. Je pense que l'un des défis est que le gouvernement du Canada doit aider tout le monde. Nous devons nous assurer que nous utilisons le bon mode pour le bon objectif. J'ai parfois l'impression que cela n'est pas abordé avant la toute fin des discussions sur la méthodologie, au lieu du début de ces discussions. Je ne suis pas ici pour dénigrer un mode ou un autre, car je crois qu'en tant que chercheurs, nous devons utiliser tous les modes. Vous devez vous demander : qu'est-ce qui est important pour ce projet et est-ce le bon mode pour le public cible que nous voulons atteindre?
[Les trois autres fenêtres vidéo reviennent à l'écran.]
Taki : Qu'est-ce que vous en pensez Claire?
Claire : Je pense que nous nous dirigeons peut-être vers une situation où il n'y a pas un seul bon mode.
[Nik hoche la tête.]
Ce que nous constatons actuellement aux États-Unis, c'est qu'il y a des gens qui ne répondront jamais aux appels téléphoniques, des gens qui ne répondront jamais à un sondage en ligne et des gens qui ne répondront jamais à un sondage par RVI.
[La fenêtre vidéo de Claire remplit l'écran. Une boîte de texte s'affiche quelques secondes. Il y est écrit : « Claire Durand, Université de Montréal ».]
La combinaison vous donne la possibilité de toucher une meilleure variété de personnes. Après cela, le problème est de savoir comment pondérer tout cela ensemble. Cette situation pose problème. En ce qui concerne les téléphones fixes et les téléphones portables, toutes les personnes qui font des sondages par téléphone, que ce soit par RVI ou avec intervieweur, font appel aux deux dans leur échantillon. Ce qui est amusant, c'est qu'en 2016 aux États-Unis, j'étais membre du comité qui a examiné les sondages et nous avons demandé aux sondeurs téléphoniques quelle était la proportion de téléphones portables dans leurs échantillons. Cela variait de 25 à 75 pour cent. Ce n'est pas une courbe en cloche. C'est uniforme. Il n'y a absolument aucune différence d'estimation en fonction de la proportion de téléphones portables dans l'échantillon. C'était en 2016. Cela a peut-être changé aujourd'hui parce qu'il y a de plus en plus de personnes qui n'utilisent que le téléphone portable. Je constate toujours cette disparité. La question est la suivante : quelle est la proportion de personnes qui n'utilisent que des téléphones portables? Je reçois des réponses comme « ce pourcentage de la population ». Ensuite, je leur demande « quel est le pourcentage de tous les téléphones? » Nous calculons la proportion de personnes qui utilisent des téléphones portables et aussi ceux qui utilisent l'autre type. Je ne veux pas être la statisticienne chargée de pondérer ces sondages après coup.
[Les trois autres fenêtres vidéo reviennent à l'écran.]
Taki : Je pense que ce que vous avez tous dit, c'est que le mode revient au caractère aléatoire à mesure que la population devient moins homogène pour ce qui est de la façon de l'atteindre. Par le passé, il était possible de joindre toutes les personnes possédant un téléphone fixe, ou du moins une bonne partie de la population. Maintenant, on atteint plus de gens avec des téléphones portables. Cela nous ramène au caractère aléatoire. Je vais continuer. Ce sera un peu philosophique maintenant en ce qui concerne les sondages.
[La fenêtre vidéo de Taki remplit l'écran.]
Je voudrais aborder la question suivante : les sondages reflètent-ils ce que les gens pensent ou les sondages aident-ils les gens à savoir ce qu'ils pensent? Il y a cette notion que parfois les sondages peuvent être dangereux. Je sais que par le passé, nous interdisions la publication des sondages à l'approche d'une élection. En France, pendant un certain temps, les sondages ont même été totalement interdits. Commençons un peu cette conversation. Les sondages reflètent-ils un élément ou un autre ou font-ils plus que le refléter? Un peu comme Heisenberg. L'acte d'observation a-t-il une incidence sur ce que vous observez? Claire, vous êtes très enthousiaste, ce qui me fait peur, mais, allez-y, commencez.
[Les trois autres fenêtres vidéo reviennent à l'écran. Claire bouge sur son siège pendant que Nik et Anil sourient.]
Claire : Oui. J'ai fait des recherches à ce sujet. En France, c'était une ou deux semaines avant les élections. Un rapport a été affiché sur le site Web du WAPO. Je crois qu'il y a 120 pays dans le monde où il y a des interdictions et aucune interdiction, et tout ça. Il y a encore des interdictions d'un mois, je crois. Que s'est-il passé en France lors de la dernière élection présidentielle? Maintenant, ils n'ont qu'une interdiction d'un jour. Ce jour-là, un sondage a été publié en Suisse et un autre en Belgique disant « il est en avance » et ce n'était pas vrai. La première chose est qu'on ne peut plus interdire les sondages, car n'importe qui peut les publier. S'il y a une élection au Québec, vous pouvez publier un sondage en Ontario, aux États-Unis, n'importe où. Vous ne pouvez pas interdire les sondages.
Le deuxième point est que ce serait extrêmement dangereux et antidémocratique parce que les sondages seraient toujours effectués. Qui aura accès aux sondages? Ceux qui peuvent payer les sondages. La population n'aurait pas accès à sa propre opinion. Certaines personnes qui ont fait campagne pour cela y auraient accès. Le deuxième point très important est que lorsque les sondages sont publics, on a la possibilité de faire des vérifications. S'ils ne sont pas publics, les sondages sont remplacés par des rumeurs. C'est extrêmement dangereux.
La fenêtre vidéo de Claire remplit l'écran un instant avant que les trois autres fenêtres vidéo ne reviennent.]
Taki : Nik, vous nous dites ce qu'il faut penser ou vous nous dites ce que nous pensons?
Nik : Nous vous disons ce que vous pensez. Ce qui m'inquiète, ce n'est pas une interdiction. Je vais vous le dire, s'il y avait une interdiction, je serais riche.
[La fenêtre vidéo de Nik remplit l'écran. Une boîte de texte s'affiche quelques secondes. Il y est écrit : « Nik Nanos, Nanos Research ».]
Ce qui fait partie aujourd'hui du domaine public pour le bien public, afin d'exercer un contrôle sur les politiciens, n'existerait pas. Les personnes, les entreprises et les fonds spéculatifs paieraient de l'argent pour obtenir des informations qui ne seraient pas du domaine public. Je ne m'inquiète pas au sujet de l'interdiction parce que ce n'est pas faisable. Je vais vous dire ce qui m'inquiète. Je m'inquiète de l'arsenalisation des sondages. Je pense que c'est ce que nous avons vu lors de la dernière élection présidentielle américaine, notamment au niveau des États. J'ai consulté un certain nombre de sondages d'État et je peux vous dire que j'ai été mortifié par le manque de détails et de transparence. Ils n'ont pas indiqué qui a financé le sondage. Ils n'ont pas mentionné toutes les questions qui ont été posées dans le sondage. Ils n'ont pas expliqué la modélisation ou la pondération adoptée. Pour répondre à Claire, ces éléments ont été combinés à d'autres sondages.
Je m'inquiète, et cela est exacerbé dans un environnement de médias sociaux où nous sommes tous dans une chambre d'écho. Si une personne aime un sondage, elle le cite. Le lendemain, si elle voit un autre sondage qui ne lui plaît pas, qui contredit ce qu'elle croit personnellement, elle estime qu'il n'est pas crédible. Je dirais aux sondeurs : il faut être plus chercheur et moins vedette du rock. Il suffit d'indiquer les chiffres et de laisser les gens faire leur propre interprétation et d'être transparents. À mon avis, le Canada fait beaucoup mieux dans ce domaine que les États-Unis. Les grandes entreprises de ce domaine sont beaucoup plus transparentes et beaucoup plus cohérentes dans leurs rapports comparativement aux 80 grandes entreprises des États-Unis.
[Les trois autres fenêtres vidéo reviennent à l'écran.]
Taki : Si un sondage révèle que X pour cent des Canadiens craignent de perdre leur emploi ou que Y pour cent des Canadiens ont peur de l'avenir ou ont de l'espoir pour l'avenir, cela n'a-t-il pas une incidence sur moi? Ne me dit-il pas « vous devriez avoir peur parce que 80 % de vos concitoyens canadiens ont peur »?
Nik : Je ne pense pas que beaucoup de gens regardent les sondages comme tu le penses, Taki. Plus de gens regardent les nouvelles. Lorsque nous examinons ce qui fait l'actualité, nous constatons que les nouvelles déterminent le comportement plus que les sondages.
Claire : Je pense que ce qui est plus dangereux, c'est lorsque les gouvernements utilisent les sondages pour soutenir leurs politiques.
[La fenêtre vidéo de Claire remplit l'écran.]
Il existe certains types de politiques qui ne relèvent pas de l'opinion publique, par exemple lorsque le gouvernement a décidé de mettre fin à la peine de mort en 1970. La première fois que nous avons vu un sondage où la majorité de la population canadienne s'est exprimée contre la peine de mort était en 2002. Si, à ce moment-là, le gouvernement avait dit « les gens sont pour le maintien de la peine de mots, nous n'abolirons donc pas la peine de mots », elle serait toujours là. Il y a des politiques que les gouvernements doivent faire accepter à la population, et ce n'est pas une question d'opinion publique. Il s'agit d'un usage dangereux de la force.
[Les trois autres fenêtres vidéo reviennent à l'écran.]
Anil : Si vous êtes un décideur et que vous cherchez de l'information, une option consiste à examiner ce qui existe dans le domaine public sur un sujet particulier.
[La fenêtre vidéo d'Anil remplit l'écran. Une boîte de texte s'affiche quelques secondes. Il y est écrit : « Anil Arora, Statistique Canada ».]
Regardez l'ensemble du sondage. Quelle était l'idée principale de ce sondage? Quelles sont les autres questions qui ont été posées à ce sujet? Ne pas prendre les choses hors contexte. Examiner les choses en les situant dans le temps, déterminer ce qui était populaire, ce qui était dans les nouvelles, et comment les pensées des gens étaient façonnées par ce qui se passait à l'extérieur. Faites un peu plus de recherches. Ne vous contentez pas de prendre la réponse à une question hors contexte. Sachez quand un sondage a un sens. Si vous devez réaliser un sondage et que vous êtes payé pour quelque chose, examinez la situation et posez le type de questions que vous avez. En quoi consiste la transparence? Qu'est-ce que le sondeur vous donne? Quelle est la taille de l'échantillon? Comment est-il choisi? Quel est le taux de non-réponse? Beaucoup de sondeurs ne le disent pas. Il faut faire attention à cela. Vous devriez faire la distinction entre les cas où un sondage d'opinion est logique et ceux où une enquête est logique. Lorsque vous donnez des conseils, demandez aux destinataires de faire attention. Si un sondage révèle quelque chose, le pays ne l'adoptera pas nécessairement. Vous avez de nombreux exemples de cas où le sondage peut dire quelque chose qui n'est pas nécessairement toujours dans l'intérêt supérieur d'un groupe minoritaire. N'insistez pas trop. Il faut en savoir assez. Informez-vous. Posez les bonnes questions. Il s'agit de s'adapter au but fixé et d'utiliser le bon outil pour le bon travail.
[Les trois autres fenêtres vidéo reviennent à l'écran.]
Taki : Quelle heure fascinante. J'allais demander à chacun d'entre vous de conclure par un mot de sagesse à l'intention des fonctionnaires qui sont aux prises avec ce problème. Anil, vous êtes déjà parti. Anil, j'adore le fait que vous ayez introduit la notion d'enquête par rapport à celle de sondage d'opinion. Utilisez la bonne notion. Faites preuve de pensée critique. Soyez compréhensif. Claire, quel est votre dernier mot à l'intention des fonctionnaires à cet égard?
[La fenêtre vidéo de Taki prend tout l'écran pendant quelques secondes. Les trois autres fenêtres vidéo reviennent à l'écran.]
Claire : Ne pas choisir les données de façon arbitraire lorsqu'il s'agit de sondages.
Taki : Ne pas choisir les données de façon arbitraire.
Claire : Cela signifie qu'il ne faut pas se contenter de faire le sondage qui correspond à ce que vous pensez. Il faut avoir un certain nombre de sondages. C'est en tout cas la théorie des sondages. Il faut avoir un certain nombre de sondages. Il faut examiner la nature des questions. Ne pas choisir les données de façon arbitraire.
Taki : Nik, quel est votre mot de sagesse pour conclure?
Nik : Pour conclure, je dirais qu'il faut penser à la population et à ce que vous essayez d'atteindre, et vous assurer que vous utilisez le bon mode, la bonne façon de réaliser un sondage pour la bonne population, et le bon contenu.
Taki : Claire, Nik, Anil, merci beaucoup d'être des amis de la fonction publique du Canada. Merci d'avoir pris une heure pour nous parler d'un sujet très, très important. Merci d'avoir été éclairants, perspicaces et drôles pendant que nous avancions dans notre discussion. Je vous souhaite bonne chance et je vous remercie pour cette heure. Portez-vous bien.
[Les présentateurs sourient et saluent de la main. L'appel vidéo disparaît et est remplacé par le logo blanc animé de l'École de la fonction publique du Canada, qui se dessine sur un fond violet. Les pages tournent, et le logo se ferme comme un livre. Une feuille d'érable apparaît au milieu du livre, qui ressemble aussi à un drapeau en dessous duquel se trouvent des lignes courbes. Le mot-symbole du gouvernement du Canada apparaît : le mot « Canada » avec un petit drapeau canadien flottant au-dessus du dernier « a ». L'écran devient noir.]
