Couvrir une campagne électorale, c’est un peu comme couvrir des fêtes rituelles comme la fête de Noël, ou encore, des événements répétitifs comme les tempêtes de neige. Chaque fois, les journalistes et les médias se demandent comment faire le travail correctement, mais de façon différente, histoire de mettre un peu de variété dans la vie de leur auditoire… et dans leur propre façon de faire le travail.

Depuis l’élection fédérale 2011, Radio-Canada met à la disposition des citoyens une « boussole électorale » dont l’objectif premier est d’aider l’électeur à se situer par rapport aux orientations des principales formations politiques. Le journal Le Devoir propose depuis peu un outil semblable. Le « comparateur de programme » présente ainsi une quarantaine de grands enjeux répartis sous 10 catégories où la position de chacun des partis est présentée. Là encore, le but annoncé de l’outil est de faciliter la vie des électeurs qui n’ont pas forcément le temps, ni l’envie, de s’imposer la fastidieuse tâche d’éplucher le programme des partis. Le Magazine a voulu en savoir davantage sur ce type d’instruments et la valeur que les médias prêtent aux résultats qu’ils génèrent.

 Pas un sondage

À l’autre bout du fil, Yannick Dufresne a la voix hésitante et le souffle court. « Excusez-moi, mais les nuits sont courtes depuis le début de la campagne. Avec la boussole électorale, on doit traiter les données qui entrent sur le site et les analyser avant de les remettre à notre client, Radio-Canada. Je dors à peu près trois heures par nuit depuis le 1er août… » Yannick Dufresne est un des concepteurs de la boussole électorale. Pour lui, il s’agit d’abord et avant tout d’un outil pédagogique dont le but est d’aider l’électeur à se positionner par rapport à chacun des principaux partis politiques en lutte pour le pouvoir à Québec. « C’est un concept qui existe depuis une dizaine d’années environ. Ça a été développé ici et là par des politologues américains et européens et nous, on a collaboré avec une petite entreprise néerlandaise pour adapter leur concept au contexte canadien aux dernières élections fédérales. » Le doctorant en science politique à l’Université de Toronto insiste sur un point : la boussole électorale n’est pas un sondage puisque la méthode de collecte des données ne répond pas aux critères stricts des sondages qui prévoient, notamment, l’utilisation d’un échantillonnage choisi au hasard. « C’est certain que ce qu’on fait, c’est une collecte de données. Notre échantillon n’est pas représentatif, il y a un biais de sélection, c’est certain, parce que les gens s’auto sélectionnent dans l’échantillon. » Malgré ce biais d’échantillonnage, M. Dufresne a foi dans la valeur des données qu’il collige par le biais du site de Radio-Canada. « L’idée même d’un sondage est fondée sur un échantillon probabiliste. C’est-à-dire que chaque citoyen de 18 ans et plus a une chance égale d’être sondée dans une région et un moment donné. Or, avec le développement des nouvelles technologies, des cellulaires et des nouveaux moyens de communication, beaucoup de gens n’ont plus de ligne de téléphone terrestre – le principal moyen qu’utilisent les sondeurs pour joindre les gens –, ce qui fait qu’il y a de plus en plus de gens qui ne sont tout simplement plus dans l’échantillon. Conséquence : c’est devenu presque impossible d’obtenir un échantillon probabiliste aujourd’hui. Donc les maisons de sondages qui font leurs sondages par téléphone vont souvent parler à des gens sans emploi ou retraités. Il y a des tranches complètes de la population qui ne sont pas représentées dans les résultats, donc les données sont biaisées. Les sondages internet sont aussi biaisés parce que leur marge d’erreur, c’est celle du nombre de personnes sondées à même la banque de personnes qui se sont inscrites sur leur site pour être sondées. Donc, eux aussi ont un biais de sélection, comme nous. »

La ligne apparaît plutôt mince entre un sondage et une consultation du type de celle que mène l’équipe de la « boussole ». « C’est comme un immense vox populi », illustre Yannick Dufresne. « On a tellement de données qu’on est capable de les recréer et de les pondérer grâce à des données de recensement et des algorithmes et des modèles statistiques pour rendre [nos résultats] représentatifs de la population… » Comment faire, dans ce contexte, pour s’assurer que la boussole n’est pas manipulée par des groupes ou des partisans qui veulent fausser les résultats? « On a différents filtres de sécurité, dont je ne donnerai pas les détails, pour éviter que des gens utilisent notre outil de façon abusive ou malhonnête. Donc on collecte des données dont on est confiant qu’il s’agit de données uniques, puis on a tellement de données qu’on est capable de les pondérer avec les données de recensement [de Statistique Canada]. Sur les 400 000 et quelques questionnaires remplis jusqu’à présent, on estime qu’il y a environ 150 000 utilisateurs uniques. »

 Un outil ludique

« L’outil est intéressant », observe le professeur en éthique des médias, Marc-François Bernier. « Là où il faut être prudent, par contre, c’est dans l’utilisation qu’on fait des données qui sortent de cet engin. Les résultats sont non probabilistes; c’est comme un immense vox pop en fait. Ces résultats ne sont donc pas fiables. Si on les présente comme un juste reflet de la réalité, on se retrouve devant un problème éthique », avance M. Bernier. L’équipe de Radio-Canada a produit huit reportages à partir des résultats de la boussole électorale depuis le début de la campagne [au 30 août 2012]. Nous avons soumis l’écoute de ces reportages à la spécialiste des sondages à l’Université de Montréal, la sociologue Claire Durand. La chercheuse observe d’abord que, de façon générale, le journaliste qui produit les reportages ainsi que les extraits des spécialistes de la boussole incorporés dans ces reportages n’assimilent pas les données issues de la boussole à celles d’un sondage scientifique. Mme Durand observe cependant certains « glissements » dans la présentation de ces reportages par l’animatrice du journal télévisé. « Radio-Canada avance, par exemple : « les électeurs pensent » ou encore, dans le cas de l’appréciation qu’ont les répondants des différents chefs : « l’opinion des utilisateurs de la boussole a changé depuis une semaine« . Or, c’est faux. D’abord parce que les participants à la boussole ne sont pas nécessairement une représentation juste des électeurs, et ensuite parce qu’on ne peut comparer l’évolution de l’appréciation qu’ont les répondants de la boussole des différents chefs, puisque ce ne sont pas les mêmes personnes qui ont répondu au questionnaire. » Dans ce dernier cas, remarque Claire Durand, «  on dit que l’opinion des utilisateurs a évolué par rapport à Françoise David. On aurait dû dire que les nouveaux utilisateurs sont plus favorables à Françoise David, ce qui correspond à la        réalité. » Selon Claire Durand, la façon dont sont présentés les résultats peut « donner l’impression qu’il s’agit d’un juste reflet de la réalité. » Ce qui n’est pas le cas.

Les efforts mis par l’équipe de la boussole électorale pour pondérer les résultats, par groupe d’âge, par sexe ou par profil socio-économique, par exemple, ne permettent pas non plus de corriger les biais sociopolitiques des répondants, croit Mme Durand. « Les personnes âgées qui vont répondre à la boussole électorale, par exemple, ne sont pas représentatives de la population de leur âge. Les gens qui vont sur Radio-Canada présentent un profil politique particulier. Lors de l’élection de 2007, pour prendre cet exemple, les utilisateurs de Radio-Canada étaient de toutes les affiliations politiques sauf de l’ADQ. » Le coconcepteur de la boussole électorale défend toutefois la valeur des résultats générés par la boussole. Même s’il admet le biais qui existe dans la sélection des participants, Yannick Dufresne soutient que les conclusions qu’il tire des questionnaires sont fiables. Il affirme avoir soumis les résultats de ses analyses à de nombreux experts qui n’ont pu trouver de failles. « Je suis allé voir des gens qui étudient la culture politique canadienne, je leur ai montré nos résultats puis je leur ai demandé s’ils avaient du sens puis jamais personne n’a pu contredire nos résultats. »

Ce qui préoccupe davantage la chercheuse de l’Université de Montréal n’est toutefois pas de nature méthodologique mais éditoriale. Dans le reportage du 16 août 2012, Claire Durand observe que l’équipe de Radio-Canada a accordé plus d’importance à l’enjeu classé 5^e par les utilisateurs de la boussole, la corruption, qu’à l’économie et la santé, pourtant jugés plus importants par ces mêmes utilisateurs.  « Le reportage insiste sur cet enjeu [la corruption] plutôt que sur ceux qui arrivent aux rangs précédents. Le 23 août, [Radio-Canada produit un] reportage spécifique sur la corruption alors qu’il n’y a eu aucun reportage spécifique sur les priorités des utilisateurs, soit l’économie et la santé. [Le journaliste] dit que la corruption est un enjeu de plus en plus important, ce qui n’apparaît pas dans les données. Il dit également que l’éducation et les questions constitutionnelles sont en chute libre, ce qui n’est  pas évident dans le graphique. De plus, ces enjeux semblent au même niveau que la corruption. »

 Marketing

La boussole électorale constitue cependant un formidable outil de marketing. « C’est clair que ça génère de l’achalandage sur le site [internet] de Radio-Canada », soutient Marc-François Bernier. « À ce niveau [le diffuseur public] ne fait pas exception par rapport aux autres entreprises de presse. » La chasse aux cotes d’écoute est en effet effrénée dans le monde restreint de l’information au Québec, où chaque téléspectateur de plus compte. L’écoute des reportages de Radio-Canada portant sur la boussole électorale nous permet d’ailleurs d’observer aisément l’importance qu’accorde le diffuseur public à son outil, qui lui permet de se distinguer de la concurrence. Sauf exception, la présentatrice du journal télévisé amorce son texte en appuyant fortement sur l’extrême popularité de la boussole tout en rappelant le dernier bilan du nombre d’utilisateurs. Quant aux reportages, ils prennent invariablement fin avec l’invitation que lance le journaliste de remplir le questionnaire de la boussole.

Malgré cette instrumentalisation de la boussole électorale à des fins commerciales, il reste que ses concepteurs prétendent à plus que simplement permettre à la société publique de générer des revenus supplémentaires. Yannick Dufresne soutient que lui et son équipe souhaitent bâtir un pont entre le monde de l’information et le monde académique en ajoutant de la richesse au contenu offert aux citoyens. « On ne se considère pas comme une maison de sondage dans le sens où on n’essaie pas de connaître le support de chaque parti politique ou de prédire qui va gagner. Notre objectif, au départ, c’était de recentrer le débat autour des grands enjeux. Donc c’est un outil qui vise à stimuler la participation politique. Vous remarquerez qu’on ne dit jamais que Pauline Marois devance François Legault tout simplement. On dira que les femmes appuient davantage Pauline Marois qu’elles n’appuient François Legault. Une fois qu’on a dit ça, ça soulève la question du pourquoi? Et là, on essaie d’utiliser nos connaissances académiques pour répondre à la question. Si les femmes n’appuient pas François Legault, est-ce que c’est parce qu’elles ne l’aiment pas ou est-ce que c’est que dans la plupart des pays industrialisés, les femmes sont plus à gauche qu’à droite? » Revient alors la question de l’utilisation de cette information, rappelle Marc-François Bernier. « Tous les journalistes ne sont pas outillés pour traduire ce genre d’information. On leur demande de commenter les résultats d’un outil qu’ils ne comprennent pas toujours. » Pour M. Bernier, en somme, les journalistes sont bien souvent enrégimentés par leur employeur, qui veut d’abord et avant tout se démarquer de la concurrence.

Radio-Canada réagit

« Plus de 400 000 personnes qui viennent sur le site, c’est clair que ça fait plaisir. On n’avait pas d’objectif au départ mais c’est vrai qu’on est content. La boussole, on sait que c’est un instrument que la concurrence doit nous envier… » Le responsable de l’affectation intégrée de Radio-Canada, Marcel Courchesne, ne s’en cache pas : la boussole électorale génère un achalandage significatif sur le site internet de Radio-Canada. « Avec autant de monde, ça nous permet d’espérer que certains seront curieux de voir ce qu’on offre sur nos autres plates-formes [radio et télévision]. » M. Courchesne précise toutefois : la boussole n’est pas un sondage, mais bien une consultation. « Nous, les sondages, ça fait longtemps qu’on a décidé de ne pas jouer là-dedans. Qui gagne, qui perd, qui remonte? On va faire écho à certains de ceux réalisés par la concurrence quand ils démontrent un renversement significatif de la tendance, mais autrement, on n’en parle pas. Faire des sondages, et de la nouvelle à partir des sondages, c’est pas notre tasse de thé. »

Il n’en demeure pas moins que le diffuseur public ne se prive pas pour produire des reportages et des émissions à partir des résultats obtenus de la boussole. L’émission 24 heures en 60 minutes, diffusée sur RDI, a consacré une heure de son temps d’antenne au sujet le 30 août. « Nous ce qu’on veut, et c’est dans notre mandat, c’est stimuler la discussion, la participation à la vie publique et, peut-être même, le taux de participation aux élections. Pour nous, la boussole, le côté pédagogique, ce n’est pas qu’un mot. Les résultats qui sont tirés de cette consultation ne mourront pas avec la fin de la campagne électorale. Ils vont servir aux universitaires. On est associés avec des chercheurs de l’Université de Toronto, de McGill et de Laval là-dedans… »

Scientifique ou pas?

Malgré cette volonté affichée de stimuler la discussion politique, il reste que la valeur scientifique des résultats générés par la boussole et l’usage journalistique de ces résultats soulève des doutes. « À chaque fois qu’on fait quelque chose, on rappelle que ce n’est pas un sondage », insiste Marcel Courchesne. « Il ne faut pas perdre de vue, aussi, qu’on travaille avec des gens qui ne font que ça dans la vie, ce genre de consultation. Ce sont des universitaires, des gens sérieux, des scientifiques… Puis, quand même, y a plus de 400 000 visiteurs qui ont visité la boussole. Avec autant de données, on peut arriver à dégager des tendances proches de la réalité. Ce n’est pas un sondage mais ce n’est pas moins fiable que les sondages qui sont réalisés à partir d’internet par contre. » Soit. Mais que répondez-vous à ceux qui soulèvent que les gens qui fréquentent Radio-Canada, et donc, la boussole, ne sont pas représentatifs de la population? Marcel Courchesne saisit la balle au bond. « J’étais dans un restaurant de Sherbrooke l’autre jour. Y avait deux hommes à la table d’à côté, deux gars bien ordinaires. Vous savez de quoi ils parlaient? De la boussole. Je n’ai pas pu m’empêcher d’écouter, évidemment. L’un disait à l’autre : « as-tu essayé la boussole électorale? C’est pas un sondage, c’est un questionnaire. Tu y réponds et ça te dit où tu es par rapport aux partis politiques. Essaie, tu vas voir, c’est le fun! » Pour nous, la boussole c’est beaucoup ça. C’est un outil pédagogique pour stimuler la discussion. » Une question demeure cependant : les gens qui écoutent Radio-Canada sont-ils représentatifs de la population ? La réponse que l’on entend généralement, c’est non. « Vous savez quelle proportion de la population qui gagne moins de 40 000 $ par année écoute la radio de Radio-Canada? » Euh non!? « Allez, dites un nombre, moins de 40 000 $! » Moins de 20 %? « 43 %. Il y a 43 % des gens qui gagnent moins de 40 000 $ par année qui écoutent notre radio. Ça commence à faire du monde ça. Le profil des gens qui nous écoute change et est sûrement pas mal plus représentatif qu’on ne le croit. »