« Nous avons fait mentir les sondages! » a lancé à ses partisans l’ex-premier ministre du Québec, Jean Charest, lors de son discours de défaite électorale le 4 septembre. Avant l’élection, de nombreux chroniqueurs et commentateurs prédisaient la débâcle de son parti au terme de la campagne. Au lieu de cela, les libéraux ont remporté 50 sièges, 4 de moins que le Parti Québécois qui forme maintenant le gouvernement, et 31 de plus que la Coalition Avenir Québec à qui on prédisait l’opposition officielle. Le PLQ se trouve donc à des années-lumière du désastre annoncé. Que s’est-il passé?

« C’est incroyable les conneries qu’on dit sur nos sondages parfois. » Au bout du fil, on pourrait croire Jean-Marc Léger un peu découragé. Après tout, la dégelée annoncée des libéraux de Jean Charest ne s’est pas produite et la Coalition Avenir Québec, que d’aucuns voyaient comme opposition officielle, est plutôt reléguée au rang de deuxième parti d’opposition. « Ce que les sondeurs contrôlent, ce sont leurs chiffres. Ce qu’ils ne contrôlent pas, c’est l’interprétation que les gens donnent à ces chiffres. » Le président de Léger Marketing est catégorique : les coups de sonde menés par son équipe au cours des cinq semaines de campagne électorale ont visé assez juste… à une exception près. Globalement, dit-il, « on est précis à 1 % près, pour cinq des six partis. On a vu que le Parti Québécois serait minoritaire, que la CAQ a progressé de façon importante et qu’après ça, elle a stagné, que Québec Solidaire serait à 6 % [du suffrage], mais la montée finale des libéraux, le retour des libéraux qui ont déserté pendant la campagne, ça, on ne l’a pas vu. » 

« L’erreur des maisons de sondage n’est pas si grande que ça », renchérit le politologue, Jean-Herman Guay. Selon lui, la dégringolade supposée des libéraux n’a rien à voir avec la qualité des sondages, mais avec le traitement qu’en ont fait les médias. « Pendant une bonne semaine, les médias ont tous crié que le PLQ se retrouvait au troisième rang, que c’était la fin d’une époque, qu’on n’avait jamais vu ça, que, historiquement, depuis plus de 100 ans, le PLQ ne s’était jamais retrouvé troisième et que là il l’était… Évidemment, par rapport aux attentes [générées chez les électeurs] et à cette enflure [médiatique], oui, il y a un écart. Mais ça, ce ne sont pas les sondages, mais le traitement et l’interprétation qu’on a pu faire de certains sondages. » Selon Jean-Marc Léger : « Quand le Parti libéral était à 27 % [dans les intentions de vote], les analystes ont commencé à dire que le Parti libéral était troisième. Statistiquement parlant, c’est faux. Il n’était pas troisième, il était à un point de la CAQ [par conséquent, à l’intérieur de la marge d’erreur de 3 %]. Donc, il fallait éviter ces interprétations exagérées. »

Comprendre (et appliquer) la notion de marge d’erreur

Certains représentants de la presse ont tout de même usé de prudence dans l’analyse des sondages. Un texte de Denis Lessard, journaliste politique à La Presse, publié à moins d’une semaine du scrutin, témoigne d’une sobriété certaine. Si la victoire minoritaire du Parti Québécois semble acquise, la déconfiture libérale y est exclue : « Pour le spécialiste [Youri Rivest de la maison CROP], Mme Marois est clairement en terrain minoritaire, mais il devient impossible de prédire quel parti formera l’opposition officielle. » L’analyse a posteriori des résultats électoraux montre les vertus de cette prudence pour le droit du public à une information de qualité.

Selon Jean-Marc Léger, « au milieu de la campagne, seulement 14 % des personnes sondées croyaient que le PLQ allait gagner. On l’a vu ça! Jean Charest s’est alors mis à insister sur le référendum que tiendrait le Parti Québécois s’il était élu et là, tranquillement, la question référendaire est venue occuper la campagne. [On estime que] 17 % des gens ont fait leur choix le jour de l’élection; 10 % l’ont fait directement dans l’isoloir. De tous ces électeurs, un bon nombre se sont tournés vers le Parti libéral qui a profité, pour la première fois depuis longtemps, d’une “prime à l’urne” comme ça a été le cas chaque fois que la question de l’indépendance prenait de la place dans la campagne. » En résumé, soutient le président de Léger Marketing, les libéraux qui avaient déserté le navire sont revenus à bord et ont effectivement fait mentir… un peu les sondages, et beaucoup les chroniqueurs et présentateurs politiques.

Pour Jean-Marc Léger comme pour Jean-Herman Guay, le classement des partis politiques, alors que la lutte était aussi serrée, selon un ordre qui va du premier aux cinquième ou sixième, par exemple, constitue une première faute d’interprétation des résultats de sondage que commettent trop de journalistes et de commentateurs. Selon le professeur Guay, la vigilance des journalistes, et des analystes, doit augmenter à mesure que les résultats s’annoncent serrés. « Les sondages, quand il s’agit de tendances fortes, du 50 % ou du 45 % par exemple, et qu’il y a des écarts de cinq points ou de six, sept, huit, neuf points entre des candidats ou des partis politiques, quant à moi, ça pose moins de difficultés. Mais quand, au contraire, les écarts deviennent faibles, que tout le monde est à peu près dans la marge d’erreur, je regarde les résultats avec beaucoup de précautions. » Plus les prévisions sont serrées, insiste Jean-Herman Guay, plus nous devons accorder d’attention à la marge d’erreur que contient un sondage. Des partis séparés par un point d’écart dans un sondage qui présente une marge d’erreur de 3%, 19 fois sur 20, ça signifie que, dans les faits, l’un ou l’autre de ces partis peut se trouver en tête des intentions de vote, peu importe le classement que lui accorde l’enquête.

 De la répartition des sièges

Une autre faute trop souvent commise par les membres des médias, estime Jean-Marc Léger, c’est de déduire le nombre de sièges qu’obtiendra chacun des partis à partir des données de sondage. « Chez les libéraux, 1 % ou 2 % de plus d’intentions de vote, ça se traduit par des dizaines de sièges. [Cette année] il y avait une centaine de comtés où on savait ce qui allait arriver. Dans le cas de 25 sièges, par contre, on ne le savait pas et [dans ces circonscriptions] les luttes locales sont très importantes. La projection de sièges ne peut pas voir les dynamiques régionales. Donc on prend le sondage, on l’interprète de toutes sortes de façon et on tient pour acquis que le Parti libéral est fini. Mais en réalité, tout était dans la marge d’erreur. Entre le Parti Québécois et le Parti libéral, on [était] dans la marge d’erreur. Tout [pouvait] donc arriver. Le problème, c’est que les analystes vont extrêmement loin dans l’interprétation des données. Donc, entre le sondage et son interprétation, il y a souvent un monde. »

Selon Jean-Herman Guay, il faut toujours garder à l’esprit qu’un « sondage ne fait pas le printemps, que c’est un coup de sonde réalisé à un moment donné dans le temps. » Le vote stratégique, la participation électorale qui divergent de celle d’un sondage, le taux de participation plus élevé des personnes âgées, qui sont aussi plus discrètes, sont autant de facteurs qui forcent à interpréter les sondages avec beaucoup de prudence. « C’est certain que lorsqu’une entreprise de presse paie pour un sondage, qu’elle assume la facture, eh bien, on veut les faire parler, ces sondages… »