On attendait une percée du Wildrose le 23 avril à l’élection provinciale en l’Alberta. On a plutôt assisté à une victoire convaincante du Parti progressiste conservateur sur le Wildrose, par une marge de 10%. Les sondages réalisés en cours de campagne prédisaient pourtant l’inverse. Comment les sondeurs ont-ils pu se tromper à ce point?

Sondages en ligne: quelle fiabilité?

À la lumière de cet écart entre prédictions et réalité, il y a lieu de se demander: peut-on encore se fier aux sondages? Les méthodes ont changé et on voit de moins en moins de sondages réalisés par téléphone avec un intervieweur; automatisées, en ligne: les nouvelles méthodes sont-elles éprouvées?

« Théoriquement, il y a un danger [avec les sondages Internet] parce que ce n’est pas un échantillon aléatoire », confirme Claire Durand, professeure au Département de sociologie de l’Université de Montréal. Il existe cependant une multitude de façons de produire l’échantillon, et certaines méthodes sont mieux que d’autres, estime la chercheuse. Le problème, c’est que les méthodes de formation des échantillons (souvent via panel) sont rarement explicitées.

« Aucun panel sur terre ne peut dire qu’il est représentatif de la population », souligne Alain Giguère, président et associé chez Sondages CROP. La raison, technique, est simple: pour dire qu’un échantillon représente une population, il doit donner une chance égale à tout le monde d’être sélectionné. Or, comme les panels sont formés par des adresses courriel, la possibilité d’avoir un échantillon purement aléatoire est exclue d’office.

Pourquoi, dans ce cas, recourir à des sondages en ligne? « Avec la diminution des taux de réponse téléphonique, l’industrie a dû se tourner vers des méthodes plus faciles pour trouver des gens » explique Alain Giguère. Longtemps privilégié pour sonder la population, l’entretien téléphonique ne permettait plus depuis quelques années d’obtenir des résultats convaincants aussi facilement qu’il y a 10 ou 20 ans. La multiplication des téléphones cellulaires et la liste d’exclusion du CRTC, qui permet de retirer son numéro de téléphone des listes de télémarketing, sont aussi venues compliquer le travail des sondeurs.

Un autre attrait des sondages en ligne: leur faible coût. Un facteur non négligeable tant pour le milieu universitaire que pour les firmes de marketing. Qu’advient-il cependant quand l’argent n’est pas un facteur? En début d’année, Claire Durand s’est penchée sur les sondages préélectoraux entourant la présidentielle Américaine de 2012. « Aux États-Unis, les firmes ont beaucoup plus d’argent et de ressources que chez nous. Ce que j’ai observé, c’est que depuis la mi-janvier, sur 23 firmes de sondage, une seule a utilisé le web pour sonder la population; les autres ont plutôt utilisé le téléphone. » Un exemple qui en dit long, selon elle, sur les questions que posent encore les sondages en ligne.

Sondages web: quels les résultats?

« Les études scientifiques ont démontré qu’il y a une certaine différence au niveau des résultats entre les sondages téléphoniques et ceux en ligne, mais que celle-ci est minime  », constate François Pétry, directeur du Département de science politique à l’Université Laval.

« Un sondage téléphonique qui utilise les méthodes probabilistes, mais avec des taux de réponse extrêmement bas, n’est au final peut-être pas si différent d’un sondage par panel bien calibré », souligne pour sa part Alain Giguère.

Et c’est peut-être là le cœur du véritable problème: avec des taux de réponse extrêmement bas aux sondages téléphoniques, l’industrie n’a plus la même précision qu’elle avait il y a 10 ou 15 ans. « Les gens ont gardé les mêmes attentes, souligne Alain Giguère, mais on ne peut pas avoir le degré de précision qu’on avait autrefois compte tenu de la vie actuelle. Et au final, les résultats ne sont pas si mal; il faut accepter les contraintes de l’époque ».

Doit-on s’inquiéter de cette perte de précision des sondages, qui risquent de dresser un portrait biaisé de la population? François Pétry ne le croit pas: « Avec les sondages préélectoraux, il y a un test final: le scrutin. Si les maisons de sondages se trompent, ça va nuire à leur réputation; donc ils ont intérêt à être extrêmement rigoureux. »

Comme c’était le cas avec les sondages téléphoniques, les firmes travaillent à corriger la représentativité de l’échantillon en pondérant les résultats; une tâche difficile puisque le biais généré par les sondages électroniques paraît pour l’heure encore difficile à évaluer. « On pense qu’avec les sondages web, le biais devrait être plus progressiste parce qu’il y a moins de personnes âgées sur Internet et que celles-ci votent plus pour les partis conservateur ou libéral », remarque Claire Durand. Encore là, comme pour les techniques d’échantillonnage, les méthodes de pondération varient d’une firme de sondage à l’autre.

Et si le problème était ailleurs?

Les sondages par Internet ne sont pas le problème le plus grave, estime François Pétry; le défi se pose surtout dans l’interprétation qui elle, touche autant les sondages en ligne que téléphonique. Le libellé des questions, l’ignorance des indécis ou la sous-estimation de la marge d’erreur, autant d’éléments qui peuvent teinter les résultats.

Pour Alain Giguère, le mode d’entrevue en ligne permet d’ailleurs d’obtenir des réponses plus authentiques: « Au téléphone, la présence de l’intervieweur peut amener un biais parce que la personne sondée peut être portée à donner un type de réponse socialement acceptable. » Par exemple, un citoyen risque d’être réticent à dire qu’il ne fait pas sa part pour l’environnement parce qu’il sait que son attitude sera mal perçue, suggère-t-il. Ceci s’ajoute à un autre avantage du sondage en ligne pour François Pétry: le temps que peuvent prendre les sondés pour répondre à chaque question. Bref: « C’est faux de penser qu’il va y avoir des différences majeures entre les sondages internet et ceux téléphoniques, estime François Pétry. Mais ça ne veut pas dire qu’il n’y a pas place à l’amélioration. »

Bien outillés, les journalistes?

Marge d’erreur (ou pas), échantillon non probabiliste, représentativité… Les journalistes sont-ils bien outillés lorsque vient le temps d’analyser les résultats d’un sondage électoral? « Il y a un manque de connaissances des journalistes, estime Claire Durand, et malheureusement, la population pense que les journalistes savent ». Des analyses incomplètes qui peuvent donc avoir de grandes répercussions dans l’opinion publique, constate-t-elle.

Pour Frédérick Bastien, professeur au Département d’information et de communication à l’Université Laval, les firmes de sondage ont aussi leur part de responsabilité dans ce manque de connaissances des journalistes. « C’est vrai que les journalistes n’interprètent pas toujours les résultats correctement, mais il arrive même que les sondeurs ne les interprètent pas correctement », nuance-t-il. La question de la marge d’erreur, notamment, crée souvent de la confusion puisque théoriquement, les sondages en ligne n’en possèdent pas.  Mais les firmes de sondages ne s’entendent pas sur la façon de l’indiquer: « CROP écrit : il n’y a pas de marge d’erreur tandis que Léger Marketing écrit: un sondage aléatoire aurait eu une marge d’erreur de X », explique Claire Durand. Pas surprenant que les journalistes y perdent leur latin!

La démultiplication des techniques de sondage et d’échantillonnage vient donc compliquer le travail des journalistes, souligne Frédérick Bastien. « On s’interroge encore sur la qualité de ces sondages en ligne pour mieux comprendre en quoi leur fiabilité se distingue ou ressemble à celle des sondages téléphoniques traditionnels. Je ne sens pas qu’un consensus a émergé dans la communauté des sondeurs et dans la communauté académique. À partir du moment où il n’y a pas de consensus, on ne peut pas demander aux journalistes de statuer sur des questions que les spécialistes eux-mêmes n’ont pas encore résolues », remarque-t-il.

Le chercheur replace également le rapport des journalistes aux sondages dans un contexte plus large: « Je pense que la façon dont les journalistes traitent ou couvrent les résultats de sondages reflète la manière dont ils couvrent les événements d’actualité de manière générale. Ils font ce qu’ils peuvent avec les ressources qu’ils ont et le temps qu’ils ont. Oui, la façon de présenter les sondages en souffre, comme sans doute le traitement qu’ils font d’autres sujets un peu complexes en souffre aussi », estime-t-il.

« Sondages contradictoires »

Reste que le concept de marge d’erreur ne semble pas toujours bien assimilé. « J’entends des journalistes dire que les deux sondages de vendredi [NDLR 4 mai] se contredisent alors que ce n’est pas vraiment une contradiction, remarque Claire Durand. Une bonne manière d’expliquer ça, c’est de dire: prenez deux boîtes de Smarties; même si on nous assure qu’il y a 20% de rouges par boîte, ce n’est pas toujours le cas. Il y en a parfois 18%, parfois 22%. »

François Pétry abonde dans le même sens: « Un média nous dit ‘tel parti est avance sur tel autre’ alors que quand on regard la marge d’erreur, on ne peut pas dire que, statistiquement, il y ait une différence. » Un problème lié, selon lui, aux contraintes inhérentes aux médias: « les journalistes doivent vendre un produit attrayant donc si à répétition ils ne peuvent pas déterminer quel parti est devant tel autre, les lecteurs vont être embêté. Il faut fabriquer la nouvelle. Et malheureusement, les sondages sont très utiles pour fabriquer la nouvelle », déplore-t-il.

Quel avenir pour les sondages?

Malgré certaines lacunes, François Pétry estime que les sondages en ligne sont la voie du futur: « Les avantages du sondage Internet sont tels qu’on ne peut pas faire marche arrière et les condamner sous prétexte que les statistiques traditionnelles d’échantillonnage ne s’appliquent pas à 100%. » Si les méthodes peuvent encore être améliorées, il considère que des efforts seront nécessaires pour bien outiller les journalistes face à ces nouvelles données. « Il va falloir se pencher avec les maisons de sondages et les journalistes pour donner à la population des informations fiables », suggère-t-il.

La position de Frédérick Bastien quant à l’avenir des sondages en ligne est moins tranchée: « Je suis perplexe. Les méthodes de sondages connaissent des mutations dont on ne connaît pas encore tous les tenants ou aboutissants. Cette diversité de méthodes de sondages crée un défi additionnel pour ceux dont le métier est de décoder ou de vulgariser les résultats », rappelle-t-il. Comme son collègue de l’Université Laval, il estime qu’un travail d’éducation s’impose.

 « Une bonne erreur des sondages, ça nous ferait du bien !, lance de son côté Claire Durand. Ça permettrait de mettre en évidence les lacunes et ça obligerait les sondeurs à mieux faire leurs devoirs », juge-t-elle.

***************************************************

NDLR: Cet article a été rédigé avant la publication par La Presse, samedi le 19 mai, d’un sondage sur l’appui des Québécois au projet de loi 78, dont la validité a été contesté par plusieurs.