News: 2024-03_pexels-lukas-590022-255x170

  ARM Give a man a fire and he's warm for a day, but set fire to him and he's warm for the rest of his life (Terry Pratchett, Jingo)

Marges d’erreur, échantillons non représentatifs : que valent réellement les sondages ?

([Politique] 2024-03-01 (De Morgen))


Le Vlaams Belang sort gagnant du scrutin et la N-VA flirte avec la barre des 20 %, tandis que Groen et l’Open Vld prennent une déculottée. À en croire les sondages, les élections seraient déjà jouées. Mais peut-on croire les enquêtes d’opinion ?

Pourquoi sont-elles au centre de toutes les attentions ?



« Les sondages présentent d’importantes lacunes », explique Geert Loosveldt, professeur émérite rattaché au Centre de recherche en sociologie de la KU Leuven. « On est toujours surpris, après les élections, qu’ils se soient trompés — alors qu’il faudrait plutôt s’étonner lorsqu’ils visent juste. » « Ils peuvent taper dans le mille tout comme être complètement à côté de la plaque. Personne n’en sait rien, c’est un peu comme madame Soleil avec sa boule de cristal », résume pour sa part John Lievens, statisticien à l’Université de Gand.

[1]Les médias doivent-ils cesser d’organiser des sondages ?

Les sondages pèchent avant tout par la base, c’est-à-dire l’échantillon : la manière de sélectionner les personnes qui sont interrogées sur leurs intentions de vote. Pour réaliser une enquête digne de ce nom, il faudrait les choisir de manière aléatoire en se fondant sur l’ensemble de la population. « C’est la seule façon de pouvoir se prononcer », explique le statisticien. Or, on ne procède jamais ainsi pour les sondages politiques : une sélection aléatoire prend du temps et, surtout, coûte cher. « Les instituts font appel à des panels composés de personnes qui ont manifesté leur souhait d’y participer », poursuit le professeur Loosveldt. Un procédé qui n’est pas sans risques : un parti peut encourager ses membres gesà s’inscrire à des panels, ou certaines catégories de la population — les femmes ou les personnes issues de l’immigration — y être sous-représentées.

« L’absence d’échantillon représentatif est en effet le talon d’Achille des sondages », abonde Stefaan Walgrave, professeur à l’Université d’Anvers, qui réalise les enquêtes de [2]« De Stemming » , le sondage de la VRT et du Standaard. Cette enquête contourne la difficulté en procédant à une nouvelle pondération du comportement de vote, en prenant celui de 2019 comme référence. « Imaginons que le panel comporte 10 % de personnes qui déclarent avoir voté pour la N-VA en 2019. Les résultats de ce scrutin nous apprennent toutefois que ce chiffre doit être de 20 %. Dorénavant, ces 10 % sont donc comptabilisés deux fois. C’est une façon de résoudre le problème, mais cela reste risqué : on accorde un poids important à des électeurs du panel relativement peu nombreux. »

D’un point de vue scientifique, cette méthode est discutable, estime Geert Loosveldt. « Les publications scientifiques nous enseignent que l’application de procédures de pondération ne résout pas toujours ce manque de représentativité — loin de là : parfois, elle ne fait qu’amplifier le problème. »

Des problèmes, justement, il en existe d’autres. Les médias évoquent surtout la marge d’erreur : il peut y avoir un écart de quelques points, à la hausse ou à la baisse, entre le résultat du sondage et la réalité. « C’est une façon de chercher à se donner un semblant de fiabilité », selon John Lievens. « Les marges d’erreur ne peuvent être appliquées que lorsque l’échantillon est constitué de manière purement aléatoire. »

À cela s’ajoutent les non-réponses, c’est-à-dire le nombre de personnes qui ne souhaitent pas répondre ou qui n’ont pas encore arrêté leur choix. « Le plus souvent, ces répondants sont tout simplement ignorés », ajoute le statisticien. « On part du principe que la répartition de leurs intentions de vote se calque sur celle des personnes ayant répondu — une hypothèse pour le moins irréaliste. »

[3]Dave Sinardet, professeur de science politique à la VUB et à l’UCL, pointe les mêmes problèmes d’ordre méthodologique. « J’ai coutume de dire que les sondages créent davantage de réalités qu’ils n’en reflètent. » Il est donc presque impossible — ou hors de prix — d’obtenir le sondage parfait, mais on peut tout de même réaliser des enquêtes de bonne qualité, estime Stefaan Walgrave. « D’où l’extrême transparence dont nous faisons preuve : toutes les informations sur nos enquêtes sont accessibles — de même que toutes les données, pour les personnes intéressées. Tous les sondeurs ne le font pas, loin de là. Ce sont les sondages mal faits qui déteignent sur le reste. »

Pourquoi les médias en sont-ils si friands ?



« Au début d’une année électorale, les médias veulent pouvoir dresser un tableau de la situation et dégager les tendances qui sont à l’œuvre », explique Jan De Meulemeester, corédacteur en chef de Trends et de Kanaal Z. De concert avec Knack et De Zondag, qui appartiennent aussi au groupe Roularta, ces titres ont organisé un sondage en février. « C’est une façon pour les médias d’alimenter le débat. C’est pourquoi nous y avons associé un débat entre les présidents de parti. » « Les sondages sont un instrument qui permet de prendre le pouls de l’opinion publique à un moment donné », considère pour sa part Ivan De Vadder, journaliste à la VRT. « C’est un instantané qui donne une indication intéressante de l’état d’esprit de la société — rétrospectivement, c’est vrai, puisqu’il porte sur le moment où il a été réalisé. »

[4]Ivan De Vadder : « Voter pour un parti extrême est dangereux, mais ne pas aller voter est encore pire »

Fut un temps où le quotidien De Morgen disposait aussi de son propre sondage, avec la chaîne VTM, notamment, mais il y a mis fin en 2014. « Les tendances qu’il dessinait étaient trop éloignées des résultats des urnes », explique le directeur éditorial, Bart Eeckhout. « Il n’a pas permis de voir venir la montée en puissance de la N-VA, par exemple. Pour cette raison, et parce qu’un tel sondage coût cher, nous avons arrêté à ce moment-là. »

Les sondages sont certes un baromètre de l’époque, mais il ne faut pas perdre de vue leur importance sur le plan marketing. Intégration dans les émissions d’actualité et d’analyse, rabâchage dans les articles web et papier : les médias qui font leur propre sondage aiment le montrer à l’envi. Les organes concurrents en parlent eux aussi, avec les retombées que cela suppose sur le plan de la publicité. « Quand on investit autant dans le contenu, il est tout à fait normal de l’exploiter », fait valoir Jan De Meulemeester.

« Il s’agit de divertissement politique », estime pour sa part Bart Eeckhout. « Je les consulte, oui, et j’utilise les tendances pour nourrir mes analyses, même si je suis conscient qu’il faut prendre tout ça avec des pincettes. Il serait insensé de ne pas en parler : ce serait se placer totalement en dehors du débat politique. »

Que pensent les partis de tous ces sondages ?



Interrogés sur cette profusion de sondages, les responsables des partis politiques font invariablement la moue. « Les sondages intéressent principalement les journalistes et les analystes politiques », résume ainsi Hanne Vandenbussche, porte-parole de Vooruit. « Nous n’en tenons pas vraiment compte dans notre action politique, nous cherchons plutôt à nous concentrer sur le fond. » « On prête trop d’attention aux sondages individuels en Belgique, alors que, par rapport à d’autres pays, ils sont peu nombreux », tance Philippe Kerckaert, porte-parole de la N-VA.

Les responsables politiques s’agacent non seulement du niveau d’attention accordée aux sondages, mais aussi du discours dont ils font l’objet. « C’est un outil intéressant pour savoir comment les choses évoluent, mais il ne permet pas de prédire l’avenir », observe pour sa part Marthe Mennes de Groen. « On constate qu’ils sont de plus en plus considérés ainsi. »

À en croire le discours officiel, les sondages ne seraient donc que des sondages. Mais en réalité, les partis sondent eux aussi les intentions de vote. Souvent, les formations s’enquièrent ainsi, auprès des journalistes politiques, de la fenêtre durant laquelle sera réalisée une enquête. Pour prendre les devants en lançant des ballons d’essai pile à ce moment-là ? « C’est ce que me disent les partis en privé », explique Dave Sinardet. « Ils cherchent ainsi à peser sur les sondages, car ils savent que ces enquêtes influencent elles-mêmes la réalité. » Le politologue cite l’exemple de Bart De Wever, qui a déclaré, début décembre, que la N-VA envisageait de présenter des listes en Wallonie. « Les responsables de haut rang tels que Bart De Wever choisissent eux-mêmes le moment où ils interviennent dans les médias. Le samedi, il accorde un grand entretien à Het Laatste Nieuws ; le dimanche, il participe à l’émission De zevende dag… au moment même où VTM et Het Laatste Nieuws organisent un sondage. »

Selon Philippe Kerckaert (N-VA), il n’en est rien. « Il est illusoire de penser qu’une interview peut influer sur un sondage. » « Je peux comprendre que les partis n’adaptent pas leur communication en fonction des sondages », analyse Ivan De Vadder, journaliste à la VRT. Mais selon lui, il est faux de dire qu’ils ne s’y intéressent pas. « Ils cherchent toujours avidement à avoir la primeur des résultats. Pour pouvoir anticiper la manière dont ils seront relayés et la meilleure façon d’y réagir. Les partis savent que les sondages créent des perceptions politiques et ils y sont très sensibles. »

Quels sont les effets de tous ces sondages ?



Joachim Coens sait mieux que quiconque que les sondages peuvent avoir de sérieuses répercussions : il y a deux ans, une enquête très défavorable l’a conduit à abandonner la présidence du CD&V. « Il était déjà contesté, certes, mais ses adversaires ont allègrement profité de ce sondage », rappelle Dave Sinardet. « Alors même qu’un peu plus tôt, une enquête plus avantageuse avait été publiée, qu’il a d’ailleurs citée pour prouver que son bilan était bon. Cependant, compte tenu des marges d’erreur, les deux sondages donnaient, d’un point de vue statistique, le même résultat. Sans compter que, par la suite, il s’est avéré qu’elles avaient été réalisées durant la même période. »

Cette démission est un exemple extrême, mais il est indéniable que les sondages ne cessent de gagner en importance. On les consulte de plus en plus et ils déterminent l’ambiance qui règne dans les partis. Toutefois, l’exemple de la N-VA montre qu’ils sont souvent bâtis sur des sables mouvants. En février, Knack publie un sondage créditant le parti de 21 % d’intentions de vote. Quelques semaines plus tard, De Stemming fait retomber la N-VA sous le seuil psychologique des 20 % : 18,9 %. Soudain, un léger parfum de crise plane sur la N-VA. Petit détail qui a toute son importance : ce dernier sondage avait été réalisé avant celui de Knack. Heureusement pour la N-VA, la mutualité VNZ publie ensuite une enquête dans laquelle le parti atteint les 22,7 %. Un sondage qui, selon la Gazet van Antwerpen, « ne manque pas de susciter une vague de soulagement dans l’état-major de la N-VA ».

La conclusion à tirer de ces multiples enquêtes est simple : elles peuvent souffler le chaud et le froid sur la N-VA. Et pourtant, elles continuent à servir de fondement à de longues analyses, relève Dave Sinardet. « Généralement, les différences restent en deçà des marges d’erreur. Les médias devraient donc titrer : “Nouveau sondage : rien de nouveau”. Mais c’est évidemment inenvisageable : comme ils les ont financés, ils doivent les analyser à longueur de pages et les utiliser dans leurs émissions. Les sondages sont avant tout un outil marketing permettant de générer du clic. »

Dave Sinardet cite un autre exemple de la façon dont les médias interprètent les sondages pour colorer la réalité : l’enquête réalisée par Roularta. L’hebdomadaire De Zondag, qui appartient à ce groupe, fait son titre sur l’aspiration des Flamands à voir Bart De Wever devenir premier ministre. « Or, si on se penche sur les chiffres, on constate que cette affirmation est partagée par 20 % des personnes interrogées. Soit exactement la même proportion de répondants qui votent pour la N-VA. Pour être plus en phase avec la réalité, le titre aurait donc dû évoquer le désir non pas des Flamands, mais des électeurs de la N-VA. Sans compter que le même sondage indique que 15 % des personnes interrogées ne veulent pas de Bart De Wever comme premier ministre. “Les Flamands ne veulent pas de Bart De Wever comme premier ministre” aurait donc été un titre à peine plus inexact. »

[5]Les électeurs flamands sont-ils de droite? Politiciens et médias forcent le trait

Les effets des sondages sur les électeurs sont moins évidents. « On peut imaginer, par exemple, que quelqu’un vote pour un parti en difficulté par sympathie », analyse Dave Sinardet. « Mais il se peut tout aussi bien qu’il vote pour le candidat en tête des enquêtes. » Les éléments à notre disposition sont un peu plus probants en ce qui concerne ce dernier phénomène, l’effet de mode, affirme Stefaan Walgrave. « Cela étant, le fait que les gens votent différemment en raison des sondages n’est peut-être pas une mauvaise chose en soi. Le vote devient plus stratégique : on choisit un parti en s’assurant qu’il pourra peser par la suite. »

Vaudrait-il mieux abandonner les sondages ?



Par rapport à d’autres pays, la situation de la Belgique reste acceptable. Aux Pays-Bas, au Royaume-Uni et aux États-Unis, par exemple, les sondages politiques sont beaucoup plus répandus. Par ailleurs, ils ne sont pas totalement inutiles : si toutes les enquêtes indiquent que le Vlaams Belang et le PTB ont le vent en poupe, il se pourrait bien que ce soit réellement le cas. « À long terme, l’analyse de nombreux sondages consécutifs permet de révéler les principales tendances qui se dégagent entre deux élections. C’est dans cette optique que nous les surveillons », avance Philippe Kerckaert (N-VA).

[6]On ne parle pas du VB, le PTB entre dans la danse… ce qu’il faut retenir des réceptions politiques du Nouvel An

D’où l’importance de la continuité, souligne Stefaan Walgrave. « Nous réalisons des enquêtes depuis cinq ans, ce qui permet de dessiner des tendances. À condition, bien sûr, de ne pas changer de méthode au fil du temps. Sinon, on a une césure et les comparaisons ne valent plus rien. » Geert Loosveldt fait toutefois remarquer que « la tendance peut également être influencée par des erreurs systématiques. La tendance constatée peut donc différer de manière significative de la situation réelle. » Dave Sinardet ajoute, pour sa part, que les sondages permettant parfois d’obtenir d’autres informations utiles. « De Stemming, en soi, est une enquête intéressante.

Malheureusement, c’est à l’élément le moins intéressant — les intentions de vote — que l’on accorde, et de loin, le plus d’attention. L’hebdomadaire Knack propose aussi des affirmations intéressantes : 60 % des personnes interrogées se déclarent ainsi favorables à la refédéralisation des compétences. Contrairement aux intentions de vote, une erreur de quelques points n’est, en ce qui concerne ce chiffre, pas très grave : il reste pertinent — et surprenant. Mais à nouveau, le journal n’approfondit

pas le sujet. »

Ce qui doit surtout changer, c’est cette tendance à présenter les sondages comme si le vote avait déjà eu lieu. Il ne sert à rien de s’attarder sur les différences souvent minimes entre les partis, puisque, de toute façon, elles ne sont pas fiables. Et pour ce qui est de comparer les sondages entre eux, voire d’en déduire la répartition des sièges, c’est carrément dangereux. « Il ne faut jamais utiliser les termes “sondage” et “prévision” dans la même phrase », reconnaît Ivan De Vadder. « Les sondages ne sont pas des prévisions et il faut continuer à le répéter. »

Mais voilà : on ne le fait pas assez, estime Geert Loosveldt. « Les médias doivent s’interroger sur la manière dont ils traitent les sondages. Ils sont présentés comme des faits alors que, pour le dire de manière emphatique, ce sont, en réalité, des fake news. Les médias aiment se montrer très critiques, mais on observe tout de même qu’ils le sont moins à l’égard de ce type d’informations. » John Lievens, pour sa part, reste favorable aux sondages, ne serait-ce que parce qu’ils offrent un sujet d’étude fécond. « Je vois chaque sondage publié dans les médias comme un cadeau pour les cours de statistiques que je dispense à mes étudiants de premier cycle : l’illustration d’une enquête mal ficelée, menée de façon irresponsable, et du traitement qui en est fait dans les médias et la sphère politique. »



[1] https://daardaar.be/rubriques/politique/les-medias-doivent-ils-cesser-dorganiser-des-sondages/

[2] https://daardaar.be/rubriques/societe/enquete-de-stemming-les-flamands-sont-ils-devenus-moins-belges-quavant/

[3] https://daardaar.be/rubriques/dave-sinardet-ny-a-dopinion-flamande-unique/

[4] https://daardaar.be/rubriques/politique/ivan-de-vadder-voter-pour-un-parti-extreme-est-dangereux-mais-ne-pas-aller-voter-est-encore-pire/

[5] https://daardaar.be/rubriques/politique/les-electeurs-flamands-sont-ils-de-droite-politiciens-et-medias-forcent-le-trait/

[6] https://daardaar.be/rubriques/politique/on-ne-parle-pas-du-vb-le-ptb-entre-dans-la-danse-ce-quil-faut-retenir-des-receptions-politiques-du-nouvel-an/



Parsley
is gharsley.
-- Ogden Nash