Suisse · FR
Connexion Demander une première mesure gratuiteDemander une première mesurePremière mesure

Savoir · Méthode

Quelle est la précision des chiffres d’ECHO ?

Chaque chiffre dans ECHO montre de combien la valeur peut varier pour vos questions. Les répétitions du même jour comptent comme une seule mesure, pour qu’aucun chiffre ne paraisse plus sûr qu’il ne l’est. ECHO ne signale un mouvement que s’il dépasse la fluctuation habituelle.

Pascal Arnold
Mise à jour

0 %50 %Exemple2337

Comment lire : le point représente la valeur mesurée, la bande montre la fourchette (intervalle de confiance) à 95 %.

Pourquoi une réponse de l’IA fluctue‑t‑elle ?

Une réponse de l’IA n’est pas un résultat de recherche figé. Si ECHO pose trois fois la même question au même service le même jour, le résultat change dans environ un cas sur dix : la marque est parfois mentionnée, parfois non (notre propre mesure, état au 29.09.2026).

Entre les services, la dispersion est nettement plus grande. Pendant 44 jours de mesure sur 100 avec au moins trois services, au moins un service mentionne la marque et au moins un autre ne la mentionne pas. C’est pourquoi ECHO mesure toujours plusieurs services.

ECHO interroge les services avec un réglage fixe, pour que les réponses restent aussi constantes que possible. Les applications ne publient pas leur réglage et répondent en général de façon plus variée. C’est une raison de plus pour qu’ECHO s’appuie sur de nombreuses réponses et jamais sur une seule.

Qu’est‑ce qui compte comme une mesure ?

Une mesure, c’est une question posée à un service un jour donné. Au rythme hebdomadaire, ECHO pose chaque question trois fois à chaque service. Ces trois réponses ne sont pas des essais indépendants, elles comptent ensemble comme une seule mesure. Sinon, chaque chiffre paraîtrait plus sûr qu’il ne l’est.

Dès Pro, la mesure peut être quotidienne, avec alors une réponse par question et par service. Un jour de mesure suit l’heure universelle : à l’heure suisse, il va de 1 h à 1 h, et en été de 2 h à 2 h.

À quel point un chiffre est‑il sûr ?

À côté de chaque chiffre, vous voyez de combien il varie : la valeur pour vos questions se trouve dans une fourchette (intervalle de confiance) à 95 %. Cette fourchette tient compte du fait que les résultats diffèrent d’une question à l’autre. Si vous mesurez peu de questions, vous voyez une forte variation et la mention « provisoire ». La solution est un jeu de questions plus large, pas un calcul plus serré.

Comment lire : le point est la valeur mesurée, la fourchette montre de combien elle peut varier. Plus les mesures s’accumulent, plus la fourchette se resserre. Pour savoir si quelque chose a bougé entre deux périodes, ECHO fait une comparaison à part.

  • Une semaine avec peu de questions : pas encore de conclusion, la variation est plus grande que le chiffre lui-même
  • Une semaine avec 20 questions sur quatre services : un premier état des lieux
  • Quatre semaines de la même mesure : assez pour une comparaison

Quand ECHO signale‑t‑il un mouvement ?

ECHO compare les quatre dernières semaines avec les quatre précédentes, et en mesure quotidienne les 7 derniers jours avec les 7 précédents. Les mêmes questions sont comparées dans les deux périodes. Un mouvement est dit « solide » s’il dépasse nettement la fluctuation habituelle de votre mesure.

Si ce n’est pas le cas, le bilan du mois et le briefing indiquent « L’évolution n’est pas solide », même si le chiffre semble différent.

Ce que nous avons corrigé en août

Jusqu’au 19 août 2026, trois répétitions de la même question comptaient comme trois mesures indépendantes. C’était un calcul trop généreux, qui faisait paraître les chiffres plus sûrs qu’ils ne l’étaient. Depuis, elles comptent comme une seule.

La variation affichée est devenue plus grande, et le chiffre indiquant combien de fois le site d’une marque sert de source a baissé. Nous l’avons écrit à notre clientèle le jour même. Depuis le 16 octobre 2026, ECHO calcule en outre la variation sur les questions, ce qui la rend en moyenne environ deux fois plus grande.

Ce qu’ECHO ne mesure pas

ECHO interroge les services par leurs API officielles, pas par les applications. Chaque requête se fait ainsi dans les mêmes conditions. Ce que quelqu’un voit dans l’application peut s’en écarter, par exemple parce que l’application connaît des conversations antérieures. Nous n’avons pas encore publié de comparaison mesurée entre application et API.

D’où viennent les chiffres de cette page

Les chiffres portant la mention « notre propre mesure » viennent de notre base de données, portent leur date et ont été recalculés. Les chiffres de cette page datent du 29 septembre 2026. Là où nous n’avons pas de base solide pour un chiffre, il n’y en a pas.

Sources

  1. Revue sur la communication de l’incertitude (Royal Society Open Science, en anglais)

Questions fréquentes

Le glossaire explique les termes.

Pourquoi ECHO indique-t-il pour chaque chiffre à quel point il est sûr ?

Parce qu’un chiffre sans cette indication ne dit pas si quelque chose a bougé ou s’il ne s’agit que d’une fluctuation. Elle figure à côté de la valeur, pas dans une note de bas de page.

Combien de temps faut-il pour qu’un chiffre soit fiable ?

Après la première mesure, votre point de départ est établi. Pour une comparaison, il faut en général quatre semaines de la même mesure. Nous n’interprétons pas une semaine isolée.

Puis-je voir le calcul derrière un chiffre ?

La méthode est décrite ouvertement sur cette page. Les réponses derrière chaque chiffre se trouvent mot pour mot dans le cockpit, pendant 8 semaines avec le tarif Start et sans limite dès Pro.

À quelle fréquence l’IA vous mentionne‑t‑elle ?

La première mesure vous le montre, gratuitement et avec un entretien.

Demander une première mesure gratuite

Vous préférez tester vous‑mêmes ? Lancer l’essai Cinq questions mesurées une fois, sans frais, 30 jours d’accès.

La suite : Demander une première mesure gratuite · Visibilité dans l’IA · Glossaire