/ l’honnêteté des chiffres

L’honnêteté des chiffres

Chaque mesure fluctue. Nous écrivons de combien.

Pourquoi une semaine isolée ne signifie rien

Si l’on pose trois fois la même question à la même IA le même jour, le résultat bascule dans près de 9 pour cent des cas. Entre les quatre services, la dispersion est cinq fois plus grande : sur 43 pour cent de nos 991 jours de mesure, ils ne sont pas d’accord sur qui mérite une mention. Qui ne vérifie qu’un seul service vérifie le mauvais.

C’est pourquoi chaque chiffre est accompagné chez nous d’une plage. Si la plage est presque aussi large que le chiffre lui-même, le cockpit vous le dit : cela signifie qu’il y a encore trop peu de mesures pour affirmer quoi que ce soit. Nous n’interprétons pas une semaine isolée, nous interprétons des tendances sur plusieurs semaines.

Ce que cela nous a coûté en août

Jusqu’au 19 août, trois répétitions de la même question comptaient chez nous comme trois mesures indépendantes. Le calcul était trop généreux et rendait les plages artificiellement étroites. Depuis, elles comptent pour une.

Résultat : nos plages se sont élargies et notre taux de citation a baissé. Même mesure, chiffre plus honnête. Nous avons dégradé nos propres valeurs parce que l’ancien calcul était faux, et nous l’avons écrit à nos clients le jour même.

Nous retirons aussi des recommandations

ECHO recommandait au début de créer un fichier llms.txt. Puis les preuves sont arrivées : Google ignore officiellement ce fichier, 97 pour cent de ces fichiers ne sont jamais appelés, et sur plus de 300'000 domaines aucun effet mesurable n’apparaît.

Nous avons retiré la recommandation, de l’outil et du conseil. Une agence qui vend activement moins quand les preuves manquent dispose d’un argument qu’aucune liste de fonctions ne bat.