/ so ehrlich sind die zahlen

So ehrlich sind die Zahlen

Jede Messung schwankt. Wir schreiben dazu, wie stark.

Warum eine einzelne Woche nichts bedeutet

Fragt man dieselbe KI dreimal am selben Tag dasselbe, kippt das Ergebnis in knapp 9 Prozent der Fälle. Zwischen den vier Diensten ist die Streuung fünfmal grösser: an 43 Prozent unserer 991 Messtage widersprechen sie sich darüber, wer genannt gehört. Wer nur einen Dienst prüft, prüft den falschen.

Darum steht bei uns hinter jeder Zahl eine Spanne. Ist die Spanne fast so gross wie die Zahl selbst, sagt das Cockpit euch das: dann sind es noch zu wenige Messungen für eine Aussage. Eine einzelne Woche deuten wir nicht, wir deuten Trends über Wochen.

Was uns das im August gekostet hat

Bis zum 19. August zählten bei uns drei Wiederholungen derselben Frage wie drei unabhängige Messungen. Das war zu grosszügig gerechnet und machte die Spannen künstlich schmal. Seither zählen sie als eine.

Ergebnis: unsere Spannen sind breiter geworden und unsere Zitier-Rate tiefer. Gleiche Messung, ehrlichere Zahl. Wir haben die eigenen Werte verschlechtert, weil die alte Rechnung nicht stimmte, und es unseren Kunden am selben Tag geschrieben.

Wir streichen auch Empfehlungen

ECHO hat anfangs empfohlen, eine llms.txt-Datei anzulegen. Dann kamen die Belege: Google ignoriert die Datei offiziell, 97 Prozent dieser Dateien werden nie abgerufen, über 300'000 Domains hinweg zeigt sich keine messbare Wirkung.

Wir haben die Empfehlung gestrichen, aus dem Werkzeug und aus der Beratung. Eine Agentur, die aktiv weniger verkauft, wenn die Evidenz fehlt, hat ein Argument, das keine Funktionsliste schlägt.