Wer sich einmal die Zugriffe auf einen kleinen Webserver ansieht, findet dort neben Googlebot und Bingbot inzwischen eine Reihe von Kennungen, die vor drei Jahren noch nicht existierten. Sie holen sich dieselben Seiten wie alle anderen, in unterschiedlichem Tempo und mit unterschiedlichem Zweck.
Praktisch stellt sich damit dieselbe Frage wie damals bei den Suchmaschinen, nur mit anderen Folgen. Wen lässt man auf die eigenen Inhalte, wen nicht, und mit welchem Mittel setzt man diese Entscheidung durch.
Wer da klopft und warum
OpenAI betreibt mehrere Kennungen mit getrennten Aufgaben. Der GPTBot holt Seiten für die allgemeine Verbesserung der Modelle. Daneben gibt es eine Kennung für die Suchfunktion und eine, die nur dann auftaucht, wenn ein Mensch im Chat gerade eine Adresse aufruft. Anthropic nutzt den ClaudeBot, Perplexity den PerplexityBot. Der CCBot gehört zu Common Crawl, einem gemeinnützigen Archiv, dessen Datensätze wiederum von vielen Dritten verwendet werden.
Google fällt aus der Reihe, weil dort kein zusätzlicher Crawler unterwegs ist. Der Googlebot holt die Seite wie immer, und über die Kennung Google-Extended lässt sich in der robots.txt getrennt regeln, ob die Inhalte auch in den KI-Produkten des Hauses verwendet werden dürfen. Eine Sperre dieser Kennung wirkt sich auf die reguläre Suche nicht aus.
Was robots.txt kann und was nicht
Die robots.txt ist eine Bitte, keine Zugangskontrolle. Sie wird von den großen Anbietern befolgt, weil eine Missachtung öffentlich unangenehm wäre, aber sie hält niemanden technisch auf. Seit 2022 ist das Verfahren immerhin als RFC 9309 schriftlich festgehalten, samt der Regeln, wie Einträge auszuwerten sind.
Wer eine harte Sperre braucht, arbeitet auf der Ebene darunter: Regeln im Webserver oder beim vorgelagerten Dienst, die den Zugriff anhand der Kennung ablehnen. Das trifft dann allerdings auch Abrufe, die ein Mensch gerade selbst angestoßen hat, was bei Support-Seiten und Dokumentationen unerwünscht sein dürfte. Vor der Sperre lohnt deshalb ein Blick ins Log: Welche Kennung holt wie viel, und geht davon tatsächlich Last aus.
Die Entscheidung hat zwei Seiten
Das Argument für die Sperre ist naheliegend. Eigene Texte, eigene Serverlast, kein Gegenwert. Für Dokumentationsseiten, Foren und Fachblogs steht dem ein handfester Verlust gegenüber: Was gesperrt ist, kommt in den Antworten dieser Systeme nicht vor, und die Nutzerin bekommt stattdessen die Auskunft eines Wettbewerbers, der offen geblieben ist.
Eine mittlere Linie ist verbreitet und funktioniert gut. Der Bereich mit Dokumentation, Fehlermeldungen und Anleitungen bleibt offen, der Shop-Katalog, das Forenarchiv und alles mit personenbezogenen Beiträgen wird gesperrt. Das lässt sich in der robots.txt pfadweise abbilden.
Was nach dem Abruf mit der Seite passiert
Ist die Seite erst geholt, entscheidet ihre Struktur darüber, was von ihr übrig bleibt. Ein Programm sieht keine Gestaltung, sondern Elemente. Wo Überschriften echte Überschriften sind, Tabellen echte Tabellen und Listen echte Listen, lässt sich der Inhalt ohne Rätselraten in Abschnitte zerlegen. Wo alles aus gleichförmigen Containern besteht, bleibt ein Textklumpen übrig.
Deshalb ist semantisches HTML an dieser Stelle kein Stilthema, sondern die Grundlage der Auswertung. Dazu kommen strukturierte Daten nach schema.org, ausgeliefert als JSON-LD, mit denen sich Angaben eindeutig machen lassen, die im Fließtext mehrdeutig bleiben.
Was sich in einer Stunde einrichten lässt
Zuerst das Log auswerten und eine Liste der Kennungen samt Abrufzahl erstellen. Danach eine robots.txt schreiben, die jede relevante Kennung ausdrücklich anspricht, statt sich auf eine Sammelregel zu verlassen, denn nicht jeder Anbieter wertet Platzhalter gleich aus. Zum Schluss prüfen, ob die Datei tatsächlich ausgeliefert wird und nicht von einer Weiterleitung verschluckt wird.
Wer beim Lesen über die Abkürzungen stolpert, die in diesem Umfeld herumgereicht werden, dem hilft das Nachschlagewerk von Vibe Marketing, in dem die gängigen Begriffe sortiert stehen. Für die Serverarbeit selbst braucht es davon wenig, für das Gespräch mit der Marketingabteilung dagegen einiges.
Häufige Fragen
Schadet es dem Google-Ranking, wenn ich Google-Extended sperre?
Nein. Google-Extended steuert ausschließlich die Verwendung der Inhalte in den KI-Produkten des Anbieters. Das reguläre Crawling durch den Googlebot und die Aufnahme in den Suchindex bleiben davon unberührt.
Halten sich alle KI-Crawler an die robots.txt?
Die bekannten Anbieter geben das an und veröffentlichen ihre Kennungen. Verlassen kann man sich technisch nicht darauf, denn die Datei ist eine Absichtserklärung ohne Durchsetzung. Wer eine verbindliche Sperre braucht, muss sie im Webserver oder im vorgelagerten Dienst umsetzen.
Woran erkenne ich, ob ein Zugriff wirklich vom angegebenen Anbieter kommt?
Die Kennung im User-Agent lässt sich frei setzen. Die Anbieter veröffentlichen deshalb die IP-Bereiche ihrer Crawler, gegen die sich ein Zugriff prüfen lässt. Bei auffälliger Last lohnt dieser Abgleich, bevor eine Sperre eingerichtet wird.
Hinterlasse jetzt einen Kommentar