Zwei Dateien,
die niemand sieht.

Die Sitemap

Eine Sitemap ist eine Liste aller Adressen, die in den Index sollen — als XML-Datei, üblicherweise unter /sitemap.xml. Sie ersetzt keine gute Verlinkung, aber sie hilft Suchmaschinen, nichts zu übersehen, und zeigt in der Search Console, welche Seiten bekannt sind.

• Nur Adressen, die indexiert werden sollen. Keine Weiterleitungen, keine Seiten mit „noindex", keine Fehlerseiten. Widersprüche verwirren.
• Nur die kanonische Fassung jeder Adresse — nicht einmal mit und einmal ohne „www".
• Änderungsdatum nur, wenn es stimmt. Ein Datum, das bei jedem Aufruf auf heute springt, wird ignoriert.
• Höchstens 50.000 Adressen je Datei. Für einen Betrieb nie ein Thema.
• In der robots.txt eintragen und in der Search Console einreichen.

Die robots.txt

Die Datei liegt unter /robots.txt und sagt Abrufprogrammen, welche Bereiche sie nicht abrufen sollen. Sie ist eine Bitte, keine Sperre — wer sich nicht daran hält, wird nicht aufgehalten.

1. Sie verhindert das Abrufen, nicht das Indexieren. Eine per robots.txt gesperrte Seite kann trotzdem in den Ergebnissen auftauchen, wenn andere darauf verlinken — dann ohne Beschreibung. Wer eine Seite wirklich draußen halten will, nutzt „noindex" und lässt das Abrufen zu.
2. Niemals CSS und JavaScript sperren. Google rendert Seiten; wer die Gestaltung sperrt, lässt Google eine kaputte Seite sehen.
3. Die Sitemap eintragen, mit vollständiger Adresse.
4. Nach jeder Änderung prüfen. Ein falsch gesetztes Disallow: / nimmt die gesamte Website aus der Suche — und es fällt oft erst Wochen später auf.

KI-Abrufprogramme

Neben den Suchmaschinen fragen inzwischen auch die Abrufprogramme der Assistenten die robots.txt ab. Wer sie aussperrt, kann in deren Antworten nicht zitiert werden.

Das ist eine Abwägung, keine technische Frage: Kontrolle über den eigenen Text gegen Sichtbarkeit in einem wachsenden Kanal. Für einen Betrieb, der gefunden werden will, spricht mehr dafür, sie zuzulassen — und das ausdrücklich zu tun, statt es dem Zufall zu überlassen.

Manche Anbieter setzen die Sperre voreingestellt. Es lohnt sich, einmal nachzusehen, was in der eigenen Datei tatsächlich steht.

Prüfen

1. Beide Dateien im Browser aufrufen: deinedomain.de/robots.txt und /sitemap.xml. Was dort steht, sieht auch Google.
2. In der Search Console die Sitemap einreichen und nach ein paar Tagen sehen, wie viele Adressen erkannt wurden.
3. Die Zahl mit der Zahl Deiner Seiten vergleichen. Große Abweichungen haben einen Grund.
4. Nach jedem Relaunch beides erneut prüfen — Wartungsmodus und Testumgebungen hinterlassen gern ein Disallow: /.