Zum Inhalt springen

Blog

Conseils pour cultiver votre élégance

Wie lässt sich eine Website mithilfe ihrer Sitemap effizient erkunden?

Eine Sitemap listet die URLs einer Website auf, damit sie leichter gefunden werden. Doch nur weil Seiten aufgelistet sind, heißt das nicht, dass sie …

Femme analysant un plan de site web imprimé sous forme d'arborescence hiérarchique sur un bureau en bois dans un bureau à domicile

Eine Sitemap listet die URLs einer Website auf, damit Suchmaschinen sie leichter entdecken können. Doch nur weil Seiten aufgelistet sind, heißt das nicht, dass Google sie alle crawlt oder indexiert. Eine Sitemap einzureichen, ist lediglich ein Hinweis an Suchmaschinen – keine Garantie. Um diese Datei sinnvoll zu nutzen, muss man verstehen, was sie enthält, was sie auslässt und wie sie sich mit anderen Daten abgleichen lässt, um tatsächlich erreichbare Seiten zu erkennen.

XML-Sitemap und HTML-Sitemap: zwei Dateien, zwei Zwecke

Haben Sie schon einmal eine Webseite gesehen, die wie ein riesiges Inhaltsverzeichnis mit Dutzenden nach Kategorien sortierten Links aussieht? Das ist eine HTML-Sitemap. Sie richtet sich an menschliche Besucher und hilft ihnen bei der Navigation, wenn ein Menü nicht ausreicht.

Die XML-Sitemap hingegen ist eine technische Datei. Sie ist nicht dafür gedacht, von Internetnutzern gelesen zu werden, sondern richtet sich direkt an Crawler wie Googlebot. Jede URL wird von Informationen wie dem Datum der letzten Änderung begleitet (dem Feld lastmod).

Ein konkretes Beispiel: Auf einer Reise-Website bündelt die Sitemap von 1001 Découvertes die Seiten in einer strukturierten Datei, die Suchmaschinen crawlen können. Eine solche Datei hilft dem Crawler, aktuelle oder aktualisierte Seiten zu erkennen, ohne die gesamte Website Link für Link durchsuchen zu müssen.

Ein wichtiger technischer Hinweis: Google ignoriert die Felder priority und changefreq in einer XML-Sitemap. Ihre Angabe verändert die Crawl-Frequenz nicht. Nur lastmod kann den Crawler auf eine kürzlich aktualisierte Seite aufmerksam machen – vorausgesetzt, das Feld spiegelt eine tatsächliche Änderung des Inhalts wider.

Mann navigiert auf einem großen Touchscreen in einem modernen Großraumbüro durch eine interaktive Website-Sitemap

Sitemap, interne Links und Indexierungsbericht abgleichen

Die meisten Ratgeber beschränken sich auf die Erstellung der Datei. Die eigentliche Arbeit beginnt danach, wenn drei Datenquellen miteinander abgeglichen werden: die Sitemap, die interne Verlinkung der Website und der von der Google Search Console bereitgestellte Indexierungsbericht.

Warum dieser Abgleich entscheidend ist

Eine URL kann in Ihrer Sitemap stehen, ohne durch einen einzigen internen Link erreichbar zu sein. Google entdeckt sie zwar, stuft sie aber nicht als prioritär ein, weil keine andere Seite auf sie verweist. Das ist eine gemeldete, aber schlecht eingebundene verwaiste Seite.

Umgekehrt kann eine Seite über das Hauptmenü verlinkt, aber in der Sitemap nicht aufgeführt sein. Der Crawler findet sie trotzdem, doch Sie verzichten auf das Aktualitätssignal, das lastmod liefern könnte.

Der Indexierungsbericht der Search Console ergänzt eine dritte Ebene. Er unterscheidet zwischen entdeckten Seiten (Google kennt die URL), gecrawlten Seiten (der Crawler hat den Inhalt gelesen) und indexierten Seiten (sie erscheinen in den Suchergebnissen). Diese drei Status stimmen nicht immer überein.

So erkennen Sie Abweichungen

Mit einem Crawling-Tool wie Screaming Frog lassen sich alle URLs aus der XML-Sitemap extrahieren und mit den URLs vergleichen, die über die interne Navigation tatsächlich erreichbar sind. Dieser Abgleich deckt Folgendes auf:

  • URLs in der Sitemap, die einen 404-Fehler oder eine 301-Weiterleitung zurückgeben: Sie blähen die Datei unnötig auf und verschwenden das Crawl-Budget des Crawlers.
  • Strategisch wichtige Seiten, die in der Sitemap fehlen, obwohl sie Traffic generieren: Wenn Sie sie hinzufügen, verstärken Sie das Signal an Google.
  • URLs in der Sitemap mit einer noindex-Anweisung: ein Widerspruch, der Suchmaschinen eine verwirrende Botschaft sendet.
  • Verwaiste Seiten ohne interne Links, die nur in der Sitemap auftauchen: Sie werden wahrscheinlich nicht dauerhaft indexiert.

Eine zuverlässige Sitemap enthält ausschließlich erreichbare Seiten ohne Fehler und widersprüchliche Anweisungen. Solche Unstimmigkeiten zu bereinigen, hat oft mehr Wirkung, als neue URLs hinzuzufügen.

Technische Grenzen der Sitemap und Organisation großer Websites

Das Sitemap-Protokoll setzt strenge Grenzen. Jede XML-Datei darf höchstens 50.000 URLs oder 50 MB unkomprimiert enthalten. Wird dieser Umfang überschritten, müssen die URLs auf mehrere Dateien verteilt und in einem Sitemap-Index zusammengefasst werden.

Bei einem E-Commerce-Shop mit Tausenden Produktseiten ist diese Organisation kein nebensächliches Detail. Eine einzelne überfüllte Datei verlangsamt die Analyse durch den Crawler. Werden die URLs nach Kategorien aufgeteilt (Produkte, Blogartikel, Markenseiten), lässt sich außerdem leichter feststellen, wenn eine Gruppe von Seiten nicht mehr indexiert wird.

Wann die HTML-Sitemap die XML-Sitemap ergänzt

Bei einer kleineren Website erfüllt eine HTML-Sitemap eine ergänzende Funktion. Sie schafft interne Links zu tiefer liegenden Seiten, die im Hauptmenü nicht hervorgehoben werden. Nutzer, die sich in der Seitenstruktur verirrt haben, können sie als Abkürzung nutzen.

Bei einer größeren Website wird eine HTML-Sitemap schnell unübersichtlich. Sinnvoller ist es, sich auf die XML-Sitemap und eine durchdachte interne Verlinkung zu konzentrieren, mit kontextbezogenen Links in redaktionellen Inhalten.

Junge Frau erkundet in einem urbanen Café auf ihrem Laptop die Navigationsstruktur einer Website

Sitemap prüfen und dauerhaft pflegen

Eine einmal erstellte und nie aktualisierte Sitemap verliert mit der Zeit ihren Wert. Wird eine Seite gelöscht, weitergeleitet oder auf noindex gesetzt, sollte die Datei aktualisiert werden, damit sie den tatsächlichen Zustand der Website widerspiegelt.

CMS wie WordPress erstellen häufig automatisch eine Sitemap. Das ist praktisch, birgt aber eine Falle: Die automatisch generierte Datei enthält manchmal unnötige Seiten (Tag-Archive, paginierte Seiten, versehentlich veröffentlichte Entwürfe). Wer den Inhalt regelmäßig überprüft, vermeidet es, Google mit störenden Signalen zu versorgen.

Nach jeder Aktualisierung der Sitemap können Sie sie über die Google Search Console einreichen, um ein schnelleres Crawling anzustoßen. Der Abdeckungsbericht zeigt anschließend die Anzahl der eingereichten, gecrawlten und indexierten Seiten – drei Kennzahlen, die zeigen, wie die Suchmaschine Ihre Website tatsächlich wahrnimmt.

Die Sitemap bleibt ein Kommunikationsmittel zwischen Ihrer Website und den Crawlern. Ihr Nutzen hängt vollständig davon ab, wie gut sie mit der tatsächlichen Struktur der Website übereinstimmt: interne Links, HTTP-Status der Seiten und Indexierungsanweisungen. Eine saubere, aktuelle und auf die interne Navigation abgestimmte Datei bietet Suchmaschinen die besten Voraussetzungen, Ihre Inhalte zu crawlen und zu indexieren.

Wie lässt sich eine Website mithilfe ihrer Sitemap effizient erkunden?