Crawl-Tiefe für große Websites: Fortgeschrittene Strategien

Warum tiefe Architekturen bei großen Sites zum echten Crawl-Problem werden

Bei kleinen Websites ist die Crawl-Tiefe selten kritisch, weil fast jede Seite ohnehin in zwei oder drei Klicks erreichbar ist. Sobald ein Shop oder Portal aber 50.000, 500.000 oder mehrere Millionen URLs umfasst, wird die Tiefe zum entscheidenden Hebel für Indexierung und Ranking. Googlebot priorisiert Seiten, die nah an der Startseite liegen und viele interne Links erhalten. Liegt eine Produktseite auf Klicktiefe 8, wird sie seltener gecrawlt, langsamer indexiert und bekommt weniger internen PageRank ab als eine Seite auf Tiefe 3.

Das Problem entsteht meist nicht durch böse Absicht, sondern durch organisches Wachstum. Eine Kategorie bekommt Unterkategorien, diese bekommen Filter, die Filter erzeugen Pagination, und am Ende landet ein Long-Tail-Produkt sechs oder sieben Ebenen unter der Startseite. In einem typischen Mode-Shop mit 200.000 Produkten haben wir gemessen, dass rund 40 Prozent der Produktseiten erst ab Klicktiefe 6 erreichbar waren. Genau diese Seiten machen in den Logfiles den geringsten Anteil an Googlebot-Besuchen aus.

Die Folge ist ein klassisches Missverhältnis: Die wirtschaftlich wichtigen Long-Tail-Seiten, die in Summe einen großen Teil des organischen Umsatzes tragen, sind technisch am schwersten erreichbar. Wer hier nicht aktiv gegensteuert, verschenkt Indexierungsbudget und Sichtbarkeit. Die gute Nachricht: Tiefe ist fast immer ein strukturelles Problem, das sich mit gezielter interner Verlinkung beheben lässt, ohne die URL-Struktur komplett umbauen zu müssen.

Ein praktischer Startpunkt ist immer die Messung. Mit einem Tool wie LinkJuice lässt sich auf Basis eines Screaming-Frog-Crawls direkt im Browser berechnen, auf welcher Klicktiefe jede einzelne URL liegt und wie sich der interne PageRank verteilt. Erst wenn man die tatsächliche Tiefenverteilung kennt, kann man entscheiden, wo Maßnahmen den größten Hebel haben.

Hub-Seiten gezielt einsetzen, um Tiefe abzukürzen

Die wirksamste Einzelmaßnahme, um die Klicktiefe zu reduzieren, sind sorgfältig konstruierte Hub-Seiten. Ein Hub ist eine thematische Verteilerseite, die viele tieferliegende Detailseiten direkt verlinkt und sie damit eine oder mehrere Ebenen näher an die Startseite zieht. Statt dass eine Produktseite nur über die Kette Startseite, Kategorie, Unterkategorie, Filter, Pagination erreichbar ist, verlinkt ein Hub sie direkt und senkt ihre Tiefe schlagartig von 6 auf 3.

Entscheidend ist, dass Hubs nicht willkürlich, sondern datengetrieben gebaut werden. In einem Reiseportal mit 80.000 Zielseiten haben wir Hubs nach Suchnachfrage geclustert: ein Hub für „Strandhotels Andalusien“, einer für „Familienhotels Gardasee“ und so weiter. Jeder Hub verlinkte 40 bis 60 thematisch passende Detailseiten. Nach dem Rollout sank die durchschnittliche Tiefe der verlinkten Seiten von 5,8 auf 3,2, und die Anzahl der von Googlebot pro Woche besuchten URLs stieg in den Logfiles um etwa 28 Prozent.

Ein häufiger Fehler ist, Hubs als isolierte Inseln zu bauen, die selbst tief vergraben sind. Ein Hub auf Klicktiefe 5 hilft niemandem, weil seine Linkkraft nie ankommt. Hubs müssen ihrerseits prominent aus der Hauptnavigation, aus Kategorieseiten oder aus einem Mega-Menü erreichbar sein, idealerweise auf Tiefe 1 oder 2. Erst dann fließt genug interner PageRank durch sie hindurch, um die verlinkten Detailseiten messbar zu stärken.

Wichtig ist außerdem die Qualität der Ankertexte. Ein Hub, der 50 Produkte mit dem immer gleichen Anchor „hier klicken“ verlinkt, verschenkt das semantische Signal. Sinnvoller sind beschreibende, keyword-relevante Ankertexte, die Google das Thema der Zielseite klar kommunizieren. Eine Anchor-Text-Analyse, wie sie LinkJuice aus dem Crawl ableitet, deckt schnell auf, wo generische oder doppelte Anker die Wirkung der Hubs verwässern.

Pagination so gestalten, dass sie keine Linkkraft verschluckt

Pagination ist einer der größten verdeckten Tiefen-Treiber auf großen Sites. Eine Kategorie mit 2.000 Produkten und 50 Produkten pro Seite erzeugt 40 Paginierungsseiten. Wird klassisch nur „weiter“ verlinkt, liegt Seite 40 auf Klicktiefe Kategorie plus 39, und die Produkte darauf sind faktisch unerreichbar für effizientes Crawling. Genau hier entstehen die meisten verwaisten oder kaum besuchten Detailseiten.

Die robusteste Lösung ist, Pagination gar nicht erst zum primären Erschließungspfad werden zu lassen. Statt sich auf endlose Seitenketten zu verlassen, sollten die wichtigen Produkte über thematische Hubs, Best-of-Listen oder Unterkategorien direkt verlinkt werden. Die Pagination selbst bleibt für Nutzer bestehen, ist aber nicht der einzige Weg zur Detailseite. In einem Elektronik-Shop hat allein die Einführung kuratierter Unterkategorien die Anzahl der nur über tiefe Pagination erreichbaren Produkte von 12.000 auf unter 1.500 gedrückt.

Wer Pagination behält, sollte sie crawl-freundlich gestalten. Statt nur „vorherige“ und „nächste“ anzuzeigen, ist eine numerische Pagination mit Sprüngen sinnvoll, etwa 1, 2, 3, bis 10, 20, 40. So ist Seite 40 nicht auf Tiefe 39, sondern in zwei oder drei Klicks erreichbar. Das reduziert die maximale Crawl-Tiefe der gesamten Liste drastisch und verteilt internen PageRank gleichmäßiger über alle Paginierungsseiten.

Vorsicht ist bei rel-Attributen und Canonicals geboten. Google behandelt rel=prev und rel=next seit Jahren nicht mehr als Indexierungssignal, also darf man sich nicht darauf verlassen. Wichtiger ist, dass Paginierungsseiten indexierbar bleiben, sich nicht fälschlich per Canonical auf Seite 1 zurückzeigen und keine endlosen Parameter-Varianten erzeugen. Jede überflüssige Paginierungs-URL kostet Crawl-Budget, das den eigentlichen Detailseiten fehlt.

Faceted Navigation entschärfen, ohne Sortiment zu verstecken

Faceted Navigation, also Filter nach Größe, Farbe, Preis und Marke, ist auf großen Shops der Hauptgrund für explodierende URL-Mengen und damit für unkontrollierte Tiefe. Jede Kombination aus mehreren Filtern erzeugt eine neue URL. Bei nur fünf Filtern mit je vier Ausprägungen entstehen schnell Tausende Kombinationen pro Kategorie, von denen die allermeisten dünn, doppelt oder wirtschaftlich irrelevant sind. Googlebot verliert sich in diesen Kombinationen, und die Tiefe wertvoller Seiten leidet.

Die Lösung beginnt mit einer klaren Trennung zwischen indexierbaren und nicht-indexierbaren Facetten. Wenige Filterkombinationen mit echter Suchnachfrage, etwa „rote Sneaker Größe 42“, verdienen eine saubere, indexierbare, statisch verlinkte Landingpage. Alle übrigen Kombinationen sollten per noindex, per robots-Disallow auf Parametern oder über nicht-crawlbare Filter-Mechaniken vom Crawling ausgeschlossen werden. So bleibt das Sortiment für Nutzer voll filterbar, ohne dass Millionen Müll-URLs die Architektur aufblähen.

In der Praxis hat sich ein hybrides Modell bewährt. In einem Möbel-Shop haben wir die 300 nachfragestärksten Filterkombinationen als echte Kategorie-Landingpages aufgesetzt und prominent intern verlinkt, während alle anderen Filter über POST-Requests oder per robots.txt vom Crawling ausgenommen wurden. Das Ergebnis: Die crawlbare URL-Menge sank von 1,4 Millionen auf rund 90.000, und das Crawl-Budget konzentrierte sich auf die Seiten, die tatsächlich ranken sollen. Die durchschnittliche Tiefe der Kernseiten fiel um zwei Ebenen.

Ein blinder Fleck bleibt oft die interne Verlinkung der erlaubten Facetten untereinander. Wenn die indexierbaren Filter-Landingpages nur aus tiefen Listenansichten erreichbar sind, hilft die Indexierungsfreigabe wenig. Sie müssen aus Hubs, Kategorietexten oder einem Filter-Verzeichnis heraus direkt verlinkt werden. Eine Crawl-basierte Analyse der internen Linkpfade zeigt schnell, welche erlaubten Facetten trotz Freigabe faktisch auf zu hoher Klicktiefe hängen.

Interne Verlinkung als Tiefen-Hebel messbar steuern

Tiefe ist letztlich nichts anderes als das Ergebnis der internen Verlinkung. Wer die Klicktiefe reduzieren will, muss interne Links nicht nach Bauchgefühl, sondern nach Daten setzen. Der erste Schritt ist immer ein vollständiger Crawl, idealerweise mit Screaming Frog, gefolgt von einer Berechnung der Tiefenverteilung und des internen PageRanks. Erst diese Zahlen zeigen, welche Seiten unterversorgt sind und wo zusätzliche Links den größten Effekt hätten.

Ein bewährtes Vorgehen ist, Seiten mit hohem wirtschaftlichem Wert, aber niedrigem internen PageRank zu identifizieren. Das sind die Kandidaten, die durch zusätzliche interne Links am stärksten profitieren. In einem B2B-Portal haben wir auf diese Weise 1.200 umsatzrelevante Seiten gefunden, die auf Tiefe 6 oder tiefer lagen und kaum interne Links erhielten. Durch gezielte Verlinkung aus thematisch passenden Ratgeber-Artikeln und Hubs stieg ihr interner PageRank, und die organischen Klicks auf diese Seiten legten innerhalb von drei Monaten um knapp 35 Prozent zu.

Genauso wichtig ist die Erkennung von verwaisten Seiten, also Seiten, die in der Sitemap stehen, aber überhaupt keine internen Links erhalten. Diese Seiten haben technisch eine unendliche Tiefe, weil kein Klickpfad zu ihnen führt. Sie tauchen in keiner normalen Crawl-Statistik auf, sondern nur im Abgleich zwischen Sitemap und tatsächlich verlinkten URLs. Werden sie identifiziert und in die Hub-Struktur eingebunden, holt man oft schlagartig hunderte Seiten aus dem toten Winkel des Crawlers.

Diese gesamte Diagnose lässt sich heute lokal und datenschutzfreundlich durchführen. LinkJuice berechnet internen PageRank, Klicktiefe, Redirect-Ketten und Anchor-Text-Verteilung vollständig im Browser aus einem Screaming-Frog-Export, ohne dass Daten hochgeladen werden müssen. Gerade bei großen Sites mit sensiblen URL-Strukturen ist das ein praktischer Vorteil, weil man die komplette interne Linkstruktur analysieren kann, ohne sie an einen externen Dienst zu übergeben.

Großprojekte: Roll-out, Priorisierung und Erfolgskontrolle

Bei Millionen von URLs lässt sich Tiefe nicht in einem einzigen Schritt korrigieren. Erfolgreiche Projekte arbeiten iterativ und priorisieren nach Wirkung. Sinnvoll ist, zunächst die Cluster mit dem größten Verhältnis aus wirtschaftlichem Wert und aktueller Tiefe anzugehen. Eine Produktgruppe, die viel Umsatz trägt, aber im Schnitt auf Tiefe 6 liegt, hat eine höhere Priorität als eine Nische, die ohnehin kaum nachgefragt wird. So zeigt die erste Optimierungswelle früh messbare Ergebnisse und sichert Budget für die Folgewellen.

Für den Roll-out hat sich eine klare Reihenfolge bewährt, die sich gut in einer kompakten Liste zusammenfassen lässt:

• Messen: Vollständiger Crawl, Tiefenverteilung und interner PageRank pro URL-Cluster ermitteln, verwaiste Seiten identifizieren, danach Hubs bauen, Pagination und Facetten entschärfen und abschließend per Logfile-Analyse und Indexierungsstatus die Wirkung kontrollieren.

Die Erfolgskontrolle darf sich dabei nicht auf die reine Tiefenmetrik beschränken. Eine gesunkene durchschnittliche Crawl-Tiefe ist nur dann etwas wert, wenn sich auch das Crawl-Verhalten von Googlebot, die Indexierungsquote und am Ende die organischen Klicks verbessern. Sinnvoll ist, drei Datenquellen zu verschränken: die Klicktiefe aus dem Crawl, die Googlebot-Besuche aus den Logfiles und die Indexierungs- sowie Klickdaten aus der Search Console. Erst dieses Tripel zeigt, ob eine strukturelle Maßnahme tatsächlich wirkt.

Ein realistisches Beispiel verdeutlicht die Größenordnung. In einem Marktplatz-Projekt mit 3,2 Millionen URLs sank nach drei Optimierungswellen die durchschnittliche Tiefe der indexierbaren Seiten von 6,1 auf 3,9. Parallel stieg die Indexierungsquote dieser Seiten laut Search Console von 58 auf 81 Prozent, und die täglichen Googlebot-Hits auf Tiefen jenseits von Ebene 4 verdoppelten sich nahezu. Der entscheidende Punkt war nicht eine einzelne Technik, sondern die konsequente Kombination aus Hubs, gezähmter Pagination und kontrollierter Faceted Navigation, datengetrieben gesteuert über die interne Verlinkung.