Was ist Crawl-Budget? Und wie optimierst du es für Google?

Warum Crawl-Budget für SEO wichtig ist

Googlebot crawlt nicht unendlich viele Seiten pro Tag. Google schätzt die Serverbelastung einer Website ein und begrenzt die Crawling-Frequenz entsprechend – zu intensives Crawlen würde die Performance von langsamen Servern beeinträchtigen. Gleichzeitig priorisiert Google URLs nach ihrem wahrgenommenen Wert: Seiten, die viele interne und externe Links erhalten und aktuell gehalten werden, werden häufiger gecrawlt als schwache oder isolierte Seiten.

Für kleine Websites mit wenigen Hundert Seiten und schnellen Servern ist das Crawl-Budget selten ein Problem – Google schafft in der Regel alle wichtigen Seiten problemlos. Für große Websites mit zehntausenden URLs, E-Commerce-Shops mit Facetten-Navigation oder Nachrichtenportale mit hohem Publikationsvolumen kann ineffizientes Crawl-Budget jedoch zu messbaren Indexierungsverzögerungen führen.

• Neue Seiten werden erst indexiert, nachdem Googlebot sie gecrawlt hat
• Seiten, die selten gecrawlt werden, erhalten ihre Updates langsamer im Index
• Schwaches Crawl-Budget kann dazu führen, dass wichtige Seiten gar nicht indexiert werden

Grundlagen: Wie funktioniert das Crawl-Budget?

Das Crawl-Budget besteht aus zwei Faktoren, die Google intern als „Crawl-Kapazitätslimit" und „Crawl-Bedarf" bezeichnet.

Das Crawl-Kapazitätslimit ist die maximale Anzahl gleichzeitiger Verbindungen, die Googlebot zu deinem Server aufbaut, multipliziert mit der Zeit, die für jeden Request benötigt wird. Je schneller dein Server antwortet und je stabiler er läuft, desto mehr Seiten kann Google pro Tag crawlen. Server-Fehler (5xx) reduzieren das Crawl-Kapazitätslimit erheblich – Google drosselt das Crawling, um überlastete Server zu schonen.

Der Crawl-Bedarf bestimmt, welche Seiten Google überhaupt crawlen will. Er hängt ab von der Popularität einer URL (je mehr externe und interne Links, desto höher), dem Alter der letzten Änderung (neu oder frisch geänderte Seiten werden bevorzugt gecrawlt) und dem historischen Crawl-Verhalten (Seiten, die regelmäßig gecrawlt werden, bleiben im Crawl-Zyklus).

Interne Verlinkung als Crawl-Budget-Hebel

Interne Links sind für Googlebot der Hauptweg, neue und aktualisierte Seiten zu finden. Wenn du eine neue Seite veröffentlichst und sie von keiner anderen Seite aus verlinkst, findet Googlebot sie nur durch die XML-Sitemap – oder gar nicht. Verlinkst du die neue Seite dagegen aus mehreren thematisch verwandten Artikeln und von einer gut verlinkten Kategorieseite aus, steigt die Crawl-Frequenz der neuen Seite erheblich.

Das bedeutet: Jede Seite, die du schnell und regelmäßig gecrawlt haben möchtest, sollte im internen Linknetzwerk sichtbar sein. Verwaiste Seiten und tief verschachtelte URLs werden von Google als weniger wichtig eingestuft und dementsprechend seltener gecrawlt. Durch gezielte interne Verlinkung kannst du steuern, welche Seiten Google als prioritär behandelt.

Schritt-für-Schritt: Crawl-Budget optimieren

Schritt 1: Crawl-Statistiken in der Google Search Console analysieren

Öffne die Google Search Console und navigiere zu „Einstellungen" > „Crawl-Statistiken". Dort siehst du, wie viele Seiten Google täglich crawlt, welche HTTP-Statuscodes dabei auftreten und welche Dateitypen gecrawlt werden. Achte besonders auf einen hohen Anteil von 4xx-Fehlern (defekte URLs) und 3xx-Weiterleitungen (Redirect-Ketten) – beide verschwenden Crawl-Ressourcen.

Schritt 2: Schwache und duplizierte URLs identifizieren

Crawle deine Website mit Screaming Frog und identifiziere URLs, die kein indexierbares Potenzial haben: Facetten-URLs mit Filterparametern, Session-IDs in der URL, interne Suchergebnisseiten, Login-URLs und duplizierter Content. Diese URLs sollten entweder per Canonical auf die primäre Version verwiesen, mit robots.txt-Regeln vom Crawling ausgeschlossen oder durch noindex-Tags von der Indexierung ausgenommen werden.

Schritt 3: Defekte Links bereinigen

Jeder 404-Link, dem Googlebot folgt, verschwendet Crawl-Budget. Filtere im Screaming-Frog-Bericht alle internen Links, die auf 4xx-Status-Codes zeigen, und behebe sie. Entweder aktualisierst du den Link auf die korrekte URL, oder du richtest eine 301-Weiterleitung von der alten auf die neue URL ein. Redirect-Ketten (A → B → C) sollten auf direkte Weiterleitungen (A → C) verkürzt werden.

Schritt 4: Verlinkungstiefe wichtiger Seiten reduzieren

Seiten, die tief in der Website-Hierarchie vergraben sind, werden seltener gecrawlt. Wenn strategisch wichtige Seiten erst nach vier oder fünf Klicks von der Startseite erreichbar sind, erhöhe ihre Verlinkungstiefe durch direkte Links aus navigationsnahen Seiten. Eine Verlinkungstiefe von maximal drei Klicks ist für wichtige Seiten das Ziel.

Schritt 5: XML-Sitemap bereinigen

Enthält deine XML-Sitemap URLs, die auf 301, 404 oder noindex verweisen, gibt das Google ein widersprüchliches Signal: Die Sitemap sagt, diese URL ist wichtig – die HTTP-Response oder der Meta-Tag sagt das Gegenteil. Bereinige die Sitemap und entferne alle URLs, die nicht indexierbar sind oder weitergeleitet werden.

Best Practices und Expertentipps

Erfahrene SEO-Profis behandeln Crawl-Budget als fortlaufendes Monitoring-Thema, nicht als einmaliges Projekt. Besonders E-Commerce-Websites mit dynamischen Facetten-Navigationen und regelmäßigen Produktwechseln müssen ihre Crawl-Statistiken engmaschig beobachten, da neue URL-Parameter schnell zu massivem Crawl-Waste führen können.

Ein bewährter Ansatz ist das sogenannte Crawl-Budget-Audit: Einmal pro Quartal wird geprüft, welcher Anteil der gecrawlten URLs tatsächlich indexiert und im Ranking aktiv ist. Ein Verhältnis von weniger als 60 % indexierter zu gecrawlter URLs deutet auf erheblichen Crawl-Waste hin und ist ein klares Signal für Optimierungsbedarf.

• Halte die Anzahl der URL-Parameter so gering wie möglich – jeder Parameter multipliziert potenziell den Crawl-Aufwand
• Nutze das URL-Parameterool in der Google Search Console, um Google mitzuteilen, welche Parameter ignoriert werden können
• Aktiviere HTTP/2 auf deinem Server – Googlebot unterstützt es und kann damit effizienter gleichzeitig mehrere Seiten crawlen
• Verlinke frisch veröffentlichte Seiten sofort aus bestehenden, gut verlinkten Seiten

Fazit und nächste Schritte

Crawl-Budget-Optimierung ist kein Thema, das du einmal angehst und dann vergisst. Besonders auf wachsenden Websites entstehen kontinuierlich neue URLs, defekte Links und Strukturveränderungen, die das Crawl-Verhalten von Googlebot beeinflussen. Die gute Nachricht: Mit den richtigen Tools und einem klaren Prozess ist Crawl-Budget-Monitoring kein großer Aufwand.

Beginne mit einem Blick in die Crawl-Statistiken der Google Search Console. Wenn du signifikante 4xx- oder 3xx-Raten siehst, lade einen Screaming-Frog-Crawl in LinkJuice hoch und identifiziere, welche Seiten das meiste Crawl-Budget verschwenden. Priorisiere die Behebung nach dem Anteil der betroffenen internen Links.

• Crawl-Statistiken in der Google Search Console prüfen
• Defekte und umgeleitete Links mit Screaming Frog identifizieren
• Crawl-ineffiziente URL-Typen mit noindex oder robots.txt ausschließen
• Verlinkungstiefe wichtiger Seiten auf maximal drei Klicks reduzieren