Was ist das Crawl-Budget?
Googlebot ist eine begrenzte Ressource. Jede Domain erhält ein bestimmtes Kontingent an Crawls pro Tag – abhängig von Serverkapazität, Domain-Autorität und Content-Aktualität. Verbraucht eine Website ihr Budget mit unwichtigen Seiten, bleiben wichtige Inhalte möglicherweise unentdeckt oder veraltet indexiert.
Für kleine Websites mit wenigen hundert Seiten ist das kaum ein Thema – Google crawlt sie ohnehin vollständig. Ab mehreren tausend Seiten wird das Crawl-Budget zum strategischen Faktor: Welche Seiten sollen regelmäßig gecrawlt werden, welche gar nicht?
- Crawl-Budget = Crawl-Rate-Limit × Crawl-Demand
- Relevant ab ca. 1.000+ Seiten oder bei häufigen Content-Updates
- Seiten mit hohem PageRank werden häufiger gecrawlt als Seiten mit niedrigem
Crawl-Budget in der SEO-Praxis
Das Crawl-Budget wird primär durch die interne Linkstruktur beeinflusst. Seiten, die viele interne Links erhalten, signalisieren Googlebot hohe Priorität – und werden entsprechend häufiger gecrawlt. Verwaiste Seiten ohne eingehende interne Links werden möglicherweise gar nicht gecrawlt, selbst wenn sie in der Sitemap stehen.
Screaming Frog CSV hochladen — kostenlos, sofort, nichts gespeichert.
Interne Link-Equity in 30 Sekunden sehen →Aber auch technische Probleme fressen Budget: Weiterleitungsketten, doppelte URLs durch Session-IDs oder Filter-Parameter, unnötige noindex-Seiten die trotzdem gecrawlt werden – all das verbraucht Crawl-Ressourcen ohne Gegenwert.
- Interne Links auf wichtige Seiten konzentrieren, damit Googlebot sie priorisiert
- Robots.txt für irrelevante Verzeichnisse nutzen, um Crawl-Budget zu schonen
- URL-Parameter in der Search Console konfigurieren, um Duplikat-Crawls zu vermeiden
Was verschwendet Crawl-Budget?
Die größten Crawl-Budget-Fresser sind vorhersehbar: duplizierte URLs durch Session-IDs, Tracking-Parameter oder Facet-Navigation erzeugen hunderte von URLs für dieselbe inhaltliche Seite. Jede dieser URLs kostet Crawl-Budget, ohne indexierungswürdigen Wert zu liefern.
Weiterleitungsketten sind ein weiteres Problem: Wenn Googlebot von A auf B weitergeleitet wird, dann von B auf C, verbraucht jeder Schritt einen Crawl-Request. Direkte Redirects und saubere interne Links auf die finale Ziel-URL sind die effizientere Alternative.
- Duplizierte URLs durch Canonicals oder robots.txt-Disallow konsolidieren
- Weiterleitungsketten auf direkte 301-Redirects reduzieren
- Soft-404-Seiten (leere Suchergebnisse, leer gewordene Kategorien) bereinigen
Crawl-Budget mit LinkJuice optimieren
LinkJuice identifiziert verwaiste Seiten – URLs ohne eingehende interne Links, die von Googlebot möglicherweise nicht gefunden werden. Durch das Hinzufügen gezielter interner Links erhöhst du sofort die Crawl-Wahrscheinlichkeit dieser Seiten.
Darüber hinaus zeigt LinkJuice, welche Seiten unverhältnismäßig viele ausgehende interne Links haben. Diese Hub-Seiten sind ideale Kandidaten für gezielte Verlinkung auf unterverlinkte Prioritätsseiten – effizienter Einsatz des eigenen Crawl-Budgets ohne technische Eingriffe.
- Verwaiste Seiten identifizieren und mit internen Links ausstatten
- Hub-Seiten mit hoher Linkdichte für strategische Weiterleitungen nutzen
- Seiten ohne strategischen Wert aus der internen Verlinkung herausnehmen
Screaming Frog CSV hochladen — kostenlos, sofort, nichts gespeichert.
Finde deine schwächsten internen Links, bevor Google es tut →Häufige Fragen
- Was ist das Crawl-Budget?
- Das Crawl-Budget bezeichnet die Anzahl der Seiten, die Googlebot in einem bestimmten Zeitraum crawlt. Es ergibt sich aus Crawl-Rate-Limit und Crawl-Demand – der Popularität und Aktualität der Inhalte.
- Wann ist das Crawl-Budget wichtig?
- Vor allem für große Websites mit tausenden oder Millionen von Seiten. Bei kleinen Websites crawlt Google in der Regel alle Seiten ohnehin regelmäßig.
- Wie verbessert interne Verlinkung das Crawl-Budget?
- Interne Links zeigen Googlebot, welche Seiten existieren und wichtig sind. Seiten mit mehr eingehenden internen Links werden häufiger gecrawlt. Verwaiste Seiten werden möglicherweise gar nicht gecrawlt.
- Was verschwendet Crawl-Budget?
- Hauptverursacher sind duplizierte URLs (Session-IDs, Tracking-Parameter), Facet-Navigation-URLs, Seiten mit noindex die trotzdem gecrawlt werden, und Weiterleitungsketten, die mehrere Crawler-Requests verursachen.
Crawl-Budget effizient nutzen
Finde alle verwaisten Seiten und unterverlinkte Prioritätsseiten in deinem Crawl – und erhalte sofort umsetzbare Empfehlungen.
Crawl hochladen & starten🔒 Läuft in deinem Browser. Keine Daten verlassen deinen Rechner. Keine E-Mail nötig.