Was ist Crawlbarkeit?
Bevor Google eine Seite indexieren und ranken kann, muss Googlebot sie crawlen. Crawlen bedeutet: Der Bot findet einen Link zur Seite, sendet einen HTTP-Request, empfängt den HTML-Code und verarbeitet ihn. Dieser Prozess setzt voraus, dass die Seite erreichbar und nicht blockiert ist.
Crawlbarkeit ist die Grundvoraussetzung für Indexierung. Eine Seite kann nicht indexiert werden, bevor sie gecrawlt wurde. Und eine Seite kann nicht ranken, bevor sie indexiert ist. Crawlbarkeit steht am Anfang der gesamten SEO-Kette.
- Erreichbarkeit: Seite muss über einen Link erreichbar sein
- Zugänglichkeit: Keine robots.txt-Blockierung, kein Login, kein noindex
- Technische Auslieferung: 200-Status, kein Timeout, kein JavaScript-Rendering-Problem
Crawlbarkeit-Faktoren im Detail
Der wichtigste Crawlbarkeit-Faktor sind interne Links. Eine Seite ohne interne Links kann nur über eine XML-Sitemap oder externe Backlinks gecrawlt werden – beides ist weniger zuverlässig als ein direkter interner Link.
Screaming Frog CSV hochladen — kostenlos, sofort, nichts gespeichert.
Interne Link-Equity in 30 Sekunden sehen →Weitere Faktoren: robots.txt-Direktiven, noindex-Meta-Tag, Canonical-Tags und Seitengeschwindigkeit. Sehr langsame Seiten erschöpfen das Crawl-Budget, bevor Googlebot ihren Inhalt vollständig verarbeiten kann.
- Verwaiste Seiten haben keine Crawl-Pfade über interne Links
- robots.txt Disallow blockiert Googlebot vollständig
- noindex blockiert Indexierung, aber nicht den Crawl – Googlebot kommt trotzdem
Crawlbarkeit verbessern mit internen Links
Der direkteste Weg, Crawlbarkeit zu verbessern, ist das Hinzufügen von internen Links. Jede verwaiste Seite braucht mindestens einen eingehenden internen Link von einer Seite, die Googlebot regelmäßig crawlt.
Breadcrumb-Navigation, interne Suchfunktion und Related-Content-Blöcke sind effektive Strukturen, die automatisch für viele Seiten gleichzeitig Crawl-Pfade schaffen – ohne jeden Link manuell zu setzen.
- Verwaiste Seiten: mindestens einen starken internen Link hinzufügen
- Kategorie- und Übersichtsseiten regelmäßig auf neue Unterseiten prüfen
- Sitemap-Einträge ergänzen, aber nicht als Ersatz für interne Links betrachten
Crawlbarkeit mit LinkJuice analysieren
LinkJuice identifiziert verwaiste Seiten mit null eingehenden internen Links automatisch aus dem Screaming Frog Export. Diese Seiten sind crawlbarkeit-kritisch: Googlebot kann sie nur über die XML-Sitemap oder externe Links finden.
Darüber hinaus zeigt LinkJuice Seiten mit sehr wenigen eingehenden Links, die ebenfalls ein Crawlbarkeit-Risiko darstellen – besonders wenn diese Seiten auf keiner Sitemap gelistet sind.
- Verwaiste Seiten sofort mit internen Links versorgen
- Seiten mit 1–2 Inbound-Links auf Crawl-Stabilität prüfen
- Sitemap-Abdeckung und interne Verlinkung als komplementäre Maßnahmen kombinieren
Screaming Frog CSV hochladen — kostenlos, sofort, nichts gespeichert.
Finde deine schwächsten internen Links, bevor Google es tut →Häufige Fragen
- Was ist der Unterschied zwischen Crawlbarkeit und Indexierbarkeit?
- Crawlbarkeit bedeutet, dass Googlebot die Seite finden und verarbeiten kann. Indexierbarkeit bedeutet, dass Google die Seite in seinen Index aufnimmt. Eine Seite kann crawlbar, aber nicht indexierbar sein. Nicht indexierbare Seiten sind jedoch immer auch nicht gecrawlt.
- Kann robots.txt den Crawl komplett verhindern?
- Ja. Ein Disallow für die gesamte Website verhindert den Crawl aller Seiten. Einzelne URL-Muster können gezielt blockiert werden. Achtung: Geblockte Seiten können trotzdem in SERPs erscheinen, wenn externe Links auf sie zeigen.
- Wie viele interne Links braucht eine Seite für gute Crawlbarkeit?
- Mindestens einen eingehenden internen Link von einer Seite, die Googlebot regelmäßig crawlt. Mehr Links erhöhen die Crawl-Frequenz. Für wichtige Seiten empfehlen sich 3–10 interne Links aus thematisch verwandten Seiten.
- Verbessert eine XML-Sitemap die Crawlbarkeit?
- Ja, indirekt. Sitemaps helfen Google, URLs zu finden, die über interne Links schwer erreichbar sind. Aber Sitemaps ersetzen keine internen Links – PageRank fließt nur über HTML-Links, nicht über Sitemap-Einträge.
- Wie finde ich nicht crawlbare Seiten mit LinkJuice?
- Lade deinen Screaming Frog Export in LinkJuice hoch. Das Tool markiert automatisch alle URLs mit null eingehenden internen Links als verwaiste Seiten. Diese sind das größte Crawlbarkeit-Risiko auf deiner Website.
Crawlbarkeit kostenlos analysieren
Lade deinen Screaming Frog CSV hoch und sieh auf einen Blick, welche Seiten keine eingehenden internen Links haben – und welche potenziell nie von Googlebot gecrawlt werden.
Crawl hochladen & starten🔒 Läuft in deinem Browser. Keine Daten verlassen deinen Rechner. Keine E-Mail nötig.