Was ist die Robots.txt?
Die Robots.txt existiert seit 1994 und ist damit eine der ältesten SEO-relevanten Technologien im Web. Trotz ihres Alters ist sie heute noch genauso wichtig wie damals – als erste Crawl-Kontrollinstanz zwischen deiner Website und jedem Suchmaschinen-Crawler.
Wichtig: Die Robots.txt ist eine Empfehlung, keine technische Sperre. Seriöse Crawler wie Googlebot halten sich daran. Malicious Bots ignorieren sie. Für den SEO-Kontext gilt: Google indexiert keine Seiten, die es nicht crawlen darf.
- Liegt immer unter https://deinedomain.de/robots.txt
- Gilt für alle Crawler (User-agent: *) oder spezifisch für einzelne Bots
- Kein Passwortschutz oder technische Sperre – nur eine Empfehlung
Robots.txt-Syntax und wichtige Direktiven
Die wichtigsten Direktiven sind User-agent (welcher Crawler wird angesprochen), Disallow (welche URLs sollen nicht gecrawlt werden) und Allow (Ausnahmen innerhalb eines Disallow-Blocks). Sitemap-Einträge in der Robots.txt helfen Crawlern, deine Sitemap zu finden.
Screaming Frog CSV hochladen — kostenlos, sofort, nichts gespeichert.
Interne Link-Equity in 30 Sekunden sehen →Beispiel einer korrekten Konfiguration: User-agent: * blockiert den /admin/-Bereich, erlaubt aber /admin/public/ für alle Crawler – und verweist auf die Sitemap-URL.
- User-agent: * gilt für alle Crawler gleichzeitig
- Disallow: / blockiert die gesamte Website – häufigster fataler Fehler
- Sitemap-Direktive in robots.txt erleichtert Crawlern die Sitemap-Entdeckung
Häufige Fehler in der Robots.txt
Der gefährlichste Fehler ist Disallow: / – er blockiert Googlebot von der gesamten Website. Dieser Fehler passiert häufig bei Staging-Migrationen, wenn die Test-Robots.txt versehentlich in die Produktion übernommen wird.
Weitere häufige Fehler: wichtige Ressourcen blockieren wie CSS, JavaScript oder Bilder – das verhindert, dass Google das korrekte Rendering deiner Seiten versteht. Oder irrelevante Parameter-URLs nicht blockieren – das verschwendet Crawl-Budget für tausende nutzlose URLs.
- Disallow: / nach Migrations-Checks immer verifizieren
- CSS, JS und Bilder-Verzeichnisse niemals blockieren
- Parameter-URLs und interne Suche gezielt mit Disallow aus dem Crawl ausschließen
Robots.txt und interne Verlinkung kombinieren
Robots.txt und interne Links arbeiten zusammen als Crawl-Steuerungs-System. Die Robots.txt bestimmt, welche Bereiche Googlebot betreten darf. Interne Links bestimmen, wohin Googlebot innerhalb dieser Bereiche navigiert – und wie viel PageRank jede Seite erhält.
Blockiere in der Robots.txt Bereiche ohne SEO-Wert wie Admin-Bereich, Checkout-Prozess oder interne Suchergebnisseiten. Stelle sicher, dass alle indexierbaren Seiten sowohl in der Sitemap stehen als auch interne Links haben.
- robots.txt für nicht-indexierbare Bereiche wie Admin und Login nutzen
- Indexierbare Seiten niemals mit Disallow blockieren
- Robots.txt-Änderungen immer im Google Search Console URL-Inspector testen
Screaming Frog CSV hochladen — kostenlos, sofort, nichts gespeichert.
Finde deine schwächsten internen Links, bevor Google es tut →Häufige Fragen
- Kann ich mit der Robots.txt verhindern, dass meine Seite gerankt wird?
- Nein. Disallow verhindert den Crawl, aber nicht das Ranking. Wenn externe Links auf eine geblockte URL zeigen, kann Google diese URL trotzdem in den SERPs anzeigen – nur ohne Snippet-Text. Für kein Ranking brauchst du noindex.
- Was ist der Unterschied zwischen Robots.txt und noindex?
- Robots.txt blockiert den Crawl. noindex erlaubt den Crawl, verhindert aber die Indexierung. Beide kombiniert sind redundant – noindex allein ist die sauberere Lösung für Seiten, die gecrawlt, aber nicht indexiert werden sollen.
- Wie teste ich meine Robots.txt auf Fehler?
- Google Search Console bietet ein Robots.txt-Tester-Tool. Dort kannst du prüfen, ob bestimmte URLs durch deine Direktiven blockiert werden. Alternativ einfach /robots.txt im Browser aufrufen und manuell prüfen.
- Sollte ich CSS und JavaScript über robots.txt blockieren?
- Nein, auf keinen Fall. Google braucht Zugriff auf CSS und JavaScript, um Seiten korrekt zu rendern. Wenn Google CSS nicht laden kann, sieht es deine Seite wie ein Browser ohne Styles – was die Rendering-Qualität beeinträchtigt.
- Wie beeinflusst die Robots.txt das Crawl-Budget?
- Effizient eingesetzte Disallow-Direktiven reduzieren Crawl-Budget-Verschwendung erheblich. Interne Suchergebnisseiten, Parameter-URLs und Admin-Bereiche akkumulieren tausende nutzlose Crawl-Anfragen. Mit gezielten Disallow-Regeln lenkst du Googlebot auf wertvolle Inhalte.
Crawl-Effizienz kostenlos analysieren
Lade deinen Screaming Frog CSV hoch und sieh auf einen Blick, wie viele deiner gecrawlten URLs indexierbar sind – und wie viel Crawl-Budget durch blockierte oder umgeleitete URLs verschwendet wird.
Crawl hochladen & starten🔒 Läuft in deinem Browser. Keine Daten verlassen deinen Rechner. Keine E-Mail nötig.