Was ist Robots.txt?
Datei, die Suchmaschinen sagt, welche Bereiche einer Website sie crawlen dürfen.
Robots.txt im Detail
Robots.txt ist eine schlichte Textdatei, die im Stammverzeichnis einer Domain liegt, also etwa unter tnk-growth.de/robots.txt, und die jeder Crawler abruft, bevor er mit dem eigentlichen Besuch der Website beginnt. Aufgebaut ist sie nach dem sogenannten Robots Exclusion Protocol: Über den Eintrag User-agent legt man fest, für welchen Bot eine Regel gilt, über Disallow und Allow, welche Verzeichnisse oder Dateipfade gesperrt oder ausdrücklich freigegeben sind. Ein zusätzlicher Sitemap-Verweis in derselben Datei zeigt Suchmaschinen, wo sie die XML-Sitemap finden - praktisch, weil beides an einer zentralen Stelle zusammenkommt.
Entscheidend zu verstehen ist, dass Robots.txt eine Anweisung ist, keine Schranke. Seriöse Suchmaschinen wie Google oder Bing halten sich an die Regeln, weil es in ihrem eigenen Interesse liegt, sich an Webstandards zu halten - technisch gesehen könnte aber jeder Bot die Datei ignorieren, und manche tun das auch, etwa wenn sie Inhalte unbemerkt abgreifen wollen. Die Datei ersetzt also keinen Zugriffsschutz und keine Passwortsicherung, sie ist lediglich eine Bitte an kooperative Crawler. Ein weiteres, häufiges Missverständnis betrifft die Wirkung von Disallow: Ein gesperrtes Verzeichnis wird zwar nicht gecrawlt, kann aber trotzdem in den Suchergebnissen auftauchen, wenn andere Websites darauf verlinken - nur eben ohne Titel und Beschreibung, weil Google den Seiteninhalt gar nicht einsehen durfte. Wer eine Seite wirklich aus dem Index fernhalten will, braucht dafür ein noindex-Meta-Tag oder eine echte Zugriffsbeschränkung, nicht Robots.txt.
Ein dritter Punkt, der öfter übersehen wird: Zu restriktive Robots.txt-Regeln können das Crawling von CSS- und JavaScript-Dateien blockieren, die Google zum Rendern einer Seite braucht. Kann Google eine Seite nicht vollständig darstellen, bewertet der Algorithmus sie unter Umständen schlechter, weil Inhalte oder Layout nicht korrekt erfasst werden. Robots.txt sollte deshalb nicht als pauschales Schutzinstrument verstanden werden, sondern als gezieltes Werkzeug, um Crawler von irrelevanten Bereichen fernzuhalten - etwa internen Suchergebnisseiten, Warenkorb-Prozessen oder Duplicate-Content-Varianten -, während alles, was für Darstellung und Ranking relevant ist, zugänglich bleibt.
Was heißt das für Ihr Unternehmen?
Für ein kleines oder mittleres Unternehmen lohnt sich der Blick in die Robots.txt vor allem dann, wenn die Website neben den öffentlichen Inhalten auch Bereiche enthält, die niemand über Google finden soll: interne Filter- und Sortierlinks eines Onlineshops, PDF-Rohdaten in einem Downloadordner, Testseiten aus der Entwicklung oder das Backend-Login. Ohne eine passende Regel crawlt Google all das mit, verschwendet dabei Crawling-Kapazität auf unwichtige Seiten und kann im schlimmsten Fall sogar Seiten indexieren, die eigentlich nicht öffentlich sichtbar sein sollten. Eine sauber gepflegte Robots.txt sorgt dafür, dass die begrenzte Aufmerksamkeit des Crawlers auf die Seiten fließt, die tatsächlich Kunden gewinnen sollen - Leistungsseiten, Blogartikel, Standortseiten.
Ein konkretes Beispiel: Ein Handwerksbetrieb betreibt einen Onlineshop mit Filterfunktion, bei der jede Kombination aus Kategorie, Farbe und Preis eine eigene URL erzeugt - schnell mehrere tausend Varianten mit identischem Produktinhalt. Trägt man in der Robots.txt eine Zeile wie Disallow: /*?filter= ein, hört der Crawler auf, diese endlosen Duplikate zu besuchen, und konzentriert sich stattdessen auf die eigentlichen Produkt- und Kategorieseiten. Nach jeder Änderung sollte man die Datei über die Google Search Console prüfen, denn ein einziger falsch gesetzter Schrägstrich kann versehentlich die komplette Website für Google sperren - ein Fehler, der öfter vorkommt als man denkt und der bei einer neu aufgesetzten oder migrierten Website schnell unbemerkt bleibt.
Passende Leistung
SEO – Suchmaschinenoptimierung
On-Page, Off-Page & Local SEO – bessere Platzierungen für Suchanfragen mit Kaufabsicht.
Robots.txt für Ihr Wachstum nutzen.
Im kostenlosen Erstgespräch zeigen wir Ihnen, was davon für Ihr Unternehmen wirklich relevant ist – ehrlich und ohne Fachjargon.
5,0 bei Google· Bewertungen lesen