Robots.txt
Definition
Die Robots.txt ist eine Textdatei, die auf dem Server einer Website gespeichert wird. Mit ihr wird festgelegt, welche Bereiche einer Website die Crawler von Suchmaschinenanbietern besuchen, erfassen, bewerten und indexieren dürfen.
Da einige Suchmaschinen die robots.txt-Datei (auch Robots-Exclusion-Standard-Protokoll genannt) ignorieren, sollten Unterseiten, die geheime oder nicht-öffentliche Informationen enthalten, mit einen Passwort geschützt werden, damit sie nicht in den SERPs (Suchergebnisseiten) der Anbieter erscheinen.
robots.txt - Häufige Fragen & Antworten
Wo wird die robots.txt hinterlegt?
Die Datei ist im Stammverzeichnis (Root Directory) einer Webseite untergebracht und die erste Datei, die von Robots, Crawlern oder Spidern gelesen wird.
Die liegt hier bspw. unter:
https://www.matthiasklenk.de/robots.txt
- Als SEO Freelancer unterstütze ich Ihr Team direkt und flexibel.
- Durch kontinuierliche SEO Betreuung sorge ich für regelmäßige und professionelle Optimierungen.
- Mit fundierter SEO Beratung helfe ich, potenzielle Fehler zu analysieren und zu korrigieren.
Was muss in der Robots txt stehen?
Es muss Nichts in der robotx.txt stehen. Bei einer Website die bspw. lediglich aus einer index.html besteht wäre das sinnfrei.
Allerdings nutzen die meisten Content-Management-Systeme bestimmte Ordner für temporäre- oder Cache-Dateien. Um das Crawlbudget nicht zu strapazieren und sinnlose Inhalte auffindbar zu machen sollten solche Ordner per Disallow ausgeschlossen werden.
Ist die robots.txt wichtig für SEO?
Ja. Die robots.txt muss korrekt konfiguriert sein.
Sollte Google hier Probleme entdecken werden diese jedoch in der Google Search Console angezeigt.
Mögliche Fehlermeldungen in der Search Console:
"Durch robots.txt-Datei blockiert"
"Indexiert, obwohl durch robots.txt-Datei blockiert"
Weiterführende Infos:
Robots txt Tester in der Search Console von Google: support.google.com/webmasters/answer/6062598?hl=de
Eine aktualisierte Robots.txt einreichen: developers.google.com/search/docs/crawling-indexing/robots/submit-updated-robots-txt?hl=de
Allgemeine Infos zu Robots.txt: developers.google.com/search/docs/crawling-indexing/robots/intro?hl=de
Sie möchten die Sichtbarkeit Ihrer Website steigern? Als erfahrener SEO-Freelancer und SEO-Experte unterstütze ich Ihr Unternehmen – mit gezielten Optimierungen oder einer individuellen SEO-Beratung.
Vereinbaren Sie eine Erstberatung oder stellen Sie Ihre Projektanfrage!