robots.txt-Generator
robots.txt richtig erstellen
Die robots.txt im Wurzelverzeichnis steuert, welche Bereiche deiner Website Suchmaschinen crawlen dürfen. Der Generator erstellt eine gültige Datei mit den gängigen Angaben.
- Pfade sperren: Trage Verzeichnisse ein, die nicht indexiert werden sollen (z. B.
/wp-admin/). - Sitemap: Der Verweis auf die XML-Sitemap hilft Suchmaschinen beim Finden aller Seiten.
- Wichtig: robots.txt ist eine Empfehlung, kein Zugriffsschutz – sensible Bereiche zusätzlich absichern.