Robots.txt Generator


Schritt 1
In der Datei Robots.txt wird festgelegt, welche Dateien, Verzeichnisse, Inhalte oder Bereiche Ihrer Webseiten als gesperrt oder frei zugänglich markiert sind.


Wählen Sie eine Option aus:
Erlaubt allen Spidern, Ihre Webseiten zu indizieren.
Verbietet allen Spidern, alle Ihre Webseiten zu indizieren.
Verbietet allen Spidern, bestimmte Verzeichnisse oder Dateien zu indizieren.
Verbietet bestimmten Spidern, bestimmte Verzeichnisse oder Dateien zu indizieren.


Url zu der eigenen XML-Sitemap:

Wofür robots.txt?
Suchmaschinen besitzen Programme, die Spider genannt werden. Diese durchsuchen Ihre Webseiten nach Links. Alle gefunden Links werden dann, entsprechend der Spiderprogrammierung, soweit verfolgt, dass die Spider erkennen, wohin genau die Links führen. Mit der Datei Robots.txt, die im Hauptverzeichnis der Domain liegen muss, legen Sie entsprechende Sperren bzw. Freigaben für die Suchmaschinen fest. Dieses Script hilft Ihnen nun, Ihre Robots.txt zu erstellen, die Sie nur noch auf Ihren Speicherplatz legen müssen.

Im Laufe der Zeit haben sich gewisse Standards, wie unteranderem auch die Meta Tags durchgesetzt. Dazu gehört seit längerem auch schon die Robots.txt. Die meisten Suchmaschinen akzeptieren die Anweisungen und befolgen sie auch. Die Robots.txt wird im Wurzelverzeichnis Ihrer Seite abgelegt (Beispiel: www.domain.de/robots.txt). Nur so kann sie von Suchmaschinen gefunden werden.