|
Nutzen Sie unseren SE und SB Eintragsservice. Auch die Eintragung in Webkataloge übernehmen wir für Sie. 
|
Unser Basis Paket bietet Telefon / Email Beratung für die OnPage / OnSite Optimierung Iher Webseite. 
|
Das Business Paket beinhaltet die genaue Analyse sowohl Ihrer Seite als auch die der Konkurrenz. 
|
Die Teilnehmerzahl ist dabei unbegrenzt. Unsere Leistungen... 
|
Robots.txt Generator
Mit einer Robots.txt Datei können Sie bestimmten Suchmaschinen erlauben Ihre Website zu betreten, oder ihnen den Zugang damit verweigern. Auch bestimmte Unterverzeichnisse können gesperrt werden. Dies macht Sinn, wenn Sie zum Beispiel ein neues Projekt in einem Unterordner anlegen, dieses aber noch nicht für die Suchmaschinen sichtbar machen wollen.
|
Schritt 1 In der Datei Robots.txt wird festgelegt, welche Dateien, Verzeichnisse, Inhalte oder Bereiche Ihrer Webseiten als gesperrt oder frei zugänglich markiert sind. |
Wofür robots.txt?
Suchmaschinen besitzen Programme, die Spider genannt werden. Diese durchsuchen Ihre Webseiten nach Links.
Alle gefunden Links werden dann, entsprechend der Spiderprogrammierung, soweit verfolgt, dass die Spider
erkennen, wohin genau die Links führen. Mit der Datei Robots.txt, die im Hauptverzeichnis der Domain liegen muss,
legen Sie entsprechende Sperren bzw. Freigaben für die Suchmaschinen fest. Dieses Script hilft Ihnen nun,
Ihre Robots.txt zu erstellen, die Sie nur noch auf Ihren Speicherplatz legen müssen.
Im Laufe der Zeit haben sich gewisse Standards, wie unteranderem auch die Meta Tags durchgesetzt. Dazu gehört seit längerem auch schon die Robots.txt. Die meisten Suchmaschinen akzeptieren die Anweisungen und befolgen sie auch.
Die Robots.txt wird im Wurzelverzeichnis Ihrer Seite abgelegt (Beispiel: www.domain.de/robots.txt). Nur so kann sie von Suchmaschinen gefunden werden.
