|
 |
|
|
|
| robots.txt
- Generator |
Suchmaschinen
besitzen Programme, die Spider genannt werden.
Diese durchsuchen Ihre Webseiten nach Links.
Alle gefunden Links werden dann, entsprechend
der Spiderprogrammierung, soweit verfolgt,
dass die Spider erkennen, wohin genau die
Links führen.
Mit der Datei Robots.txt, die im Hauptverzeichnis
der Domain liegen muss, legen Sie entsprechende
Sperren bzw. Freigaben für die Suchmaschinen
fest. Dieses Tool hilft Ihnen nun, Ihre robots.txt
zu erstellen, die Sie nur noch auf Ihren Speicherplatz
(Server) legen müssen. |
Schritt 1
In der Datei Robots.txt wird festgelegt,
welche Dateien, Verzeichnisse, Inhalte
oder Bereiche Ihrer Webseiten als gesperrt
oder frei zugänglich markiert sind. |
|
|
|
|
|
|
