Was ist die Roboter.txt-Datei?

Wenn Sie Ihre Site erstellen, möchten Sie höchstwahrscheinlich auf Google oder anderen Suchmaschinen sein.Zum Glück haben sie ihre eigenen Bots oder "Crawler"Dass das Internet zu Index-Websites spießt. Diese Bots können so gesteuert werden, wie sie mit Ihrer Site über eine Textdatei interagieren. Dies wäre das robots.txt Datei.Diese Datei enthält Regeln, die die Bots, die Ihre Website besuchen, aufgefordert werden.Dies kann allgemein eine gute Sache sein, kann aber auch eine schlechte Sache für Ihre Bewertung sein, wenn sie falsch eingerichtet werden.

Wie sieht eine Roboter.txt-Datei aus?

Hier sind ein paar verschiedene Beispiele dafür, wie diese Datei für Sie aussehen könnte.

Erlauben Sie alle Bots vollen Zugriff

Benutzer-Agent: * nicht zulassen:

Blockieren Sie alle Zugriffe für Bots

Benutzer-Agent: * Nicht zulassen: /

Setzen Sie die Kriechzögerung auf 10 Sekunden ein

Benutzer-Agent: * Crawl-Delay: 10

Wenn Sie eine Crawl-Verzögerung von 10 Sekunden einstellen, beschränken Sie diese Suchmaschinen, um Ihre Website zu indexieren.Wenn Sie einen VPS mit einer begrenzten Anzahl an Ressourcen haben und Ihre Seiten nicht optimiert sind, um eine plötzliche Webverkehrspitze zu verarbeiten, können Sie das Upgrade Ihres Cloud VPS-Servers in Betracht ziehen, um mehr Ressourcen zu haben und eine Kriegerverzögerung hinzuzufügen

Das sind nur ein paar sehr allgemeine Vorlagen für die Datei robots.txt.Sie können es verwenden, um den Zugriff auf einen einzelnen Ordner oder sogar nur eine einzelne Datei zu blockieren.Jeder Eintrag in der Datei robots.txt verfügt über ein Benutzer-Agent-Feld mit etwas daneben.Das Sternchen zeigt einen Platzhalter an, wo es auf alle gelten würde.Wenn Sie es für einen bestimmten Bot einstellen möchten, setzen Sie dies in dieses Feld.Alle Zeilen danach gilt für diesen Benutzeragenten, bis ein neuer angegeben ist.In der folgenden Datei, für Google, würde es beispielsweise den Ordner / TMP auf der Website blockieren, aber für alle anderen Bots wären alle Ordner (einschließlich des Ordners / TMP) zulässig.

Benutzer-Agent: GoogleBot nicht zulassen: / TMP / User-Agent: * Nicht zulassen:

Wie Sie sehen, können Sie dies verwenden, um zu verhindern, dass Bots private Dateien oder sogar unnötige Verzeichnisse indexiert werden.Obwohl die im Internet vorhandenen Bots, die im Internet vorhanden sind, können verschiedene Ressourcen zur Verfügung stehen, um diese herauszufinden.

Es gibt viele Dinge, die die Roboters.txt tun können, um die Crawler der Site zu beeinträchtigen, aber der Verhinderung des Zugangs ist jedoch am häufigsten.Andere Optionen enthalten die Option Crawl-Delay.Sie können diese Option verwenden, um die Bot-Verzögerung zwischen den Seiten auf der Site zu kriechen.

Wenn Sie Fragen haben oder Hilfe möchten, wenden Sie sich bitte durch Live-Chat oder ein Ticket mit unserem technischen Support-Team.