Robots.txt

Robots.txt ist eine Datei, die Suchmaschinen-Crawlern mitteilt, auf welche Seiten oder Bereiche einer Website sie zugreifen dürfen und auf welche nicht. Die Datei befindet sich im Stammverzeichnis einer Website und folgt einem Standardformat.

Große Suchmaschinen wie Google, Bing und Yahoo erkennen die in der Datei Robots.txt angegebenen Richtlinien an und halten sie ein.

Eine Robots.txt-Datei ist nicht zwingend erforderlich, aber eine gute Praxis, um die Interaktion von Suchmaschinen mit Ihrer Website zu steuern.

Sie besteht aus zwei wesentlichen Teilen: Benutzer-Agenten und Direktiven.

Benutzer-Agenten: Diese Zeile gibt an, für welche Web-Roboter die Datei gilt. Zum Beispiel,

Benutzer-Agent: Googlebot

Das bedeutet, dass die Datei nur für den Webroboter Googlebot gilt. Das Symbol * kann für alle Webroboter verwendet werden.

Richtlinien: Diese Zeile gibt an, auf welche Teile der Website Webroboter nicht zugreifen dürfen.

Sie können Google Search Central besuchen, um mehr über wie man eine Robots.txt-Datei schreibt.

Wo Sie die Robots.txt-Datei

Nachdem Sie die Datei geschrieben haben, fügen Sie den folgenden Abschnitt hinzu.

Gehen Sie zur Registerkarte Einstellungen in Ihrem Dashboard

Navigieren Sie zum Unterregister Allgemeine Einstellungen

Scrollen Sie zum unteren Ende der Seite, um auf die Robots.txt.

Geben Sie sie in das Feld unten ein und klicken Sie auf die Schaltfläche Änderungen speichern.

Wenn Sie Fragen zu Gutscheinen, Rabatten oder anderen Themen haben, schicken Sie uns eine E-Mail an [email protected] oder klicken Sie auf das blaue Symbol unten, um zu chatten 😊