Die Datei robots.txt braucht jede Website, denn sie enthält Informationen darüber, welche Seiten von Suchmaschinen indexiert werden sollen. Einfach gesagt: In der Datei steht, welche Seiten die Suchmaschine indexieren soll und welche nicht. Bevor bekannte Suchdienste wie Google eine Website aufrufen, lesen sie die robots.txt und werten die darin enthaltenen Informationen aus. Das geschieht in Sekundenbruchteilen, sodass Nutzer davon überhaupt nichts bemerken.
Den Inhalt dieser Datei können Sie auf jeder Website unter der Adresse https://xxx.ua/robots.txt einsehen, wobei xxx für die Domain steht. Dort können viele Zeilen stehen, die Hauptrolle spielen aber die Anweisungen „Disallow“ und „Allow“ (also „verboten“ und „erlaubt“). Hinter jedem dieser Befehle stehen die wichtigsten Bereiche der Website, für die der Zugriff der Suchmaschine gesperrt oder freigegeben ist.
Wozu dient die Datei robots.txt?
Mancher fragt sich vielleicht, warum man der Suchmaschine die Indexierung einzelner Bereiche verbieten sollte. Schadet es der Website nicht, wenn bestimmte Seiten selbst bei gezielter Suche nicht auffindbar sind? Nein, von einem Schaden kann keine Rede sein!Was bedeutet Indexierung einer Seite? Die Suchmaschine sammelt Informationen über den Inhalt eines bestimmten Bereichs. Und warum sollte Google zum Beispiel Informationen über die Seite „Kontakt“ oder den Block „Anfrage senden“ sammeln? Diese Elemente interessieren Nutzer in der Suchmaschine nicht – sie nutzen sie erst auf der Website selbst. Und je weniger Seiten einer Website indexiert werden, desto schneller läuft der gesamte Prozess ab.
Weitere Funktionen der Datei robots.txt:
- Geringere Serverlast beim Crawlen (stellen Sie sich vor, die Suchmaschine müsste ohne robots-Datei jedes Mal alle Seiten nach den benötigten Informationen durchsuchen);
- Angabe des Pfads zur Sitemap;
- Festlegung des Hauptspiegels der Website.
So wird die Datei robots.txt erstellt
Bei der Arbeit mit diesem Werkzeug gilt es, grobe Fehler zu vermeiden:- Der Pfad zu einem Bereich oder Ordner ist zu allgemein angegeben (man kann nicht einfach „Ordner“ oder Ähnliches schreiben);
- Die Datei enthält nicht unterstützte Zeichen;
- Die Datei liegt nicht im Textformat vor.
Vor der Erstellung dieser Datei sollten Sie alle Direktiven kennen:
- User-agent – Angabe der Suchmaschine, an die sich die Datei richtet (zum Beispiel Google);
- Disallow – Verbot der Indexierung von Ordnern;
- Allow – Erlaubnis zur Indexierung von Ordnern;
- Noindex – Verbot der Indexierung eines Teils des Inhalts;
- Clean-param – Ausschluss von Teilen der Seitenadresse von der Indexierung;
- Host – Spiegel der Website;
- Sitemap – Pfad zur Sitemap.
So prüfen Sie, ob die robots.txt korrekt ausgefüllt ist
Der Test der erstellten Textdatei ist sehr wichtig, denn Sie müssen sicherstellen, dass sie korrekt ausgefüllt ist. Die Prüfung können Sie mit den Diensten von Google vornehmen. Das ist allerdings erst möglich, nachdem das Dokument endgültig in das Stammverzeichnis der Website hochgeladen wurde. Laden Sie es hoch und öffnen Sie die Datei über https://xxx.ua/robots.txt, wobei xxx die Domain der Website ist. Erscheint eine Fehlermeldung, ist etwas schiefgelaufen. Im Idealfall sehen Sie die Anweisungen zur Indexierung, darunter Disallow, Allow und weitere Direktiven.Unterschätzen Sie die robots.txt nicht
Fehlt diese Textdatei oder ist sie falsch ausgefüllt, wirkt sich das negativ auf die Indexierung der gesamten Website aus. Vernachlässigen Sie dieses SEO-Werkzeug daher nicht. Wenn Sie nicht wissen, wo die Datei robots.txt liegen muss und wie man sie richtig anlegt, überlassen Sie das den Profis. Die Webagentur CYBORG erledigt alles Nötige, um die robots.txt zu erstellen und im Stammverzeichnis der Website abzulegen. Vorab führen wir eine Analyse durch, auf deren Grundlage die Struktur der Website und die zu indexierenden Bereiche festgelegt werden.Wenn Sie Ihre Website professionell und wirkungsvoll an die Spitze der Suchergebnisse bringen möchten, wenden Sie sich an die Webagentur „Cyborg Studio“ unter der Telefonnummer 067 250 60 02