Plik robots.txt jest potrzebny każdej stronie, bo zawiera informacje o podstronach do indeksowania przez wyszukiwarki. Mówiąc prościej, określa, które podstrony wyszukiwarka powinna indeksować, a które nie. Zanim roboty Google przejdą po stronie, sprawdzają plik robots.txt i czytają jego zawartość. Trwa to ułamek sekundy, więc użytkownicy w ogóle tego nie zauważają.
Zawartość pliku możesz zobaczyć na każdej stronie pod adresem https://xxx.ua/robots.txt, gdzie xxx to domena. Może tam być wiele linii, ale najważniejsze są dyrektywy Disallow i Allow (zabronione i dozwolone). Obok każdej z nich podane są działy strony, do których wyszukiwarka ma zablokowany lub otwarty dostęp.
Do czego służy plik robots.txt
Ktoś może pomyśleć: po co blokować wyszukiwarce indeksowanie niektórych działów? Czy to nie zaszkodzi stronie, jeśli niektóre podstrony nie będą dostępne nawet przy celowym wyszukiwaniu? Nie, nie ma mowy o żadnej szkodzie!
Czym jest indeksowanie? To zbieranie przez wyszukiwarkę informacji o zawartości działu. Po co Google informacje np. o dziale „Kontakt” czy bloku „Wyślij zapytanie”? Tych elementów nikt nie szuka w wyszukiwarce — użytkownicy korzystają z nich już na stronie. A im mniej podstron się indeksuje, tym szybciej przebiega cały proces.
Inne funkcje pliku robots.txt:
- mniejsze obciążenie serwera podczas skanowania (wyobraź sobie, że bez tego pliku wyszukiwarka za każdym razem sprawdza wszystkie podstrony);
- wskazanie ścieżki do mapy strony;
- określenie głównego lustra strony.
Jak powstaje plik robots.txt
Pracując z tym narzędziem, trzeba unikać poważnych błędów:
- ścieżka do działu lub folderu jest podana ogólnikowo (nie można napisać po prostu „folder” itp.);
- plik zawiera nieobsługiwane znaki;
- plik nie jest w formacie tekstowym.
Plik robots.txt tworzy się ręcznie w edytorze tekstu (np. w Notatniku Windows) albo za pomocą specjalnych serwisów online. Każdy wybiera wygodniejszy sposób. Doświadczeni specjaliści SEO nie powierzają tego zewnętrznym serwisom, bo można coś przeoczyć.
Przed stworzeniem pliku trzeba znać wszystkie dyrektywy:
- User-agent — robot wyszukiwarki, którego dotyczy reguła (np. Googlebot);
- Disallow — zakaz indeksowania folderów;
- Allow — zezwolenie na indeksowanie folderów;
- Noindex — zakaz indeksowania części treści;
- Clean-param — wykluczenie części adresu podstrony z indeksowania;
- Host — lustro strony;
- Sitemap — ścieżka do mapy strony.
Dopiero po poznaniu dyrektyw można tworzyć plik tekstowy. To bardzo proste: każda linia zawiera dyrektywę i ścieżkę (np. „Disallow: /bin/” oznacza „nie indeksuj linków z koszyka”). Niektórzy webmasterzy zostawiają komentarze oznaczone znakiem „#” — wyszukiwarki ich nie czytają i nie wpływają one na zawartość pliku.
Jak sprawdzić, czy robots.txt jest poprawny
Testowanie pliku jest bardzo ważne. Można to zrobić w narzędziach Google, ale dopiero po umieszczeniu pliku w katalogu głównym. Zrób to i otwórz plik pod adresem https://xxx.ua/robots.txt, gdzie xxx to Twoja domena. Jeśli pojawia się błąd, coś jest nie tak. Idealnie na ekranie powinny pojawić się reguły indeksowania z dyrektywami Disallow, Allow i innymi.
Nie lekceważ pliku robots.txt
Brak lub błędne wypełnienie tego pliku negatywnie wpływa na indeksowanie całej strony, więc nie warto lekceważyć tego narzędzia SEO. Jeśli nie wiesz, gdzie umieścić robots.txt i jak go poprawnie przygotować, powierz to specjalistom. Studio internetowe CYBORG zrobi wszystko, by przygotować robots.txt i dodać go do katalogu głównego. Najpierw przeprowadzimy analizę, by ustalić strukturę strony i działy do indeksowania.
Jeśli chcesz skutecznie wypromować swoją stronę do TOP wyszukiwarek, skontaktuj się z Cyborg Studio: +380 67 250 60 02
