Файл robots.txt потрібен кожному сайту, адже в ньому міститься інформація про сторінки для індексації пошуковими системами. Простіше кажучи, у файлі вказано, які сторінки пошуковику варто індексувати, а які ні. Перш ніж обходити сайт, пошукові роботи Google звертаються до robots.txt і вивчають його вміст. Це відбувається за частки секунди, тож користувачі цього зовсім не помічають.
Переглянути вміст файлу можна на будь-якому сайті за адресою https://xxx.ua/robots.txt, де xxx — домен. Там може бути багато рядків, але головну роль відіграють директиви Disallow і Allow (відповідно, заборонено й дозволено). Навпроти кожної з них указано розділи сайту, до яких пошуковій системі закрито або відкрито доступ.
Навіщо потрібен файл robots.txt
Хтось може подумати: навіщо блокувати пошуковику індексацію деяких розділів? Хіба це не зашкодить сайту, якщо певні сторінки будуть недоступні навіть під час цілеспрямованого пошуку? Ні, жодної шкоди тут немає!
Що таке індексація сторінки? Це збирання пошуковою системою інформації про вміст розділу. А навіщо Google збирати інформацію, скажімо, про розділ «Контакти» чи блок «Залишити заявку»? Ці елементи не цікавлять людей у пошуку — вони користуються ними вже на самому сайті. І що менше сторінок індексується, то швидше відбувається весь процес.
Інші функції файлу robots.txt:
- зниження навантаження на сервер під час сканування (уявіть, що без цього файлу пошуковику щоразу доводиться перевіряти всі сторінки);
- вказівка шляху до карти сайту;
- визначення головного дзеркала сайту.
Як створюється файл robots.txt
Працюючи з цим інструментом, важливо не допустити грубих помилок:
- шлях до розділу чи папки вказано узагальнено (не можна просто написати «папка» чи щось подібне);
- у файлі є непідтримувані символи;
- файл має нетекстовий формат.
Файл robots.txt створюється або вручну в текстовому редакторі (наприклад, стандартному Блокноті Windows), або за допомогою спеціальних онлайн-сервісів. Кожен обирає зручніший спосіб. Досвідчені SEO-фахівці не довіряють це стороннім сервісам, бо там можна щось пропустити.
Перш ніж створювати файл, потрібно знати всі директиви:
- User-agent — пошуковий робот, до якого звертається правило (наприклад, Googlebot);
- Disallow — заборона індексації папок;
- Allow — дозвіл індексації папок;
- Noindex — заборона індексації частини контенту;
- Clean-param — заборона індексації частини адреси сторінки;
- Host — дзеркало сайту;
- Sitemap — шлях до карти сайту.
Лише вивчивши директиви, можна братися до створення текстового файлу. Це дуже просто: кожен новий рядок містить директиву й шлях (наприклад, «Disallow: /bin/» означає «не індексувати посилання з кошика»). Деякі вебмайстри залишають коментарі, позначаючи їх символом «#» — пошукові системи їх не читають, і на вміст файлу вони не впливають.
Як переконатися, що robots.txt заповнено правильно
Тестування створеного файлу дуже важливе. Перевірити його можна в сервісах Google, але лише після завантаження документа в корінь сайту. Зробіть це й відкрийте файл за адресою https://xxx.ua/robots.txt, де xxx — домен сайту. Якщо з'являється помилка, щось зроблено неправильно. В ідеалі на екрані мають відобразитися правила індексації з директивами Disallow, Allow та іншими.
Не варто недооцінювати robots.txt
Відсутність або неправильне заповнення цього файлу негативно впливає на індексацію сайту загалом. Тож не варто нехтувати цим інструментом SEO. Якщо ви не знаєте, де має розміщуватися robots.txt і як правильно його скласти, довірте це фахівцям. Веб-студія CYBORG зробить усе необхідне, щоб прописати robots.txt і додати його в корінь сайту. Попередньо ми проведемо аналіз і визначимо структуру ресурсу та розділи, які потрібно індексувати.
Якщо ви хочете якісно й ефективно просунути свій сайт у топ пошукових систем, звертайтеся до веб-студії Cyborg Studio за телефоном 067 250 60 02
