Файл robots.txt необходим каждому сайту, так как в нем содержится информация о страницах для индексации поисковыми службами. Проще говоря, в файле указано, какие страницы поисковику стоит индексировать, а какие нет. Перед каждым открытием веб-ресурса популярные поисковые службы Google или Яндекс переходят на robots.txt и изучают содержащуюся там информацию. Это происходит за доли секунды, поэтому пользователи этого не замечают вовсе.
Просмотреть содержимое этого файла можно на любом сайте по адресу: https://xxx.ua/robots.txt, где xxx — домен. Там может быть много строк, но основную роль выполняют пункты “Disallow” и “Allow” (соответственно, запрещено и разрешено). Напротив каждой такой команды указаны основные разделы сайта, к которым заблокирован или разблокирован путь поисковой системы.
Для чего нужен файл robots.txt
Кто-то может подумать, для чего нужно поисковику блокировать индексацию некоторых разделов? Разве это не навредит в целом сайту, если те или иные страницы будут недоступны даже при целенаправленном поиске? Нет, ни о каком вреде не может быть и речи!
Что такое индексация страницы? Это сбор информации поисковой системой о содержимом в том или иной разделе. А для чего Google или Яндекс собирать информацию, например, о разделе “Контакты” или блоке “Оставить заявку”? Эти элементы не интересуют пользователей в поисковике — они используют этот материал уже на самом сайте. А чем меньше страниц на веб-ресурсе индексируется, тем быстрее происходит весь этот процесс.
Другие функции файла robots.txt:
- Снижение нагрузки на сервер при осуществлении поиска (только представьте, что каждый раз поисковику приходится проверять все страницы в поиске нужной информации без файла-робота);
- Указание пути к карте сайта;
- Определение главного зеркала веб-ресурса.
Как происходит создание файла robots.txt
При работе с этим инструментом важно не допустить грубых ошибок:
- Размер файла слишком большой (он не должен превышать 32 килобайта для поисковика Яндекс и 512 килобайт для Google);
- Путь к каждому разделу или папке указан обобщенно (нельзя просто указать “папка” или что-то в этом роде);
- В содержании файла имеются неподдерживаемые символы;
- Файл имеет не текстовый формат.
Создание robots.txt осуществляется либо вручную в текстовом файле (в стандартном блокноте Windows), либо при помощи специальных онлайн-сервисов. Каждый сам для себя определяет наиболее удобный способ. Опытные SEO-специалисты не доверяют эту задачу сторонним сервисам, так как там можно что-то упустить.
Перед созданием этого файла нужно знать все деривативы:
- User-agent — указание поисковой системы, к которой обращается файл (например, Google или Яндекс);
- Disallow — запрет на индексацию папок;
- Allow — разрешение индексации папок;
- Noindex — запрет на индексацию части контента;
- Clean-param — запрет на индексацию части адреса страницы;
- Host — зеркало веб-ресурса;
- Sitemap — путь к карте сайта.
Только после изучения этих деривативов можно приступать к созданию текстового файла. Делается это очень просто — каждая новая строка заполняется с указанием значения и пути (например, “Disallow: /bin/” — что означает “не индексировать ссылки из товарной корзины”). Некоторые веб-мастера оставляют сообщения или пометки, отделяя их значением “#” (они не будут читаться поисковыми службами и никак не влияют на содержание текстового файла).
Как убедиться в правильности заполнения robots.txt
Тестирование созданного текстового файла очень важно, так как нужно убедиться, что он заполнен правильно. Проверку можно выполнить в сервисах Google и Yandex. Но сделать это получится только после окончательной выгрузки документа в корень веб-ресурса. Сделайте это и откройте файл по ссылке https://xxx.ua/robots.txt, где xxx — домен сайта. Если выдается ошибка, значит, что-то сделано неверно. В идеале на экране должны появится обозначения для индексации, включающие Disallow, Allow и другие деривативы.
Не стоит недооценивать robots.txt
Отсутствие или неправильное заполнение этого текстового файла негативно сказывается на индексации веб-ресурса в целом. Поэтому не стоит пренебрегать этим инструментом SEO. Если вы не знаете, где должен размещаться файл robots.txt и как правильно это сделать, то доверьте это специалистам. Веб-студия CYBORG выполнит все необходимое для прописывания robots.txt и его добавления в корень сайта. Предварительно будет проведен анализ, по результатам которого определяется структура ресурса и необходимые для индексации разделы.
Если Вы хотите качественно и эффективно продвинуть свой сайт в топ поисковых систем, обращайтесь в web-studio «Cyborg Studio» по телефону — 067 250 60 02
