Toda web necesita un archivo robots.txt, ya que indica a los buscadores qué páginas indexar. Dicho de forma sencilla, el archivo señala qué páginas debe indexar el buscador y cuáles no. Antes de rastrear una web, los robots de Google consultan el robots.txt y leen su contenido. Ocurre en una fracción de segundo, así que los usuarios ni lo notan.
Puedes ver este archivo en cualquier web en https://xxx.ua/robots.txt, donde xxx es el dominio. Puede tener muchas líneas, pero las más importantes son las directivas Disallow y Allow (prohibido y permitido). Junto a cada una se indican las secciones de la web a las que el buscador tiene el acceso bloqueado o permitido.
Para qué sirve el archivo robots.txt
Alguien podría pensar: ¿para qué impedir que el buscador indexe algunas secciones? ¿No perjudica a la web que ciertas páginas no aparezcan ni siquiera buscándolas? ¡No, no hay ningún perjuicio!
¿Qué es la indexación? Es la recogida de información sobre el contenido de una sección por parte del buscador. ¿Para qué querría Google información sobre la sección «Contacto» o el bloque «Enviar solicitud»? Nadie busca esos elementos en el buscador: se usan dentro de la web. Y cuantas menos páginas se indexan, más rápido va todo el proceso.
Otras funciones del archivo robots.txt:
- reducir la carga del servidor durante el rastreo (imagina que sin este archivo el buscador tuviera que revisar todas las páginas cada vez);
- indicar la ruta al mapa del sitio;
- definir el espejo principal de la web.
Cómo se crea el archivo robots.txt
Al trabajar con esta herramienta es importante evitar errores graves:
- la ruta a una sección o carpeta se indica de forma vaga (no basta con escribir «carpeta» o algo parecido);
- el archivo contiene caracteres no admitidos;
- el archivo no está en formato de texto.
El archivo robots.txt se crea a mano en un editor de texto (como el Bloc de notas de Windows) o con servicios online especializados. Cada cual elige la forma más cómoda. Los especialistas SEO con experiencia no confían esta tarea a servicios externos, porque se puede pasar algo por alto.
Antes de crear el archivo, hay que conocer todas las directivas:
- User-agent: el robot al que se aplica la regla (por ejemplo, Googlebot);
- Disallow: prohíbe indexar carpetas;
- Allow: permite indexar carpetas;
- Noindex: prohíbe indexar parte del contenido;
- Clean-param: excluye parte de la URL de la indexación;
- Host: espejo de la web;
- Sitemap: ruta al mapa del sitio.
Solo después de conocer las directivas se puede crear el archivo de texto. Es muy sencillo: cada línea contiene una directiva y una ruta (por ejemplo, «Disallow: /bin/» significa «no indexar los enlaces del carrito»). Algunos webmasters dejan comentarios marcados con «#»: los buscadores no los leen y no afectan al archivo.
Cómo comprobar que robots.txt está bien
Probar el archivo es muy importante. Puedes comprobarlo con las herramientas de Google, pero solo después de subirlo a la raíz de la web. Hazlo y abre el archivo en https://xxx.ua/robots.txt, donde xxx es tu dominio. Si aparece un error, algo está mal. Lo ideal es ver las reglas de indexación con las directivas Disallow, Allow y demás.
No subestimes el robots.txt
Si falta el archivo o está mal redactado, afecta negativamente a la indexación de toda la web, así que no conviene descuidar esta herramienta SEO. Si no sabes dónde colocar el robots.txt ni cómo redactarlo, confíalo a especialistas. El estudio web CYBORG hará todo lo necesario para redactar el robots.txt y subirlo a la raíz de tu web. Antes haremos un análisis para definir la estructura del sitio y las secciones que deben indexarse.
Si quieres posicionar tu web en lo más alto de los buscadores con eficacia, contacta con Cyborg Studio en el +380 67 250 60 02
