WordPress Robots.txt optimización (+ Multisitio) — Tráfico del sitio web, clasificación & SEO Booster + WooCommerce

Better Robots.txt crea un robots.txt virtual de WordPress, que le ayuda a mejorar el SEO de su sitio web (capacidades de indexación, clasificación de Google, etc.) y su rendimiento de carga — Compatible con Yoast SEO, Google Merchant, WooCommerce y sitios de red basados en directorios (MULTISITIOS)

Con Better Robots.txt, puede identificar qué motores de búsqueda pueden rastrear su sitio web (o no), especificar instrucciones claras sobre lo que pueden hacer (o no) y definir un retardo de rastreo (para proteger su servidor de alojamiento contra raspadores agresivos). Better Robots.txt también le da control total sobre su contenido robots.txt de WordPress a través del cuadro de configuración personalizado.

Reduzca la huella ecológica de su sitio y la producción de gases de efecto invernadero (CO2) inherentes a su existencia en la Web.

DISPONIBLE EN 7 IDIOMAS

Los mejores complementos Robots.txt están traducidos y disponibles en: Chinese –汉语/漢語, inglés, francés – français, ruso –Руссɤɢɣ, portugués – português, español, alemán – Deutsch

¿Sabías que…?

• txt es un archivo de texto simple colocado en el servidor web que indica a los rastreadores web (como Googlebot) si deben acceder a un archivo.
• El archivo robots.txt controla cómo las arañas del motor de búsqueda ven e interactúan con sus páginas web;
• Este archivo y los robots con los que interactúan son partes fundamentales de cómo funcionan los motores de búsqueda;
• Lo primero que ve un rastreador de motores de búsqueda cuando visita una página es el archivo robots.txt;

Robots.txt es una fuente de SEO a la espera de ser desbloqueado. ¡Pruebe Better Robots.txt!

Acerca de la versión Pro (características adicionales):

1. ¡Aumente su contenido en los motores de búsqueda con su sitemap!

¡Asegúrese de que sus páginas, artículos y productos, incluso los últimos, sean tomados en consideración por los motores de búsqueda!

El complemento Better Robots.txt se hizo para trabajar con el complemento Yoast SEO (probablemente el mejor complemento SEO para sitios web de WordPress). Este detectará si actualmente está utilizando Yoast SEO y si la función del sitemap está activada. Si es así, agregará instrucciones automáticamente en el archivo Robots.txt pidiendo a los robots/rastreadores que lean su sitemap y verifiquen si ha realizado cambios recientes en su sitio web (para que los motores de búsqueda puedan rastrear el nuevo contenido que está disponible).

Si desea agregar su propio sitemap (o si está utilizando otro complemento de SEO), entonces solo tiene que copiar y pegar su URL de Sitemap, y Better Robots.txt lo agregará a su Robots.txt de WordPress.

2. Proteja sus datos y contenido

Bloquee los robots defectuosos que rastrean su sitio web para comercializar sus datos.

El complemento Better Robots.txt le ayuda a bloquear la mayoría de los robots malos más populares de rastrear sus datos.

Cuando se trata de cosas que rastrean su sitio, hay robots buenos y robots malos. Los robots buenos, como Google bot, rastrean su sitio para indexarlo para los motores de búsqueda. Otros rastrean su sitio por razones más evidentes, como eliminar su contenido (texto, precios, etc.) para volver a publicar, descargar archivos completos de su sitio o extraer imágenes. Algunos robots incluso acaban con sitios web enteros como resultado del uso intensivo de banda ancha.

El complemento Better Robots.txt protege su sitio web contra los rastreadores identificados como robots malos por Distil Networks.

3. Ocultar y proteger sus backlinks

Evite que los competidores identifiquen sus backlinks rentables.

Los backlinks, también llamados «enlaces de entradas» o «enlace de vuelta al sitio», se crean cuando un sitio web se vincula a otro. El enlace a un sitio web externo se denomina backlink. Los backlinks son especialmente valiosos para el SEO porque representan un «voto de confianza» de un sitio a otro. En esencia, los backlinks a su sitio web son una señal para los motores de búsqueda que otros responden por su contenido.

Si muchos sitios enlazan a la misma página web o sitio web, los motores de búsqueda pueden inferir que el contenido vale la pena vincularlo, y por lo tanto también vale la pena mostrarlo en un SERP. Por lo tanto, obtener estos backlinks genera un efecto positivo en la posición de clasificación de un sitio o en la visibilidad de búsqueda. En la industria SEM, es muy común que los especialistas identifiquen de dónde provienen estos backlinks (competidores) con el fin de clasificar lo mejor de ellos y generar backlinks de alta calidad para sus propios clientes.

Teniendo en cuenta que la creación de backlinks rentables para una empresa lleva mucho tiempo (tiempo + energía + presupuesto), permitir a sus competidores identificarlos y duplicarlos tan fácilmente es una pérdida de eficiencia.

Better Robots.txt le ayuda a bloquear todos los rastreadores SEO (AHRef, Majestic, Semrush) para mantener tus backlinks indetectables.

4. Evite los backlinks de spam

Los robots que rellenan los formularios de comentarios de su sitio web diciéndole “gran artículo”, ”amo la información”, “espero que pueda elaborar más sobre el tema pronto” o incluso proporcionar comentarios personalizados, incluyendo el nombre del autor son spam. Los robots de spam se hacen más y más inteligentes con el tiempo, y desafortunadamente, los enlaces de spam de comentarios realmente pueden dañar su perfil de backlink. Better Robots.txt le ayuda a evitar que estos comentarios sean indexados por los motores de búsqueda.

5. Herramientas SEO

Al mejorar nuestro complemento, hemos añadido enlaces de acceso directo a dos herramientas muy importantes (si usted está preocupado por su clasificación en los motores de búsqueda): Google Search Console y Bing Webmaster Tool. En caso de que aún no los esté utilizando, ¡ahora puede administrar la indexación de su sitio web mientras optimiza su robots.txt! También se agregó acceso directo a una herramienta de ping masivo, lo que le permite hacer ping a sus enlaces en más de 70 motores de búsqueda.

También hemos creado cuatro enlaces de acceso directo relacionados con las mejores Herramientas SEO en línea, directamente disponibles en Better Robots.txt SEO PRO. De modo que, siempre que lo desee, ahora puede comprobar el rendimiento de carga de su sitio, analizar su puntuación SEO, identificar su clasificación actual en SERPs con palabras clave y tráfico, e incluso escanear todo su sitio web en busca de enlaces muertos (404, 503 errores,…), directamente desde el complemento.

6. Sea único

Pensamos que podríamos añadir un toque de originalidad en Better Robots.txt añadiendo una característica que le permite «personalizar» su robots.txt de WordPress con su propia «firma» única. La mayoría de las grandes empresas del mundo han personalizado su robots.txt añadiendo proverbios (https://www.yelp.com/robots.txt), lemas (https://www.youtube.com/robots.txt) o incluso dibujos (https://store.nike.com/robots.txt — en la parte inferior). ¿Y por qué no usted también? Es por eso que hemos dedicado un área específica en la página de configuración donde puede escribir o dibujar lo que quiera sin afectar la eficiencia de su robots.txt.

7. Evite que los robots rastreen enlaces inutilizables de WooCommerce

Hemos agregado una característica única que permite bloquear enlaces específicos («add-to-cart», «orderby», «fllter», carrito, cuenta, facturación,…) que no sean rastreados por los motores de búsqueda. La mayoría de estos enlaces requieren mucho uso de CPU, memoria y ancho de banda (en el servidor de alojamiento) porque no se pueden almacenar en caché y/o crean bucles de rastreo «infinitos» (mientras que son inutilizables). Optimizar su WordPress robots.txt para WooCommerce cuando tiene una tienda en línea, permite proporcionar más potencia de procesamiento para las páginas importantes y aumentar su rendimiento de carga.

8. Evite las trampas de rastreadores:

Las «trampas de rastreadores» son un problema estructural dentro de un sitio web que hace que los rastreadores encuentren un número virtualmente infinito de URL irrelevantes. En teoría, los rastreadores podrían quedar atrapados en una parte de un sitio web y nunca terminar de rastrear estas URL irrelevantes. Better Robots.txt ayuda a prevenir las trampas de rastreadores que perjudican el presupuesto de rastreo y causan contenido duplicado.

9. Herramientas de hackeo de crecimiento

Las empresas de más rápido crecimiento actualmente, como Amazon, Airbnb y Facebook, han impulsado el crecimiento de la ruptura al alinear a sus equipos en torno a un proceso de prueba/aprendizaje de alta velocidad. Estamos hablando de la estrategia de posicionamiento. La estrategia de posicionamiento es un proceso de experimentación rápida e implementación de estrategias de marketing y promoción que se centran únicamente en el crecimiento eficiente y rápido del negocio. Better Robots.txt proporciona una lista de más de 150 herramientas disponibles en línea para aumentar su crecimiento.

10. Robots.txt Post Meta Box para exclusiones manuales

Este Post Meta Box permite establecer “manualmente” si una página debe ser visible (o no) en los motores de búsqueda inyectando una regla dedicada “disallow” + «noindex» dentro de su robots.txt de WordPress. ¿Por qué es un activo para su clasificación en los motores de búsqueda? Simplemente porque algunas páginas no están destinadas a rastrearse o indexarse. Las páginas de agradecimiento, las páginas de destino, las páginas que contienen exclusivamente formularios son útiles para los visitantes, pero no para los rastreadores, y no es necesario que sean visibles en los motores de búsqueda. Además, algunas páginas que contienen calendarios dinámicos (para reservas en línea) NUNCA deben ser accesibles para los rastreadores ya que tienden a atraparlos en bucles de rastreo infinitos que afectan directamente a su presupuesto de rastreo (y su clasificación).

Más por venir como siempre…

El complemento Better Robots.txt está habilitado, pero ¿por qué no puedo ver ningún cambio en el archivo robots.txt?

Better Robots.txt crea un archivo robots.txt virtual de WordPress. Asegúrese de que sus enlaces permanentes estén activados desde Configuración > Enlaces permanentes. Si los enlaces permanentes funcionan, asegúrese de que no haya ningún archivo robots.txt físico en su servidor. Dado que no puede escribir sobre un archivo físico, por lo que debe conectarse a FTP y cambiar el nombre o eliminar robots.txt de su directorio raíz de dominio. Por lo general, en la carpeta /public_html/ en alojamientos cPanel. Si no encuentra el directorio raíz de su dominio, solicite ayuda a su proveedor de alojamiento. Si el problema persiste después de tomar estas medidas, por favor publíquelo en la sección de soporte o envíe un mensaje a [email protected]

¿Habrá algún conflicto con robots.txt que ya estoy usando?

Si tiene un robots.txt físico en su servidor de alojamiento web, entonces este complemento no funcionará. Como se mencionó, cree un archivo robots.txt virtual de WordPress. Por favor, siga los pasos en la respuesta anterior si desea utilizar el archivo robots.txt con este complemento.

¿Cómo agregar sitemap en mi robots.txt de WordPress?

Esta característica está permitida en la versión Better Robots.txt Pro, que agrega automáticamente sitemap en el archivo robots.txt. Detecta el sitemap del complemento Yoast SEO. En caso de que esté utilizando un complemento de sitemap diferente o un sitemap generado manualmente, puede simplemente agregar la URL del sitemap en el campo de entrada del sitemap. Si los sitemaps XML de Yoast también están activados, primero debe desactivarlo simplemente yendo a Yoast Configuraciones generales > Características y deshabilitar la función XML Sitemaps.

¿Por qué debería optimizar el robots.txt?

¿Por qué no? Teniendo en cuenta que el robots.txt es el primer archivo leído cuando un navegador carga su sitio web, ¿por qué no habilitar a los rastreadores para indexar continuamente su contenido? El simple hecho de agregar su Sitemap en el Robots.txt es simplemente sentido común. ¿Por qué? ¿Ha enlistado su sitio web en Google Search Console, lo ha hecho su webmaster? ¿Cómo decirle a los rastreadores que tiene nuevo contenido disponible para indexación en su sitio web? Si quiere que este contenido se encuentre en los motores de búsqueda (Google, Bing,…), tiene que indexarlo. Eso es exactamente lo que pretende esta instrucción (añadir el sitemap). Un último punto. La razón principal por la que existe este complemento se debe al hecho de que el 95 % del tiempo (con base en miles de análisis SEO), el robots.txt está ausente, vacío o mal utilizado, simplemente porque es mal entendido u olvidado. Imagine ahora si se activó y está completamente funcional.

¿Cómo puede este complemento aumentar la clasificación de mi sitio web?

En realidad, este complemento aumentará la capacidad de indexación de su sitio web lo que conduce a mejorar su clasificación en Google. ¿Cómo? Bueno, la idea de crear este complemento fue tomada después de hacer cientos de optimizaciones SEO en sitios web profesionales y corporativos. Como se mencionó anteriormente, el 95 % de los sitios web analizados no tenían lo que podríamos llamar un archivo robots.txt “optimizado” y, mientras estábamos optimizando estos sitios web, nos dimos cuenta de que simplemente modificar el contenido de este archivo era en realidad “desbloquear” estos sitios web (con base en análisis diarios de SemRush). Como estábamos acostumbrados a trabajar en dos pasos (períodos de tiempo), comenzar con esta simple modificación ya estaba generando un impacto significativo en la clasificación de Google, y esto, incluso antes de empezar a modificar profundamente el contenido, la arborescencia del sitio o los Datos META. Cuanto más ayude a los motores de búsqueda a comprender su sitio web, mejor ayudará a su capacidad de obtener mejores resultados en SERPs.

¿Cómo probar y validar su robots.txt?

Aunque puede ver el contenido de su robots.txt navegando a la URL de robots.txt, la mejor manera de probarlo y validarlo es a través de la opción de probador robots.txt de Google Search Console.

Inicie sesión en su cuenta de Google Search Console. Haga clic en el probador robots.txt, que se encuentra en Opciones de rastreo. Haga clic en el botón Prueba.

Si todo está bien, el botón Prueba se pondrá verde y la etiqueta cambiará a PERMITIDO. Si hay un problema, se resaltará la línea que causa un rechazo.

¿Qué es un archivo robots.txt virtual?

WordPress por defecto utiliza un archivo robots.txt virtual. Esto significa que no puede editar directamente el archivo ni encontrarlo en la raíz de su directorio.

La única forma de ver el contenido del archivo, es escribir https://www.yourdomain.com/robots.txt en su navegador.

Los valores predeterminados de WordPress robots.txt son:

User-agent: *

No permitir: /wp-admin/

Permitir: /wp-admin/admin-ajax.php

Cuando activa la opción «Evitar que los motores de búsqueda indexen este sitio» en Configuración de visibilidad del motor de búsqueda, el robots.txt se convierte en:

User-agent: *

No permitir: /

Lo que básicamente impide que todos los rastreadores accedan al sitio web.

¿Por qué es importante Robots.txt?

Hay tres razones principales por las que usted desearía utilizar un archivo robots.txt.

Bloquear páginas no públicas: A veces tiene páginas en su sitio que no desea indexar. Por ejemplo, es posible que tenga una versión provisional de una página. O una página de inicio de sesión. Estas páginas tienen que existir. Pero no quiere que gente al azar aterrice sobre ellas. Este es un caso en el que usaría robots.txt para bloquear estas páginas de rastreadores y robots de motores de búsqueda.

Maximizar presupuesto de rastreo: Si le resulta difícil conseguir todas sus páginas indexadas, es posible que tenga un problema de presupuesto de rastreo. Al bloquear páginas sin importancia con robots.txt, el robot de Google puede gastar más de su presupuesto de rastreo en las páginas que realmente importan.

Evitar la indexación de recursos: El uso de metadirectivas puede funcionar igual de bien que Robots.txt para evitar que las páginas se indexen. Sin embargo, las metadirectivas no funcionan bien para recursos multimedia, como archivos PDF e imágenes. Ahí es donde robots.txt entra en juego.

Puede comprobar cuántas páginas ha indexado en Google Search Console.

Si el número coincide con el número de páginas que desea indexar, no es necesario que se moleste con un archivo Robots.txt.

Pero si ese número es mayor de lo esperado (y observa URL indexadas que no deberían indexarse), entonces es hora de crear un archivo robots.txt para su sitio web.

Robots.txt frente a metadirectivas

¿Por qué usaría robots.txt cuando puede bloquear páginas en el nivel de página con la metaetiqueta «noindex»?

Como se mencionó anteriormente, la etiqueta noindex es difícil de implementar en recursos multimedia, como vídeos y archivos PDF.

Además, si tiene miles de páginas que desea bloquear, a veces es más fácil bloquear toda la sección de ese sitio con robots.txt en lugar de agregar manualmente una etiqueta noindex a cada página.

También hay casos extremos en los que no desee desperdiciar ningún presupuesto de rastreo en Google en páginas de aterrizaje con la etiqueta noindex.

Cosas importantes sobre robots.txt

• Robots.txt debe estar en la carpeta principal, es decir, domain.com/robots.txt.
• Cada subdominio necesita su propio robots.txt (sub1.dominio.com, sub2.dominio.com,…) mientras que los multisitios solo requieren UN robots.txt (domain.com/multi1, domain.com/multi2,…).
• Algunos rastreadores pueden ignorar robots.txt.
• Las direcciones URL y el archivo robots.txt distinguen entre mayúsculas y minúsculas.
• Google no respeta la demora de rastreo (ya que tiene su propio presupuesto de rastreo), pero puede administrar la configuración de rastreo en Google Search Console.
• Validar el archivo robots.txt en Google Search Console y Herramientas para webmasters de Bing.
• No bloquea el rastreo para evitar el contenido duplicado. No desautoriza las páginas que se redirigen. Los rastreadores no podrán seguir la redirección.
• El tamaño máximo de un archivo robots.txt es 500 KB