Blog

Otimização do Robots.txt do WordPress (Better Robots.txt)

Otimização do Robots.txt do WordPress (+ Multisite) – Tráfego do site, ranking e SEO Booster + Woocommerce

O Better Robots.txt cria um robots.txt virtual do WordPress, ajuda a aumentar o SEO do seu site (capacidade de indexação, ranking do Google, etc) e o desempenho de carregamento – Compatível com Yoast SEO, Google Merchant, WooCommerce e sites de rede baseados em diretório (MULTISITE)

Com o Better Robots.txt, você poderá identificar quais mecanismos de pesquisa têm permissão para rastrear o seu site, especificará instruções sobre o que eles podem fazer (ou não) e definirá um tempo de atraso de rastreamento (para proteger seu servidor de hospedagem contra ataques agressivos). O Better Robots.txt também oferece controle total sobre o conteúdo do seu robots.txt do WordPress por meio de uma caixa de configurações personalizadas.

Reduza a pegada ecológica do seu site e a produção de gás carbônico (CO2) inerente à sua existência na Web.

Robots.txt

SUPORTE PARA 7 IDIOMAS

Os plugins Better Robots.txt são traduzidos e estão disponíveis em: Chinês, Inglês, Francês, Russo, Português, Espanhol e Alemão

Você sabia que…

  • arquivo robots.txt é um arquivo de texto simples colocado em seu servidor da Web que informa aos rastreadores da Web (como o Googlebot) se devem ou não acessar um arquivo.
  • arquivo robots.txt controla como os mecanismos de pesquisa veem e interagem com as páginas do seu site;
  • arquivo e os bots que interagem com ele são partes fundamentais de como os mecanismos de pesquisa funcionam;
  • A primeira coisa que um rastreador de mecanismo de pesquisa observa quando visita uma página é o arquivo robots.txt;

O robots.txt é uma fonte de SEO aguardando para ser desbloqueada. Experimente o Better Robots.txt !

Sobre a versão Pro (recursos adicionais):

  1. Intensifique o seu conteúdo nos mecanismos de pesquisa com o seu sitemap!

Garanta que todas as suas páginas, artigos e produtos, mesmo os mais recentes, sejam levados em consideração pelos mecanismos de pesquisa!

O plugin Better Robots.txt foi feito para funcionar juntamente com o plugin Yoast SEO (provavelmente o melhor Plugin SEO para sites WordPress). Ele detectará se você está usando o Yoast SEO e se o recurso de sitemap está ativo. Se estiver, ele adicionará instruções automaticamente ao arquivo Robots.txt, solicitando que bots/crawlers leiam o sitemap e verifiquem se você fez alterações recentes em seu site (para que os mecanismos de pesquisa possam rastrear o novo conteúdo disponível).

Se você quiser adicionar seu próprio sitemap (ou se você estiver usando outro plugin SEO), então você só tem que copiar e colar o a URL do seu Sitemap e o Better Robots.txt irá adicioná-lo em seu WordPress Robots.txt.

  1. Proteja seus dados e conteúdo

Evite que bots ruins consultem o seu site para comercializarem seus dados.

O plugin Better Robots.txt ajuda você a bloquear os bots ruins mais populares contra o rastreamento e a coleta de dados.

Quando se trata de coisas rastreando seu site, existem bots bons e ruins. Os bons, como o Google bot, rastreiam seu site para indexá-lo aos mecanismos de busca. Já os ruins, rastreiam seu site por razões nefastas, como retirar seu conteúdo (texto, preço, etc.) para republicar, baixar arquivos inteiros de seu site ou extrair suas imagens. Se sabe que bots já foram usados para tirar sites do ar devido ao uso pesado da largura de banda.

O plugin Better Robots.txt protege seu site contra spiders/scrapers identificados como bots ruins pela Distil Networks.

  1. Esconda & proteja os seus backlinks

Impeça que concorrentes identifiquem os seus backlinks lucrativos.

Os Backlinks, também chamados de “inbound links” ou “incoming links”, são criados quando um site é vinculado a outro. O link para um site externo é chamado de backlink. Backlinks são especialmente valiosos para SEO porque representam um “voto de confiança” de um site para outro. Em essência, os backlinks para o seu site dizem aos mecanismos de busca que outros sites confiam em seu conteúdo.

Se muitos sites linkam a mesma página web ou site, os mecanismos de pesquisa podem concluir que o conteúdo vale a pena ser vinculado e, portanto, também vale a pena ser exibido em uma SERP. Assim, ter esses backlinks gera um efeito positivo na posição do ranking do site ou na visibilidade da pesquisa. Na indústria de SEM, é muito comum que os especialistas identifiquem de onde vêm esses backlinks (concorrentes) a fim de também tirarem proveito deles e gerarem backlinks de alta qualidade para seus próprios clientes.

Considerando que a criação de backlinks muito lucrativos para uma empresa leva muito tempo (tempo + energia + orçamento), permitindo que seus concorrentes os identifiquem e os dupliquem tão facilmente é uma perda pura de eficiência.

O Better Robots.txt ajuda você a bloquear todos os rastreadores de SEO (aHref, Majestic, Semrush) para manter seus backlinks indetectáveis.

  1. Evitar Backlinks de Spam

Existem bots que comentam automaticamente em seu site coisas como ‘ótimo artigo’, ‘adorei a informação’, ‘espero que você possa publicar mais sobre este tema em breve’. Às vezes, eles até mesmo fazem comentários personalizados, incluindo um nome do autor. Os spambots ficam cada vez mais inteligentes com o tempo e, infelizmente, os links de spam de comentários podem realmente prejudicar o seu perfil de backlink. O Better Robots.txt ajuda a evitar que esses comentários sejam indexados pelos mecanismos de pesquisa.

  1. Ferramentas de SEO

Ao aperfeiçoar o nosso plugin, adicionamos links de atalho para duas ferramentas muito importantes (se você estiver preocupado com sua classificação nos mecanismos de pesquisa): Google Search Console e Bing Webmaster Tool. Caso você ainda não esteja usando, agora você poderá gerenciar a indexação do seu site enquanto otimiza seu robots.txt! O acesso direto a uma ferramenta de ping em massa também foi adicionado, permitindo que você faça ping em seus links em mais de 70 mecanismos de busca.

Também criamos 4 links de atalho relacionados às melhores ferramentas de SEO online, diretamente disponíveis no Better Robots.txt SEO PRO. Para que, sempre que quiser, você possa verificar o desempenho de carregamento de seu site, analisar sua pontuação de SEO, identificar sua classificação atual em SERPs com palavras-chave e tráfego e até verificar todo o site em busca de links inativos (404, 503 erros, …) diretamente do plugin.

  1. Seja único

Pensamos que poderíamos adicionar um toque de originalidade ao Better Robots.txt, adicionando um recurso que permite “personalizar” o robots.txt do WordPress com sua “assinatura” exclusiva. A maioria das grandes empresas do mundo personalizam os seus robots.txt adicionando provérbios (https://www.yelp.com/robots.txt), slogans (https://www.youtube.com/robots.txt) ou até mesmo desenhos (https://store.nike.com/robots.txt – na parte inferior). E por que você não faz isso também? É por isso que dedicamos uma área específica na página de configurações, na qual você pode escrever ou desenhar o que quiser, sem afetar a eficiência do robots.txt.

  1. Impeça que os robôs rastreiem links inúteis do WooCommerce

Adicionamos um recurso exclusivo que evita que links específicos (“add-to-cart”, “orderby”, “fllter”, carrinho, conta, checkout, etc.) sejam rastreados pelos mecanismos de pesquisa. A maioria desses links exige muito uso de CPU, memória e largura de banda (no servidor de hospedagem) porque eles não são armazenáveis em cache e/ou criam loops de rastreamento “infinitos” (embora sejam inúteis). Otimizar o seu robots.txt do WordPress para o WooCommerce ao ter uma loja online, permite fornecer mais poder de processamento para as páginas que realmente importam e aumentar o desempenho de carregamento.

  1. Evite as armadilhas do rastreador

As “armadilhas do rastreador” são um problema estrutural em um site que faz com que os rastreadores encontrem um número virtualmente infinito de URLs irrelevantes. Em teoria, os rastreadores poderiam ficar presos em uma parte de um site e nunca terminar de rastrear esses URLs irrelevantes. O Better Robots.txt ajuda a evitar as armadilhas do rastreador que prejudicam o rastreamento e causam conteúdo duplicado.

  1. Ferramentas de Growth Hacking

As empresas que mais rápido crescem hoje, como a Amazon, a Airbnb e o Facebook, impulsionaram o crescimento gradual ao alinharem suas equipes em torno de um processo de aprendizado/teste de alta velocidade. Estamos falando de Growth Hacking. O growth hacking é um processo de rápida experimentação e implementação de estratégias de marketing focadas exclusivamente no crescimento eficiente e rápido dos negócios. O Better Robots.txt fornece uma lista de mais de 150 ferramentas disponíveis online para impulsionar o seu crescimento.

  1. Robots.txt Post Meta Box para exclusões manuais

Esta Post Meta Box permite definir “manualmente” se uma página deve estar visível (ou não) para os motores de pesquisa, injetando uma regra dedicada de “disallow” + “noindex” dentro do seu robots.txt do WordPress. Por que é bom para o seu ranking nos motores de busca? Simplesmente porque algumas páginas nunca devem ser rastreadas/indexadas. Páginas de agradecimento, páginas de destino, páginas contendo exclusivamente formulários são úteis para visitantes, mas não para rastreadores e você não precisa que elas estejam visíveis para os motores de pesquisa. Além disso, algumas páginas que contêm calendários dinâmicos (para reservas online) NUNCA devem estar acessíveis para rastreadores, porque tendem a prendê-los em loops infinitos de rastreamento, o que afetaria diretamente o seu custo de rastreamento (e a sua classificação).

E como sempre, mais coisas estão para chegar…

 

O Better Robots.txt está ativo, mas por que não consigo ver nenhuma alteração no arquivo robots.txt?

O Better Robots.txt cria um arquivo robots.txt virtual do WordPress. Garanta que os permalinks estejam ativos em Configurações > Permalinks. Se os links permanentes estiverem funcionando, verifique se não há um arquivo robots.txt físico em seu servidor. Como não é possível gravar em um arquivo físico, você deverá se conectar ao FTP e renomear ou excluir o robots.txt do diretório raiz do seu domínio. Geralmente ele fica no diretório /public_html/ nas hospedagens que usam cPanel. Se você não consegue encontrar o diretório raiz do seu domínio, peça ajuda ao seu provedor de hospedagem. Se o problema persistir depois de tomar essas medidas, poste-o na seção de suporte ou envie uma mensagem para [email protected]

Haverá algum conflito com o robots.txt que já estou usando?

Se você tiver um robots.txt físico em seu servidor de hospedagem, esse plugin não funcionará. Como mencionado, ele criará um arquivo robots.txt virtual do WordPress. Por favor, siga os passos da resposta acima se você quiser usar o arquivo robots.txt com este plugin.

Como adicionar o sitemap no meu robots.txt do WordPress?

Esse recurso é permitido na versão Better Robots.txt Pro, que adiciona automaticamente o sitemap no arquivo robots.txt. Ele detecta o sitemap do plugin Yoast SEO. Caso você esteja usando um plugin de sitemap diferente ou um sitemap gerado manualmente, basta adicionar o URL do sitemap no campo de entrada do sitemap. Se os sitemaps XML do Yoast também estiverem ativos, será necessário desativá-lo primeiro, simplesmente acessando as Configurações gerais do Yoast > Recursos e desativando o recurso Sitemaps do XML.

Por que eu deveria otimizar o robots.txt?

Por que não? Considerando que o robots.txt é o primeiro arquivo lido quando seu site é carregado por um navegador, por que não permitir que os indexadores indexem continuamente seu conteúdo? O simples fato de adicionar seu Sitemap no Robots.txt é simplesmente bom senso. Por quê? Você listou seu website no Google Search Console? O seu webmaster fez isso? Como dizer aos rastreadores que você tem novo conteúdo disponível para indexação em seu site? Se você quiser que esse conteúdo seja encontrado nos mecanismos de pesquisa (Google, Bing,…), é necessário indexá-lo. Isso é exatamente o que esta instrução (adicionando o mapa do site) visa. Um último ponto. A principal razão pela qual este plugin existe é devido ao fato de que 95% das vezes (baseado em milhares de análises de SEO) não existe um robots.txt ou ele está vazio ou mal formatado, simplesmente por falta de conhecimento ou esquecimento. Imagine agora se ele estiver ativo e totalmente funcional.

Como este plugin pode melhorar o ranking do meu site?

Na verdade, esse plugin aumentará a capacidade de indexação de seu website, o que causará uma melhor classificação no Google. Como? Bem, a ideia de criar este plugin foi tomada depois de fazer centenas de otimização SEO em sites profissionais e corporativos. Como mencionado anteriormente, 95% dos sites analisados não possuíam o que poderíamos chamar de arquivo robots.txt “otimizado” e, enquanto otimizávamos esses sites, percebemos que simplesmente modificar o conteúdo desse arquivo era na verdade “desbloquear” esses sites (baseado em análises diárias do SEMrush). Como estávamos acostumados a trabalhar em 2 etapas (períodos de tempo), começar com essa simples modificação já estava gerando um impacto significativo no Ranking do Google, e isso antes mesmo de começarmos a modificar profundamente o conteúdo, a arborescência do site ou os metadados. Quanto mais você ajudar os mecanismos de pesquisa a entender seu site, melhor você ajudará a capacidade deles de obterem melhores resultados em SERPs.

Como testar e validar seu robots.txt?

Embora você possa visualizar o conteúdo do seu robots.txt navegando até o URL do robots.txt, a melhor maneira de testá-lo e validá-lo é através da opção Testador do robots.txt do Google Search Console.

Faça login na sua conta do Google Search Console. Clique em teste do robots.txt, encontrado em Opções de Rastreamento. Clique no botão Testar.

Se tudo estiver ok, o botão Teste ficará verde e a etiqueta mudará para PERMITIDO. Se houver um problema, a linha que causa a desaprovação será destacada.

O que é um arquivo robots.txt virtual?

O WordPress, por padrão, usa um arquivo robots.txt virtual. Isso significa que você não pode editar diretamente o arquivo ou encontrá-lo na raiz do seu diretório.

A única maneira de visualizar o conteúdo do arquivo é digitar https://www.yourdomain.com/robots.txt no seu navegador.

Os valores padrão do robots.txt do WordPress são:

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Quando você ativa a opção “Desencorajar os mecanismos de pesquisa a indexar este site” nas Configurações de visibilidade do mecanismo de pesquisa, o robots.txt se torna:

User-agent: *

Disallow: /

O que basicamente impede que todos os rastreadores acessem o site.

Por que o Robots.txt é importante?

Existem três motivos principais para você usar um arquivo robots.txt.

Bloquear páginas não públicas: às vezes, você tem páginas no seu site que não deseja indexar. Por exemplo, você pode ter uma versão temporária de uma página. Ou uma página de login. Essas páginas precisam existir. Mas você não quer que pessoas aleatórias as encontrem. Este é um caso em que você usa o robots.txt para bloquear essas páginas de robôs e rastreadores de mecanismos de pesquisa.

Maximizar o custo de rastreamento: se você estiver com dificuldades para indexar todas as suas páginas, poderá ter um problema de custo de rastreamento. Ao bloquear páginas sem importância com o robots.txt, o Googlebot pode gastar mais do seu custo de rastreamento nas páginas que realmente importam.

Impedir a indexação de recursos: O uso de meta-diretivas pode funcionar tão bem quanto o Robots.txt, impedindo que as páginas sejam indexadas. No entanto, as meta-diretivas não funcionam bem para recursos multimídia, como PDFs e imagens. É aí que o robots.txt entra em jogo.

Você pode verificar quantas páginas indexou no Google Search Console.

Se o número corresponder ao número de páginas que você deseja indexar, não será necessário se preocupar com um arquivo Robots.txt.

Mas se esse número for maior do que o esperado (e você perceber URLs indexados que não devem ser indexados), é hora de criar um arquivo robots.txt para o seu site.

Robots.txt vs. Meta-Diretivas

Por que você usaria o robots.txt quando você pode bloquear páginas a nível da página com a metatag “noindex”?

Como mencionado anteriormente, a tag noindex é difícil de implementar em recursos multimídia, como vídeos e PDFs.

Além disso, se você tiver milhares de páginas que deseja bloquear, às vezes, é mais fácil bloquear toda a seção desse site com o robots.txt, em vez de adicionar manualmente uma tag noindex a cada página.

Há também casos específicos em que você não quer desperdiçar o custo de rastreamento do Google acessando páginas com a tag noindex.

Coisas importantes sobre o robots.txt

  • O Robots.txt deve estar na pasta principal, ou seja, dominio.com/robots.txt.
  • Cada subdomínio precisa de seu próprio robots.txt (sub1.domain.com, sub2.domain.com, …), enquanto os multisites exigem apenas UM robots.txt (domain.com/multi1, domain.com/multi2, …).
  • Alguns rastreadores podem ignorar o robots.txt.
  • URLs e o arquivo robots.txt fazem distinção entre maiúsculas e minúsculas.
  • O atraso de rastreamento não é respeitado pelo Google (pois possui custo próprio para rastreamento), mas você pode gerenciar as configurações de rastreamento no Google Search Console.
  • Valide seu arquivo robots.txt no Google Search Console e nas Ferramentas do Bing para webmasters.
  • Não bloqueie o rastreamento para evitar conteúdo duplicado. Não desabilite páginas que são redirecionadas. Os rastreadores não poderão seguir o redirecionamento.
  • O tamanho máximo de um arquivo robots.txt é de 500 KB.
Click to rate this post!
[Total: 2 Average: 5]