Parece ultrajante essa questão, mas existem vários motivos pelos quais podem te fazer querer “esconder” o seu blog ou site dos motores de busca. É uma regra desejar que seu blog ou site seja encontrável nos buscadores online e por conseguinte, estar bem ranqueado pela palavra-chave que escolheu trabalhar. Há, inclusive, quem faça investimentos altíssimos em técnicas SEO para resultados orgânicos, outros optam mesmo pela publicidade para estarem no topo dessa lista, aí recorrem ao Google AdWords e afins.
Uma das melhores formas de trabalhar essas técnicas de SEO e ser eficaz no método é: publicar, de forma organizada e regular, conteúdos novos, interessantes e de qualidade.
Não é exatamente disso que vamos tratar hoje, mas o direto oposto: Como fazer para evitar que os motores de busca verifiquem, cataloguem e indexem seu website?
Observação: Se no seu blog estiver habilitada a opção “evitar que mecanismos de busca indexem este site”, o WordPress vai colocar tags “noindex” em todas as páginas, inclusive nas do seu site, caso o blog esteja incorporado nele. Isso vai atrapalhar a indexação da sua página nos buscadores e, consequentemente, reduzirá seu tráfego de busca.
Como eu já havia dito, existem algumas razões que fazem donos de sites ou desenvolvedores a não quererem indexar seu conteúdo na web, por exemplo: você está em um projeto de desenvolvimento de um site ou blog e prefere colocá-lo online e disponível, ao invés de trabalhar em um ambiente online, porém, fechado aos visitantes ou mesmo quem quer seu site ou blog abertos e disponíveis, mas não querem ser encontrados com facilidade.
É possível bloquear os Robots.txt para WordPress para evitar a visibilidade nos mecanismos de busca.
O WordPress integra no core uma funcionalidade que permite impedir os motores de busca de vasculharem seu site, desde textos até imagens. É fácil.
- Vá em Configurações > Leitura
- Ative a caixa “Evitar que mecanismos de busca indexem este site” na seção “Visibilidade nos mecanismos de busca”.
Quando esta caixa é ativada, o WordPress acrescenta uma linha ao header:
<meta name='robots' content='noindex,follow' />
Modifica ainda o ficheiro robots.txt, adicionando duas linhas:
User-agent: *
Disallow: /
Essas informações pedem aos robots dos motores de busca que não indexem os conteúdos do website. No entanto, a verdade é que depende apenas dos robots seguirem ou não as instruções dadas. Pode ficar tranquilo, os motores de busca respeitam essas solicitações.