Robots.txt é um arquivo de texto nomeado como robots e salvo na raiz do website para controlar e instruir os robôs de busca sobre como lidar com a indexação do seu conteúdo.
O bot do Google atualmente se comporta como um navegador de internet estando cada vez mais inteligente e renderizando as páginas da web a serem indexadas além das famosas versões textuais inicialmente conhecidas. Para uma melhor compreensão e análise da página é necessário que se permita a indexação de arquivos JavaScript e CSS.
A diretiva Allow do Robots.txt
Uma das diretivas do arquivo robots.txt é a Allow que informa aos robôs de busca o que eles podem indexar em seu website. Para se certificar que os arquivos JavaScript e CSS serão indexados e por conseguinte analisados é possível fazer uso do seguinte código em seu arquivo robots.txt:
Allow: .js Allow: .css
O código acima especifica que todos os arquivos nomeados como .js e .css podem ser indexados. Arquivos nomeados como .js são de JavaScript que definem os comportamentos das páginas e arquivos .css são as folhas de estilos utilizadas para personalizar seu website.
Um pouco de história
Matt Cutts, em 2012, afirmou que o Googlebot é inteligente o suficiente para lidar com os arquivos estruturais do website como CSS e JS e não somente com as informações. Assim é possível compreender o seu website como um todo e não somente os textos. O buscador, além de se preocupar com a relevância, dá atenção à experiência do usuário e para se certificar que ela está adequada se faz necessário o processamento desses arquivos.
O Google Search Console quando identifica a impossibilidade de indexar esses tipos de arquivos ele notifica o webmaster responsável pelo website por e-mail, desde que o site esteja cadastrado em seu serviço para monitorar os dados de resultados da Pesquisa Google.
O arquivo robots.txt ideal
O robots.txt ideal será relativo a várias questões e plataforma em uso. Para os usuários de WordPress abordamos o assunto com foco em segurança e abaixo sugiro a leitura de mais informações a respeito.
