Gerador de robots.txt do Google

Apesar da sintaxe do robots.txt ser bem simples, algumas pessoas ainda se enrolam em gerá-lo, mesmo existindo modelos prontos, em vários lugares da internet.

Verificando algumas informações na Ferramenta para Webmasters do Google, achei uma ferramenta bem interessante, para geração do robots.txt.

A ferramenta é bem simples de usar, basta clicar no botão adicionar regra e selecionar as opções, na primeira coluna, você pode optar por bloquear ou permitir (lembrando que só o Google suporta, oficialmente, o permitir), na seguinte, seleciona o robô que deve ser afetado, depois o diretório ou arquivo para a regra que está sendo criada. Depois disso, basta clicar em adicionar que o arquivo será alterado.

Uma vez criada a regra, você poderá alterar ou excluir a mesma ou adicionar novas regras. Quando estiver satisfeito, basta baixar o arquivo e enviar para a raiz do seu servidor.

Achei a ferramenta bastante interessante e prática para quem não sabe o protocolo do robots.txt ou tem medo de digitar algo errado (já que qualquer erro nesse arquivo, pode ser fatal para a indexação do site). Só ficou faltando a opção de incluir a linha do Sitemap e a lista de robôs, poderia ser atualizada com todos, ao invés de precisarmos digitar qualquer um que seja diferente de todos ou dos que são usados pelo Google.

Melhores ofertas para:

Robô, Mecanismo, SEO, Livro

Artigos Relacionados

• Não crie uma gaiola para o Google
• Ferramentas para Webmasters do Live Search
• Não tenha pressa, com o tempo a velocidade de indexação do Google melhora.
• Usando seus sites para promover seus sites
• Tio, me dá um link ai?