Gerador de robots.txt do Google
Verificando algumas informações na Ferramenta para Webmasters do Google, achei uma ferramenta bem interessante, para geração do robots.txt.

A ferramenta é bem simples de usar, basta clicar no botão adicionar regra e selecionar as opções, na primeira coluna, você pode optar por bloquear ou permitir (lembrando que só o Google suporta, oficialmente, o permitir), na seguinte, seleciona o robô que deve ser afetado, depois o diretório ou arquivo para a regra que está sendo criada. Depois disso, basta clicar em adicionar que o arquivo será alterado.
Uma vez criada a regra, você poderá alterar ou excluir a mesma ou adicionar novas regras. Quando estiver satisfeito, basta baixar o arquivo e enviar para a raiz do seu servidor.
Achei a ferramenta bastante interessante e prática para quem não sabe o protocolo do robots.txt ou tem medo de digitar algo errado (já que qualquer erro nesse arquivo, pode ser fatal para a indexação do site). Só ficou faltando a opção de incluir a linha do Sitemap e a lista de robôs, poderia ser atualizada com todos, ao invés de precisarmos digitar qualquer um que seja diferente de todos ou dos que são usados pelo Google.
Artigos relacionados
- Remova suas páginas do Google
- links for 2006-11-30
- O Robots.txt ideal para o Wordpress
- My Dots for Saturday, March 31, 2007
- links for 2006-06-23













Fala Bruno Blz?? Estava a uns 3 dias adotando os procedimentos pós produção do meu port online e do meu blog e só lembrei de fazer o robots pq esse o seu post. Provavelmente teria esquecido, embora saibamos que ele serve para reforçar o aviso da busca, exceto em configurações mais complexas de restrição e etc. para os mecanismos de busca.
A configuração de fato é bem simples e o "three hit combo" ADICIONAR URL + INCLUIR SITEMAP + INCLUIR ROBOTS é fundamental para o SEO de qq projeto.
Aproveito para avisar que lancei meu blog essa semana e com isso, estou voltando de forma ativa para a blogosfera, dessa vez em um blog particular e não mais no código laranja.
abração e nos encontramos em próximos posts.