Não crie uma gaiola para o Google
Com freqüência, recebo a seguinte reclamação:
Bruno, desde que implementei o robots.txt que você sugeriu, minhas visitas vindas do Google despencaram, segui todas as dicas do artigo, inclusive adaptando para as URLs que uso, mas a situação só piora.
Então, vou verificar o blog da pessoa e me deparo com uma situação extremamente comum.
Foi criada uma gaiola para o Google.
Ou, pior ainda, o Google só tem saída para outros blogs.
O layout padrão de um blog é um cabeçalho, com o nome do blog, uma área com os artigos e uma barra lateral com a lista de categorias e links.
Até ai, tudo bem, só que se você parar para pensar, no robots.txt, você disse ao Google para não seguir suas categorias.
Ou seja, o googlebot visita a página inicial do seu blog, indexa os artigos que estão lá e vai a caça de links para poder seguir seu caminho.
O googlebot, em geral, pode seguir para as páginas individuais de cada artigo, pois existe o link para poder comentar.
Quando tenta ir para as categorias, não pode, pois está bloqueado no robots.txt, só vai poder seguir para os links externos.
Com esta configuração, foi criada uma gaiola para o googlebot (e demais robôs), pois ele só tem para indexar, no seu blog, a home e os artigos que estão na home, que são conteúdo duplicado da home.
No final desta história, você só terá a home bem rankeada no Google, é claro que sua visitação vai despencar.
Você precisa deixar caminhos para que os crawlers (robôs dos mecanismos de busca) possam varrer seu blog, sempre que fizerem uma visita.
Mas como fazer isso?
Talvez, a melhor opção é usar a técnica onde mostro como colocar todos as suas páginas a dois cliques de distância, claro, tirando o bloqueio das categorias do robots.txt.
Outra opção interessante é a utilização do plugin Related Posts, ele cria uma lista de artigos relacionados, baseado em consultas à base de dados.
Assim, você ganha 3 vezes, o robô terá para onde ir, vai ter links relacionados ao assunto para seguir e seus visitantes, também poderão ver artigos relacionados ao que estão lendo.
Mas e o sitemap?
O sitemap, informa o Google sobre todas as suas páginas criadas, para que ele visite de tempos em tempos.
Apesar de parecer uma solução para o problema, não é, pois o sitemap é apenas uma sugestão que pode ou não ser seguida.
Já links, levam o robô a seguir para as páginas.
O sitemap é muito importante, mas não tem como competir com a importância dos links.
Voltando para o índice
Uma vez que você tenha montado uma boa estrutura de links, não mantendo os robôs presos na home do blog, basta aguardar alguns dias (ou semanas, dependendo da velocidade de indexação para seu blog), que tudo voltará como era antes.
Existe a possibilidade de perder um pouco do posicionamento em relação ao que tinha antes, uma vez que essas páginas não foram indexadas com a freqüência que devia ou, em alguns casos, nem chegaram a ser indexadas.
Artigos Relacionados
Comments
8 Comentários
-
Ofertas
Links Recentes- Últimas do Fórum
- BernaBauer
- Command and Conquer: Red Alert 3
- iPhone ainda não chegou à maturidade
- Como trocar a memória do seu MacBook Pro
- Atirando em bolas de golf
- Microsoft USB Wireless Notebook Presenter Mouse 8000
- Ubiquity
- Carro que já vem com laje
- Diagnóstico de câncer por email numa foto digital
- Reserva para iPhone da Claro sai por R$100
- Quanta energia meu telhado pode gerar?
Embora em termos de conteúdo a solução não seja tão boa quanto a sua, eu costumo usar em meus sites um sitemap acessível com todas as páginas do blog linkadas.
Por exemplo:
http://www.alessandromartins.com/mapadosite/
(Obs: no tutorial que fala sobre a meta tag para impedir dupla indexação, o link "tutoriais" está quebrado... só para avisar)
Abraços!
Eu tinha feito uma cagada parecida com essa, bati cabeça bastante tempo até me lembrar do robots.txt ^^
me identifiquei de cara com o título.
Ahh, descobri porque minha visitação caiu. Tinha criado um robots.txt por mim mesmo, e olhando agora vi que as categorias estavam bloqueadas. Boa dica, me toquei agora...
Cara não consegui baixar o "Related Posts", o link que você passou está quebrado...
abraços
É preciso muuuito cuidado ao mexer no robots. Se nosso blog despenca alguns dias, é relativamente contornável. Mas já pensou cometer um erro desse no site de algum cliente?
[...] varre a tua página ele acessa os links existentes e você precisa trabalhar bem os links internos evitando criar uma gaiola para o rôbo do Google. Outro motivo interessante para a criação de links internos é a possibilidade do Google não ter [...]
Acho até hoje que o BrPoint falhou ao apresentar o robots.txt mais lindo do mundo, sem completar o artigo informando que COM ele, era necessário ter o site de tal e de tal forma, como foi falado só neste artigo.
Antes do robots.txt, meu site tinha o mesmo layout - sem links pra categorias e arquivos mensais - mas usava o sitemap normalmente, e tudo ia bem.
Depois deste robots, as visitas caíram sensivelmente e, mesmo alterando o tema pra contemplar todos estes links de navegação, nunca mais foi o mesmo.
Alessandro, esse mapa do site, só funciona bem para os mecanismos de busca, por isso não sou muito fã, prefiro soluções que ajudem com o Google, mas tragam valor aos leitores.
Obrigado pelo aviso, já acertei o link.
Dario, infelizmente, descobri que isso é mais comum do que eu imaginava.
Vinicius, o plugin foi tirado do ar.
Tente no repositório oficial achar algum semelhante ou utilize a função do UTW para isso.
Walmar, sim, já vi prejuízos muito grandes por causa de erros no robots.txt, o ideal é entender o funcionamento do mesmo.
Anônimo, não tem problema colocar quem você é, críticas são bem vindas.
Não imaginava que isso poderia acontecer, uma vez que todos os temas que já vi para o Wordpress, trazem a navegação por categoria e não me pareceu que alguém fosse tirar isso.
Só vim a descobrir que as pessoas removiam os links, depois que alguns começaram a reclamar dos problemas.
Abraços