
Seguindo com os tutoriais para WordPress, vamos ver como controlar a meta tag robots para que os mecanismos de busca não indexem conteúdo duplicado.
Não ter conteúdo duplicado indexado é muito importante para aumentar o valor de cada página e para evitar penalizações.
Queremos que somente os artigos e páginas sejam indexados e ganhem seus respectivos rankings, sem que as inúmeras páginas de arquivo geradas pelo WordPress sejam indexadas e acabem penalizando os documentos principais por conteúdo duplicado.
Para atingirmos isso, basta usar o código abaixo no
tema em uso no blog, junto as demais meta tags, dentro do <head> </head>:
Com o código acima, sempre que o robô acessar uma página de arquivo ou a homepage do blog, não fará a indexação, mas seguirá os links, indexando os artigos, que é nosso objetivo.
RSS feed para os comentários deste artigo.
Desculpe, mas os comentários para este artigo estão fechados.
04/abril/2007 at 16:05
Muito interessante esta dica!
Vou inserir em meu blog para testá-la… Acho que poderá acabar dando diferença mesmo
04/abril/2007 at 16:29
Excelente dica! Eu sempre mandava ver no index,follow sem pensar. Imaginava “ah, indexar tudo é sempre melhor”, mas isso realmente tem sentido, não é bom manter duplicatas!
Já tô implementando!
04/abril/2007 at 16:42
Carlos e Alexandre, apesar de ser ótimo ser indexado, não é bom indexar conteúdo duplicado, um dos conteúdos será penalizado, o ideal é sempre gerar conteúdo único, garantindo o melhor ranking possÃvel.
Abraços
05/abril/2007 at 9:23
Eu descobri recentemente que tive problemas com isso depois de criar o meu atual blog. Importei boa parte de minhas crônicas do Cracatoa Simplesmente Sumiu e, até agora, meu PR está zerado. Bem. Minha solução foi pedir a desindexação do conteúdo no endereço antigo, atualizar o robots.txt e incluir as tags, só para garantir. Vamos ver se dá certo.
05/abril/2007 at 9:28
… e já coloquei a tag para evitar a indexação da home e dos arquivos. E, mais, assinei o feed. Estava na hora de alguém falar a sério sobre esse assunto. Algumas pessoas ainda acreditam que SEO é falar de personalidades sem calcinha.
05/abril/2007 at 18:09
Bruno
Não seria melhor indexar a home, que normalmente tem um PR maior?
05/abril/2007 at 19:57
Alessandro, obrigado.
A atualização do PR ocorre somente de tempos em tempos, é normal que fique zerado até a nova atualização, o grande problema está em deixar as páginas com conteúdo duplicado perderem a força e só aparecerem no final da pesquisa ou nem mesmo aparecerem.
Dudu, a home muda o tempo todo, não é bom que ela seja indexada (para blogs), o ideal é mandar a pessoa que está pesquisando direto para o artigo.
Imagine que o visitante faz uma pesquisa pelas palavras mais procuradas no Google em Janeiro, escrevi um artigo sobre isso que não está mais na home, caso ele seja enviado para a home, não vai encontrar o que quer e irá embora.
Se for enviado diretamente para o artigo, pode ficar satisfeito e começar a visitar o resto do blog.
Existe uma opção para isso, se quiser que a home seja indexada, você poderia colocar só os excerpts na home, assim, não haveria tanta duplicação de conteúdo.
Mas testei isso por um tempo e não gostei do resultado.
Abraço
07/abril/2007 at 2:21
Como era de se esperar, existe um plugin para essa tarefa.
Que por sinal, precisa de uma nova versão com opção de não indexar a home, como sugerido aqui… Alguém se habilita?
09/abril/2007 at 0:26
Grande Bruno,
Obrigado pela dica, ultimamente percebi que estava tendo essa duplicação num dos meus sites. Não sabia como resolver isso e fiquei muito feliz em encontrar essa dica aqui.
Obrigado mesmo.
Abraços,
Filipe
09/abril/2007 at 8:32
Kaleo,
pode ser uma boa idéia incrementar este plugin, vou dar uma olhada nele.
Filipe, obrigado, que bom que ajudou.
Abraços
11/abril/2007 at 16:38
Desculpa a ignorância,
mas onde eu tenho q inserir esse código mesmo?
11/abril/2007 at 17:00
[...] passada escrevi como manipular a meta tag robots para que os mecanismos de busca não indexassem conteúdo duplicado na homepage do [...]
11/abril/2007 at 17:03
Sergingc, no header
no arquivo header.php do seu tema.Abraço
12/abril/2007 at 10:08
Acabei de fazer a alteração…
Estava notando uma irrelevância dos posts depois de alguns dias…
Espero que com essa técnica melhore.
Abs
12/abril/2007 at 10:29
Fernando, depois avise qual o impacto que obteve.
Abraço
12/abril/2007 at 13:09
Olá,
Fiz esta alteração no Google Discovery também. Vamos ver o que acontece.
Abraços e parabéns pelo blog!
12/abril/2007 at 13:48
Renê, obrigado, não deixe de dizer como foram os resultados
Abraço
13/abril/2007 at 8:54
Boa dia Bruno!
Estava pensando sobre está modificação e surgiu algumas questões.
Quanto tempo é necessário perceber a mudança?
Será que só vale para os posts novos?
Abs
14/abril/2007 at 15:09
[...] você tem um blog com WordPress, existe um bom artigo com dicas sobre o assunto Não permita a indexação de conteúdo duplicado no WordPress, mas tenho algumas coisas a acrescentar sobre isso, que vou deixar para um próximo [...]
17/abril/2007 at 10:38
Fernando, vai depender da velocidade que o Google varre seu blog, pode variar de algumas horas até vários dias e valerá para todos os artigos que o crawler conseguir acessar.
Abraço
18/abril/2007 at 11:25
Bruno, notei uma maior relevância de termos com o meu blog e em alguns casos meu blog passou a liderar sobre diversos produtos do Google. Diferente do que alguns disseram, não presenciei um aumento estrondoso de acessos depois da mudança. Mas isso é questão de tempo.
Abraços!
18/abril/2007 at 19:05
Renê, o efeito principal já está acontecendo, que é sua página aparecer mais perto do topo.
A quantidade de acessos, depende de vários fatores, além de aparecer no topo.
Demanda, por exemplo, é uma questão fundamental, não adiantaria ser o primeiro de um termo que é pesquisado uma vez a cada dois anos.
Outro problema que lhe afeta é com quem você está concorrendo, mesmo que o seu artigo apareça na frente de um do Google, as pessoas tendem a ir primeiro no domÃnio do Google.
Abraço
18/abril/2007 at 23:57
Bruno,
Com certeza existe essa dificuldade pois nosso conteúdo as vezes se torna redundante ao próprio Google, mas a relevância de resultados já é um grande passo para conquistar novos leitores. Abraços!
19/abril/2007 at 3:08
[...] Mas para que funcione corretamente, você precisa bloquear o endereço removendo ele do ar, através do robots.txt ou da meta tag robots. [...]
19/abril/2007 at 10:10
Renê, não diria redundantes, mas a maioria das pessoas (os que não são blogueiros), ao procurar por GMail, vão preferir ir no domÃnio do Google, já os blogueiros tendem a ir para o blog, onde, normalmente, o conteúdo é melhor
.
Abraço
20/abril/2007 at 15:39
[...] onde eu estava… No artigo do Bruno chamado “Não permita a indexação de conteúdo duplicado no WordPress“, existe uma dica para usuários do WordPress desabilitarem a indexação da Homepage do seu [...]
22/abril/2007 at 17:48
Olá,
Por favor, esclareça-me uma dúvida.
Vc. está sugerindo que o bot da google veja o noindex, nofollow para a homepage do blog? (Desculpe se eu estiver enganado, não entendo nada de scripts).
Se for assim, como é que o bot vai encontrar as outras páginas? O principal link para as páginas do arquivo vem da homepage, certo? Mesmo que outros blogs linkem para páginas do arquivo, elas ainda assim perderão o link da homepage.
Obrigado pela atenção.
24/abril/2007 at 2:35
Bruno, dá pra criar exceções? O problema é o seguinte: tenho algumas páginas hospedadas na raiz do site (ex.: a página de fotos está na raiz como fotos.php) e elas não estão mais sendo indexadas, agora que implantei a meta-tag. São apenas quatro páginas, então creio que valeria a pena criar exceções para elas e manter a meta-tag, só que não sei como fazê-lo…
27/abril/2007 at 13:35
Brazz, estou sugerindo o noindex com follow na home, assim, o Google não indexará a home, mas seguirá os links, fazendo a devida indexação dos artigos.
Lu, sim, é possÃvel, mas seira necessário saber como essas páginas são montadas para isso.
Uma opção é verificar, com o PHP, qual endereço da página e fazer a alteração.
Abraço
29/abril/2007 at 10:29
Você testou usar o que indicou neste artigo e não gostou muito do resultado, é isto ?
Coloquei no meu blog pra ver… Mas se já adiantas que o resultado pode não ser satisfatório, vou ver se tiro então.
Mas primeiro, vou aguardar seu retorno.
02/maio/2007 at 18:48
Rafael, exatamente, não gostei muito do aspecto visual e da usabilidade, em termos de resultado, é praticamente o mesmo.
Uso, hoje, apenas no BrPoint, pois a home dele sofrerá uma mudança e preciso que a mesma seja indexada.
Para quem tem apenas um blog no endereço, a escolha entre as duas opções depende apenas de gosto pessoal.
Abraço
05/maio/2007 at 9:48
Fiquei com uma dúvida. Isso não poderia prejudicar o PR de uma forma geral no caso do site ter muitos links apontando para a home?
05/maio/2007 at 10:24
Depois de algumas semanas usando essa tecnica…não tive nenhum ganho nas visitas. Pelo contrario as visitas cairam pois a busca pelo dominio (tocando) não aparece mais na primeira pagina do google.
07/maio/2007 at 9:31
Alessandro, indexação e PR não possuem relação, o PR é determinado pelo número e peso dos links que uma página recebe.
Fernando, esta técnica dá mais força aos artigos e retira a força da home, se quase todas as suas visitas vindas do Google apontam para a home, existem mais problemas de otimização que precisam ser resolvidos no seu blog.
Eu percebo um aumento considerável do peso dos artigos nos blogs que eu administro, mas, em geral, nenhum deles “depende” do tráfego da home.
Tente a técnica alternativa, ela pode lhe ajudar.
Abraços
09/maio/2007 at 9:54
Então, vc. sugere usar noindex, follow.
Os bots vão seguir os links e indexar as páginas-tópico (mas não vão indexar a homepage).
Mas vc. vai perder o pagerank/trustrank e o anchor-text que a homepage passa para as páginas-tópico (pois a homepage não será indexada, e portanto não será levada em conta para cálculo do pagerank das páginas tópico).
Acho que isso funciona se houver grande quantidade de links para as páginas-tópico (como deve ser o seu caso); mas pode ter efeito negativo se a maioria dos links apontar para a homepage.
09/maio/2007 at 10:43
Brazz, PageRank e indexação são coisas distintas, uma página pode ter um alto PageRank, sem que seja indexada.
O NoIndex só avisa para os bots que o conteúdo daquela página não deve ser apresentado como resultado de pesquisas, pois eu quero que os usuários acessem o artigo e não a home.
Quanto ao texto dos links, quando existe o follow, o Google vai pegar esse texto, mesmo que não indexe a página.
Abraço
19/maio/2007 at 1:20
Depois de falar com o Renê, que me sugeriu ler este artigo, agora fui convencido de vez após ler os comentários.
Estava com medo do PR cair mas vc disse que não há relação com a indexação. Perfeito!
Apesar disso, prefiro ainda que a home seja achada, mas não os arquivos e páginas antigas (/page/2). Então modifiquei sua dica para indexar a home e os artigos apenas. O resto, incluindo tags (ou categorias) virou noindex.
Mas ainda fiquei com uma dúvida: percebi que muita gente chega ao meu blog através de algumas categorias, wikipedia, por exemplo. E agora?
Abraços!
19/maio/2007 at 1:24
A solução que adotei:
noindexindex,follow”>
Abraços!
21/maio/2007 at 9:21
Alexandre, é uma questão de escolha, tudo depende do que você quer.
Sempre que você indexa duas páginas com o mesmo conteúdo, duas coisas podem acontecer:
O primeiro problema não é tão ruim, só reduz oi peso geral das páginas e pode te deslocar para baixo em relação a outros sites, pode acarretará diminuição no tráfego vindo do Google, mas as páginas ainda serão encontradas.
O segundo é que é o grande vilão.
Se o post for para o Ãndice complementar e a página de categoria para o principal (o que é bastante comum, uma vez que a página de categorias recebe mais links internos que os artigos e é uma “página” mais antiga), seu artigo não será mais exibido.
Neste caso, as pessoas chegarão ao seu blog pela categoria, mas irão embora por não encontrarem o que procuram.
Abraço
19/julho/2007 at 23:47
[...] blogosfera a fora encontrei um artigo mostrando uma forma para evitar que o rôbo, dos mecanismos de busca, indexe a página principal do [...]
09/setembro/2007 at 0:53
Bem, segui a dica a risca e agora irei monitorar.
Cai aqui ao tentar procurar por informações a respeito de um problema que o google me indicou. Segundo o adsense, minha página principal está bloqueada para os robôs do sistema.
Para mim ainda é um mistério o que pode ter ocorrido.
10/setembro/2007 at 7:05
Verifique se não está bloqueado no .htaccess, as vezes o host configura isso, quando o Google está acessando páginas demais.
Abraço
29/setembro/2007 at 12:48
[...] multidão. Os copiadores, claro, não fazem idéia do que é uma commodity… Também, ao copiar, mecanismos de busca rebaixam a nota de ambos os textos, o original e o copiado, principalmente este último. Se a pretensão do plagiador era aparecer nas [...]
17/março/2008 at 10:58
Bruno, vc não esqueceu de colocar no if a função “is_category()”? Não é interessante que eu indexe uma página de categoria né? Cai na mesma história do index, não cai?
23/março/2008 at 0:16
[...] tentar corrigir o problema, fiz uma modificação no cabeçalho do código de acordo com esse artigo do Bruno Alves. Alguém pode me dizer que mais posso fazer para contornar o problema? [...]
10/outubro/2008 at 8:44
muito bom eu estou tendo um transtorno por causa de spider mau intecionado