Home » Dicas, Reality Show, WebMarketing

Robots.txt no www.caraiva.tur.br

20 novembro 2008 No Comment

robotsContinuando nosso Reality show da otimização do site de Caraíva.

No dia 16/11 o spider da Google passou fazendo a varredura, mas um problema apareceu neste momento, como até então não havíamos inserido o robots.txt, arquivo que lista página que não devem ser indexadas. O spider não indexou algumas páginas entre elas a principal do site, julgando que poderia ter alguma página que não poderia ser indexada e apareceria nos seus resultados.

Achei inusitado este procedimento, já que segundo os administradores anteriores do site nunca teve um robots.
Com isso não leu o sitemap.xml nem indexou o site mesmo estando completamente otimizado.
Criamos agora o Robots.txt para o site, dando permissão para os spider indexar todas as páginas, dentro deste txt existe apenas este código:

User-Agent: *
Allow: /

O * indica que o Google pode indexar todas as páginas, quando existe a necessidade de alguma página que você não deseja que seja indexada pelos buscadores, está deve conter no robots.txt do seu site.

Apesar de nunca ter ocorrido em outros sites, foi boa está experiência, daqui pra frente já publicaremos todos os sites com o robots.txt. Agora é aguardar a nova ‘varredura’ da Google.

Comente este artigo!

Seja simpático, não pratique Spam.

Nome

E-mail (Não será publicado)

Você pode usar as tags:
<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>