Home » Archive

Artigos com: robots.txt

Dicas, Reality Show, WebMarketing »

[20 nov 2008 | Sem Comentários | ]
Robots.txt no www.caraiva.tur.br

Continuando nosso “Reality show“ da otimização do site de Caraíva.
No dia 16/11 o spider da Google passou fazendo a varredura, mas um problema apareceu neste momento, como até então não havíamos inserido o robots.txt, arquivo que lista página que não devem ser indexadas. O spider não indexou algumas páginas entre elas a principal do site, julgando que poderia ter alguma página que não poderia ser indexada e apareceria nos seus resultados.
Achei inusitado este procedimento, já que segundo os administradores anteriores do site nunca teve um robots.