Un internaute vient de découvrir que Google prenait en compte une directive nommée "noindex" lorsqu'elle était insérée dans le fichier "robots.txt" d'un site, comme par exemple :
User-agent:Googlebot
Disallow:/perso/
Disallow:/entravaux/
Noindex:/clients/
Alors que la directive "Disallow" indique aux robots de ne pas tenir compte du contenu d'un répertoire...
Source et suite de l'article : http://actu.abondance.com/2007/11/google-teste-la-directive-noindex-dans.html
Read more at: . |
