LOG DES ROBOTS QUI PASSENT SUR LE SITE

Messages postés
6
Date d'inscription
dimanche 19 novembre 2006
Statut
Membre
Dernière intervention
7 juillet 2007
-
Messages postés
40
Date d'inscription
mercredi 1 janvier 2003
Statut
Membre
Dernière intervention
15 juin 2009
-
Cette discussion concerne un article du site. Pour la consulter dans son contexte d'origine, cliquez sur le lien ci-dessous.

https://codes-sources.commentcamarche.net/source/43368-log-des-robots-qui-passent-sur-le-site

Messages postés
40
Date d'inscription
mercredi 1 janvier 2003
Statut
Membre
Dernière intervention
15 juin 2009

Oui, bien sûr, alors il faut supprimer ce fichier (faire une copie) et le remplacer par le répertoire et ajouter le contenu du fichier robots.txt dans le fichier index.php juste après la commande ecrirelog(...

Exemple :
// Envoi au robot un fichier robots.txt ne servant à rien
echo 'User-Agent: *'."\n";
echo 'Disallow: /repertoire_a_ne_pas_auditer/'."\n";
echo 'Disallow: /galeriephotos/'."\n";
Messages postés
8
Date d'inscription
mercredi 25 avril 2007
Statut
Membre
Dernière intervention
11 novembre 2008

Impossible de renommer un dossier en "robots.txt"

j'ai déjà un fichier "robots.txt" a la racine
Messages postés
40
Date d'inscription
mercredi 1 janvier 2003
Statut
Membre
Dernière intervention
15 juin 2009

Oui, simplement le placer absolument à la racine de ton site web (nulle part ailleurs).
En fait, il suffit de procéder comme ceci :
1. créer un nouveau dossier
2. le renommer en "robots.txt"
3. d'y placer les fichiers de la source !

And... that's all folks ;-)
Messages postés
8
Date d'inscription
mercredi 25 avril 2007
Statut
Membre
Dernière intervention
11 novembre 2008

merci vvv

et donc on place ca dans un dossier et c'est tout ?
Messages postés
40
Date d'inscription
mercredi 1 janvier 2003
Statut
Membre
Dernière intervention
15 juin 2009

Tout est dans le titre en fait : logguer les robots qui défilent sur ton site.
En d'autre termes, obtenir un détail des robots qui passent pour auditer le site web, comme Google bot, Yahoo, mais aussi d'autres bien moins connus !
Ceci dit, tous les robots ne recherchent pas ce fameux fichier robots.txt sur le site qu'ils auditent. Donc, il est aussi utile d'auditer certaines pages clés (index bien sûr) avec un autre système.
Je trouve cette source utile et l'astuce très bien pensée... mais je me répète ;-)
Afficher les 29 commentaires