Log des robots qui passent sur le site

Soyez le premier à donner votre avis sur cette source.

Vue 7 878 fois - Téléchargée 777 fois

Description

Ce petit script permet de prendre en note les robots qui passent sur le site.

Le principe est assez simple: on simmule un fichier robots.txt. Pour ce faire, il suffit de créer un dossier de ce nom et d'y placer un index.php contenant le script de log. Lorsque les robots iront chercher le fichier robots.txt, le serveur exécutera le fichier robots.txt/index.php et renverra le contenu d'un fichier robots.txt normal (configurable dans le code).

Conclusion :


Je l'ai testé, il fonctione bien pour moi. J'espère le même résultat pour vous.

Le robot qui passe le plus souvent sur mon serveur, c'est le msnbot.

Codes Sources

A voir également

Ajouter un commentaire Commentaires
Messages postés
40
Date d'inscription
mercredi 1 janvier 2003
Statut
Membre
Dernière intervention
15 juin 2009

Oui, bien sûr, alors il faut supprimer ce fichier (faire une copie) et le remplacer par le répertoire et ajouter le contenu du fichier robots.txt dans le fichier index.php juste après la commande ecrirelog(...

Exemple :
// Envoi au robot un fichier robots.txt ne servant à rien
echo 'User-Agent: *'."\n";
echo 'Disallow: /repertoire_a_ne_pas_auditer/'."\n";
echo 'Disallow: /galeriephotos/'."\n";
Messages postés
8
Date d'inscription
mercredi 25 avril 2007
Statut
Membre
Dernière intervention
11 novembre 2008

Impossible de renommer un dossier en "robots.txt"

j'ai déjà un fichier "robots.txt" a la racine
Messages postés
40
Date d'inscription
mercredi 1 janvier 2003
Statut
Membre
Dernière intervention
15 juin 2009

Oui, simplement le placer absolument à la racine de ton site web (nulle part ailleurs).
En fait, il suffit de procéder comme ceci :
1. créer un nouveau dossier
2. le renommer en "robots.txt"
3. d'y placer les fichiers de la source !

And... that's all folks ;-)
Messages postés
8
Date d'inscription
mercredi 25 avril 2007
Statut
Membre
Dernière intervention
11 novembre 2008

merci vvv

et donc on place ca dans un dossier et c'est tout ?
Messages postés
40
Date d'inscription
mercredi 1 janvier 2003
Statut
Membre
Dernière intervention
15 juin 2009

Tout est dans le titre en fait : logguer les robots qui défilent sur ton site.
En d'autre termes, obtenir un détail des robots qui passent pour auditer le site web, comme Google bot, Yahoo, mais aussi d'autres bien moins connus !
Ceci dit, tous les robots ne recherchent pas ce fameux fichier robots.txt sur le site qu'ils auditent. Donc, il est aussi utile d'auditer certaines pages clés (index bien sûr) avec un autre système.
Je trouve cette source utile et l'astuce très bien pensée... mais je me répète ;-)
Afficher les 29 commentaires

Vous n'êtes pas encore membre ?

inscrivez-vous, c'est gratuit et ça prend moins d'une minute !

Les membres obtiennent plus de réponses que les utilisateurs anonymes.

Le fait d'être membre vous permet d'avoir un suivi détaillé de vos demandes et codes sources.

Le fait d'être membre vous permet d'avoir des options supplémentaires.