LOG DES ROBOTS QUI PASSENT SUR LE SITE
_sHoCk_
Messages postés
6
Date d'inscription
dimanche 19 novembre 2006
Statut
Membre
Dernière intervention
7 juillet 2007
-
7 juil. 2007 à 08:14
cs_VVV Messages postés 40 Date d'inscription mercredi 1 janvier 2003 Statut Membre Dernière intervention 15 juin 2009 - 11 nov. 2008 à 21:04
cs_VVV Messages postés 40 Date d'inscription mercredi 1 janvier 2003 Statut Membre Dernière intervention 15 juin 2009 - 11 nov. 2008 à 21:04
Cette discussion concerne un article du site. Pour la consulter dans son contexte d'origine, cliquez sur le lien ci-dessous.
https://codes-sources.commentcamarche.net/source/43368-log-des-robots-qui-passent-sur-le-site
https://codes-sources.commentcamarche.net/source/43368-log-des-robots-qui-passent-sur-le-site
11 nov. 2008 à 21:04
Exemple :
// Envoi au robot un fichier robots.txt ne servant à rien
echo 'User-Agent: *'."\n";
echo 'Disallow: /repertoire_a_ne_pas_auditer/'."\n";
echo 'Disallow: /galeriephotos/'."\n";
11 nov. 2008 à 20:15
j'ai déjà un fichier "robots.txt" a la racine
11 nov. 2008 à 20:07
En fait, il suffit de procéder comme ceci :
1. créer un nouveau dossier
2. le renommer en "robots.txt"
3. d'y placer les fichiers de la source !
And... that's all folks ;-)
11 nov. 2008 à 19:59
et donc on place ca dans un dossier et c'est tout ?
11 nov. 2008 à 19:50
En d'autre termes, obtenir un détail des robots qui passent pour auditer le site web, comme Google bot, Yahoo, mais aussi d'autres bien moins connus !
Ceci dit, tous les robots ne recherchent pas ce fameux fichier robots.txt sur le site qu'ils auditent. Donc, il est aussi utile d'auditer certaines pages clés (index bien sûr) avec un autre système.
Je trouve cette source utile et l'astuce très bien pensée... mais je me répète ;-)
11 nov. 2008 à 19:41
29 déc. 2007 à 05:24
Super idée etiennexxx9 !
8 déc. 2007 à 20:46
4 déc. 2007 à 18:10
3 déc. 2007 à 06:21
Pierre
3 déc. 2007 à 06:13
echo 'User-Agent: *'."\n";
echo 'Disallow: ';
Par:
readfile('robots.txt');
Puis de mettre ton fichier robots.txt actuel dans le dossier nommé robots.txt
Si le readfile ne fonctionne pas, essaie avec la technique de poulpix_fr.
Etienne
3 déc. 2007 à 05:13
24 juil. 2007 à 12:02
22 juil. 2007 à 14:52
Sa marche impec ;)
17 juil. 2007 à 16:51
17 juil. 2007 à 16:45
@+ JLN
17 juil. 2007 à 14:00
phpl en ne laissant "rien" dans l'url :)
Pour en savoir plus sur les Rewrite URL : http://www.google.fr/
17 juil. 2007 à 12:41
Merci beaucoup
@+ JLN
17 juil. 2007 à 05:14
@Chrigou => :O
@DarkM60 => J'y avais pensé au début, mais je ne suis pas très habitué à l'url rewriting.
"un robot un peu plus avancé peut la détecter" => Les robots les plus connus ne le font pas...
@JLN => L'url rewriting permet lors d'une requête au serveur de modifier le fichier qui sera envoyé au client.
@tous => Merci :)
Etienne
16 juil. 2007 à 16:38
DarkM60 je ne suis pas un as du php et je ne comprend pas grand chose aux .httaccess pourrais-tu développer s'il te plait ? Merci
@+ JLN
15 juil. 2007 à 16:26
Il suffirait juste de créer un .htaccess à la racine, contenant ceci :
Options +FollowSymlinks
RewriteEngine on
RewriteRule ^robots.txt$ /tonfichier.php [L]
Et c'est bon, et encore plus invisible, car ta méthode, un robot un peu plus avancé peut la détecter, or de l'url rewriting, c'est côté serveur.
11 juil. 2007 à 08:46
http://www.aspfr.com/code.aspx?ID=43414
Bravo Etienne !
10 juil. 2007 à 20:39
je donne 10/10
10 juil. 2007 à 15:18
10/10 pour l'astuce et la propreté du script.
9 juil. 2007 à 13:12
Je les adapter a mon site avec deux petit modif pour moi :
$log = $i.' | '.$d.' | '.$h.' | '.$u."\r\n";
Jais rajouter \r car sinon sa ne retourner pas a la ligne cher moi.
Pui j'ais inclus mon fichier robots.txt en le renomment en bot.txt :
$file = fopen("bot.txt","r");
while(!feof($file))
{
$buffer = fgets($file, 4096);
echo $buffer."
";
}
fclose($file);
voila sa marche nikel pour le moment mci
9 juil. 2007 à 09:30
Bravo!
10/10.
8 juil. 2007 à 11:20
Il me reste juste une chose à dire :
BRAVO :)
7 juil. 2007 à 08:29
7 juil. 2007 à 08:14