Parser le fichier robots.txt

cs_anirbas Messages postés 8 Date d'inscription lundi 13 décembre 2004 Statut Membre Dernière intervention 3 janvier 2008 - 22 mars 2006 à 11:49
cs_Anthomicro Messages postés 9433 Date d'inscription mardi 9 octobre 2001 Statut Membre Dernière intervention 13 avril 2007 - 22 mars 2006 à 20:54
Safia

salut a tous,

je voudrais creer un moteur de recherche en php et pour cela je dois faire en sorte

k'il accede au fichier robots.txt s'il existe, avant de faire koi ke ce soit.

Mon probleme est ke je voudrais parser les fichiers robots.txt de chake site ke je veux visiter.

(tout cela en php .)

je vous remercie d'avance.

2 réponses

malalam Messages postés 10839 Date d'inscription lundi 24 février 2003 Statut Membre Dernière intervention 2 mars 2010 25
22 mars 2006 à 13:12
Hello,

eh bien essaye, et reviens avec un début de code si tu bloques.
Mais essaye d'abord... :-)
0
cs_Anthomicro Messages postés 9433 Date d'inscription mardi 9 octobre 2001 Statut Membre Dernière intervention 13 avril 2007 8
22 mars 2006 à 20:54
Salut,

pour récupérer un fichier distant tu peux utiliser fgets() avec un fsockopen(). Je te laisse regarder sur fr.php.net pour plus de détails...

0
Rejoignez-nous