Coder un aspirateur de site

Question

J'aimerai créer un aspirateur de site paramétrable.

Une sorte de robot évoluant au sein de l'architecture d'un site et repérant par exemple les photos et les enregistrant sur mon serveur. Ou repérant le contenu d'une div au fur et à mesure de l'analyse du code.

Comment dois-je m'y prendre conceptuellement, existe-t-il des projets open-source en la matière ?

Bonne journée à tous =)

coucou747 · Answer

Bonjour,

Quand je vois une question aussi vague, j'ai toujours quelques questions :

Qu'as tu tenté ?
Qu'as tu cherché sur google ?
Ou as tu bloqué ?

Pour ce cas particulier, on peut ajouter :

Est-ce légal ?

Pour ton problème, on peut t'orienter vers les librairies de récupération de pages webs : curl par exemple, vers les librairies d'expressions régulières (pour scanner les liens et les images) comme preg_match par exemple.

Bonne recherche.

Je serais ravi de répondre plus clairement à des questions plus précises.

Cordialement,

Maxime

TychoBrahe · Answer

Salut,

man wget pour aspirer un site.
man grep pour prendre le contenu de ton div.

monoski · Answer

Merci beaucoup :-)

Bonne journée à tous =)

Coder un aspirateur de site

3 réponses

Votre réponse

Discussions similaires