Script lire page web et sauver le code source de la page

Question

Bonjour,

J'aimerais faire un script qui me permettrais d'ouvrir en séquence, "Ouverture, sauvegarde du source de la page et fermeture d'une page web, plusieurs pages dont les liens sont listés dans un fichier texte. Je ne connais que la programmation en CPP Borland Builder 3, je sais que je suis désuet mais c'est ça, alors pour faire un tel script j'aimerais savoir par ou commencer et avec quoi je peux réaliser ce script.

Le code peut être en Java Script qu'on inclut dans une page html pas de prob.


Je n'ai pas besoin de voir les pages s'afficher.

Voici un aperçu de la structure:

- Lecture du fichier texte
- Programme importe le code source de la page web
- Sauvegarde du source de la page web
- Fermeture de la page web
- si fichier texte pas fini recommence la boucle

Merci

cptpingu · Answer

Utilise "curl", il fait déjà tout ça :p

Si c'est un exercice et que tu dois le faire par toi même, alors regarde du côté des sockets. Une petite recherche sous Google te montrera des exemples de téléchargements. Écrire et lire dans un fichier est très simple et tu trouveras là encore de nombreux exemples sur le web.

Si tu es bloqué, n'hésite pas à poster ton code.

________________________________________________________________________
Historique de mes créations, et quelques articles:
[ http://0217021.free.fr/portfolio http://0217021.free.fr/portfolio]
Merci d'utiliser Réponse acceptée si un post répond à votre question

prince_noir_ · Answer

Merci CptPingu

J'ai télécharger Curl, je n'ai pas trop compris comment je peux l'exécuter pour réaliser ce que je veux faire, c'est-à-dire
télécharger plusieurs liens à partir d'un fichier texte.  Si tu connais la façon, ça serait apprécié que tu m'explique.


merci

cptpingu · Answer

Sous Linux, en ligne de commande:

Création du fichier d'url (ou alors tu en récupères un):
echo -e "cppfrance.com
www.google.com" > liste.txt

Téléchargement de toute les pages contenu dans la liste de liens:
for link in `cat liste.txt`; do curl $link > {$link}.html; done
Oui, c'est aussi simple que cela !

Pour télécharger une page, il suffit de faire "curl " avec  ton url.
Ex:
Télécharger la page d'accueil de cppfrance:
curl cppfrance.com

Pour mettre cela dans un fichier, une simple redirection devrait suffire:
curl cppfrance.com > fichier.html

PS: Tu peux aussi utiliser wget.
________________________________________________________________________
Historique de mes créations, et quelques articles:
[ http://0217021.free.fr/portfolio http://0217021.free.fr/portfolio]
Merci d'utiliser Réponse acceptée si un post répond à votre question

Script lire page web et sauver le code source de la page

3 réponses

Votre réponse

Discussions similaires