Méthode plus rapide pour charger source HTML

Messages postés
126
Date d'inscription
lundi 18 septembre 2006
Statut
Membre
Dernière intervention
7 décembre 2009
-
Messages postés
2065
Date d'inscription
lundi 11 avril 2005
Statut
Membre
Dernière intervention
14 mars 2016
-
Bonjour,

J'utilise une fonction pour recuperer la source HTML d'une page Web.
Cette fonction fonctionne très bien mais est un peu longue car j'ai 5000 pages a charger  et ile me faut 1h30 !!

Quelqu'un aurait une méthode plus rapide que celle-ci ????

Function

Get_Source(
ByVal url
As
String,
Optional
ByVal sLogin
As
String = "",
Optional
ByVal sMdp
As
String = "")
As
String

Dim ReadStr
As IO.StreamReader
'on crée un objet streamreader

Try

   Dim hwebrequest
As System.Net.WebRequest = System.Net.WebRequest.Create(url)
'on crée la requete web    hwebrequest.Credentials = Authentification

   Dim hwebresponse
As System.Net.WebResponse = hwebrequest.GetResponse
'on crée un objet de reponse a notre requete    ReadStr =

New IO.StreamReader(hwebresponse.GetResponseStream)
'on redefini notre streamreader avec la reponse à la requete en argument

   Return ReadStr.ReadToEnd()
'on renvoie l'ensemble du resultat    ReadStr.Close()

'on ferme l'objet

Catch ex
As Exception

   Return ex.Message.ToString
' en cas d'erreur, on renvoie la description de l'erreur    ReadStr.Close()

End
Try

End
Function

SSSSSSSSVVVVVVPPPPPPPPP

Merci d'avance

1 réponse

Messages postés
2065
Date d'inscription
lundi 11 avril 2005
Statut
Membre
Dernière intervention
14 mars 2016
10
Bonjour,

C'est du VB.NET, et je ne suis pas très habituer à l'utilisé. Par conséquent, je ne sais pas te proposser une solution meilleur, et je laisse le soin à d'autre personne te répondre sur ce point.

Mais, j'ai tout de même une remarque. Si je comprend bien, tu charges la source HTML à partir d'internet (et non en local), par conséquent, dans les 1H30, tu comptes aussi le temps de chargement des pages... et là c'est la vitesse de connexion qui rentre en jeu, et qui doit être de loin le plus pénalisant... non ?

(ceci pour dire à priori, que le problème à regarder serait plutôt vers la connexion, et qu'il me semble pas que tu puisses faire vraiment faire mieux.)

Amicalement,
Us.