Méthode plus rapide pour charger source HTML

Question

Bonjour,

J'utilise une fonction pour recuperer la source HTML d'une page Web.
Cette fonction fonctionne très bien mais est un peu longue car j'ai 5000 pages a charger  et ile me faut 1h30 !!

Quelqu'un aurait une méthode plus rapide que celle-ci ????

Function

 Get_Source(
ByVal url 
As
String, 
Optional
ByVal sLogin 
As
String = "", 
Optional
ByVal sMdp 
As
String = "") 
As
String

Dim ReadStr 
As IO.StreamReader 
'on crée un objet streamreader 

Try

   Dim hwebrequest 
As System.Net.WebRequest = System.Net.WebRequest.Create(url) 
'on crée la requete web    hwebrequest.Credentials = Authentification

   Dim hwebresponse 
As System.Net.WebResponse = hwebrequest.GetResponse 
'on crée un objet de reponse a notre requete    ReadStr = 

New IO.StreamReader(hwebresponse.GetResponseStream) 
'on redefini notre streamreader avec la reponse à la requete en argument 

   Return ReadStr.ReadToEnd() 
'on renvoie l'ensemble du resultat    ReadStr.Close() 

'on ferme l'objet 

Catch ex 
As Exception

   Return ex.Message.ToString 
' en cas d'erreur, on renvoie la description de l'erreur    ReadStr.Close()

End
Try

End
Function

SSSSSSSSVVVVVVPPPPPPPPP

Merci d'avance

us_30 · Answer

Bonjour,

C'est du VB.NET, et je ne suis pas très habituer à l'utilisé. Par conséquent, je ne sais pas te proposser une solution meilleur, et je laisse le soin à d'autre personne te répondre sur ce point.

Mais, j'ai tout de même une remarque. Si je comprend bien, tu charges la source HTML à partir d'internet (et non en local), par conséquent, dans les 1H30, tu comptes aussi le temps de chargement des pages... et là c'est la vitesse de connexion qui rentre en jeu, et qui doit être de loin le plus pénalisant... non ? 

(ceci pour dire à priori, que le problème à regarder serait plutôt vers la connexion, et qu'il me semble pas que tu puisses faire vraiment faire mieux.)

Amicalement,
Us.

Méthode plus rapide pour charger source HTML

1 réponse

Votre réponse

Discussions similaires