Web robot

Question

Salut,

dans le but de récupérer toutes les infos de prix de plusieurs sites (pas d'espionnage mais future base de données de magasin), je voudrais récupérer les pages web de ces sites.

Malheureusement, dès que les requêtes au serveur deviennent trop nombreuses ou à cause d'une autre raison, je n'en sais rien, je finis par avoir des réponses du type 
"Aborted...

The page you requested can not be displayed. Reasons for this can be

Your web browser does not conform to HTTP3.2 standards 
You used a non-qualified robot to access our pages 

If you have problems scanning our pages by a robot, please make sure your robot uses a proper HTTP User Agent and quote it in your e-mail to robots@play-asia.com along with supporting information.

You may try to refresh the page to see if the problem persists. Press F5 for this in most browsers.

We apologize for any inconvenience caused. "

Bon je me doute bien qu'il doit y avoir une feinte avec le champ user-agent mais j'ai même essayé de générer des strings différentes pour chaque requête, rien n'y fait.

Est-ce que quelqu'un peut m'aider ?

Merci d'avance ;)

Chacha

cs_Crazyht · Answer

En fait tu tombes sur un anti-aspirateur de site, dommage pour toi, mais soit le site en question te donne les acces (et dans ce cas, il t'expliqueront quoi mettre où), soit tu est bloqué :)

D'ailleurs, ce genre de chose peut etre considéré comme une attaque DoS et est à la limite de la legalité ! 

A++

 :-p  Crazyht  :) 
    MVP Visual C#.NET

[Admin Codes-Sources]
[Membre Developer-Association]

akazukin_chacha · Answer

OK, c'est bien ce que je me disais,

Merci ;)

Web robot

2 réponses

Votre réponse

Discussions similaires