Robot de recherche automatique PHP

Question

Je souhaite créer un robot Internet destiné à  extraire des données d'un moteur de recherche(site distant).
Le problème est:
Il ya une base de données de 60000 expressions(mots clé).Il faut soumettre chaque
mot(critère de recherche) à un url(moteur de recherche), et récuperer les resultats(les resultats se présentent sous forme de tableaux), et les mettres(les resultats du moteur) dans une table Mysql.
Certains pensent que c'est faisable avec phpdig.
Comment envoyer automatiquement les mots clés au champ de saisie, valider et récupérer les résultats ?Tout ceci via un script php et sans intervention humaine pour le saisie de mots clé dans le champs du moteur de recherche.
Je vous remercie de bien vouloir m'aider.Vos conseils seront les bienvenues


ok Merci

cs_darkduck · Answer

Salut,

Il te suffit de faire une boucle qui pour chaque mot de ta BD, fait un fopen("urlDuSite/?mot=tonMot")

Tu analyse ensuite le code source de la page, en utilisant des expressions régulière pour récupérer chaque résultats et les stocker ensuite dans ta BD.

Si je n'ai pas été assez clair, dis moi le

ravendago · Answer

Merci bc pour ce conseil.


Mais mon pbm maintenant C au niveau de l'extraction de données.Le site est un moteur de recherche.Il pique les resultats (peut être via PHP) dans sa base de donnée qui m'est inconnue.Donc comment je fais pour acceder au code PHP si C le cas?Je ne vois q l'HTML au code source et le résultat dans un tableau qui s'affiche dans la page web.Le PHP c au niveau du serveur donc invisible pour moi qui est client.

Encore Merci

cs_darkduck · Answer

Niveau PHP, tu ne pourras accéder ni aux scripts, ni à la Base de Données du moteur de recherche. Il faut que tu ailles sur toutes les pages des recherches que tu veux faire (ça tu le fait automatiquement), et que tu analyses le code sources de ces pages, pour en extraires les différents résultats que tu peux ensuite stocker dans ta BD. Pour cela, il faut que tu utilises des expressions régulières.

Pour plus d'info, lis cet article : http://www.commentcamarche.net/php/phpreg.php3

ravendago · Answer

Salut!
J'ai trouvé un tuto sur developpez.com qui peut être très utile.J crois q j 'vès me baser sur ce tuto pour ce projet.Il y a Curl, php, mysql,etc pour l'extraction de donnée.
Je te donne l'url, tu en aura peut être besoin 1 2 C4!
http://nepomiachty.developpez.com/extraction_donnees/
Je commence à coder et j te contacterai en cas de besoin, j'éspère q tu sera tj sur le forum.Merci pr l'aide.

romeal2 · Answer

SLT à tous je voudrai savoir à quoi sert cette commende "<?php
while($aff = mysql_fetch_assoc($rq))
{
?>"
merci d&#8217;avance

inwebo · Answer

Bonjour,

tant qu'il y a des résultats d'une requête SQL présentés sous forme d'un tableau associatif clef => valeur on itére dessus.

Vulgairement itération sur le résultat d'une requête.


________________________________________
( $toBe || !$toBe ) = $this->Question();

Robot de recherche automatique PHP

6 réponses

Votre réponse

Discussions similaires