Robot de recherche automatique PHP

Signaler
Messages postés
3
Date d'inscription
vendredi 13 octobre 2006
Statut
Membre
Dernière intervention
17 octobre 2006
-
Messages postés
381
Date d'inscription
lundi 12 novembre 2007
Statut
Membre
Dernière intervention
23 octobre 2014
-
Je souhaite créer un robot Internet destiné à  extraire des données d'un moteur de recherche(site distant).
Le problème est:
Il ya une base de données de 60000 expressions(mots clé).Il faut soumettre chaque
mot(critère de recherche) à un url(moteur de recherche), et récuperer les resultats(les resultats se présentent sous forme de tableaux), et les mettres(les resultats du moteur) dans une table Mysql.
Certains pensent que c'est faisable avec phpdig.
Comment envoyer automatiquement les mots clés au champ de saisie, valider et récupérer les résultats ?Tout ceci via un script php et sans intervention humaine pour le saisie de mots clé dans le champs du moteur de recherche.
Je vous remercie de bien vouloir m'aider.Vos conseils seront les bienvenues


ok Merci

6 réponses

Messages postés
138
Date d'inscription
vendredi 28 février 2003
Statut
Membre
Dernière intervention
29 février 2008

Salut,

Il te suffit de faire une boucle qui pour chaque mot de ta BD, fait un fopen("urlDuSite/?mot=tonMot")

Tu analyse ensuite le code source de la page, en utilisant des expressions régulière pour récupérer chaque résultats et les stocker ensuite dans ta BD.

Si je n'ai pas été assez clair, dis moi le
Messages postés
3
Date d'inscription
vendredi 13 octobre 2006
Statut
Membre
Dernière intervention
17 octobre 2006

Merci bc pour ce conseil.


Mais mon pbm maintenant C au niveau de l'extraction de données.Le site est un moteur de recherche.Il pique les resultats (peut être via PHP) dans sa base de donnée qui m'est inconnue.Donc comment je fais pour acceder au code PHP si C le cas?Je ne vois q l'HTML au code source et le résultat dans un tableau qui s'affiche dans la page web.Le PHP c au niveau du serveur donc invisible pour moi qui est client.

Encore Merci


 
Messages postés
138
Date d'inscription
vendredi 28 février 2003
Statut
Membre
Dernière intervention
29 février 2008

Niveau PHP, tu ne pourras accéder ni aux scripts, ni à la Base de Données du moteur de recherche. Il faut que tu ailles sur toutes les pages des recherches que tu veux faire (ça tu le fait automatiquement), et que tu analyses le code sources de ces pages, pour en extraires les différents résultats que tu peux ensuite stocker dans ta BD. Pour cela, il faut que tu utilises des expressions régulières.

Pour plus d'info, lis cet article : http://www.commentcamarche.net/php/phpreg.php3
Messages postés
3
Date d'inscription
vendredi 13 octobre 2006
Statut
Membre
Dernière intervention
17 octobre 2006

Salut!
J'ai trouvé un tuto sur developpez.com qui peut être très utile.J crois q j 'vès me baser sur ce tuto pour ce projet.Il y a Curl, php, mysql,etc pour l'extraction de donnée.
Je te donne l'url, tu en aura peut être besoin 1 2 C4!
http://nepomiachty.developpez.com/extraction_donnees/
Je commence à coder et j te contacterai en cas de besoin, j'éspère q tu sera tj sur le forum.Merci pr l'aide.
SLT à tous je voudrai savoir à quoi sert cette commende "<?php
while($aff = mysql_fetch_assoc($rq))
{
?>"
merci d’avance
Messages postés
381
Date d'inscription
lundi 12 novembre 2007
Statut
Membre
Dernière intervention
23 octobre 2014

Bonjour,

tant qu'il y a des résultats d'une requête SQL présentés sous forme d'un tableau associatif clef => valeur on itére dessus.

Vulgairement itération sur le résultat d'une requête.


________________________________________
( $toBe || !$toBe ) = $this->Question();