Moteur de recherche à l'échelle du webRésolu

Question

Depuis hier, je me demande comment créer une sorte de google-like.
Déja, je me suis interessé sur la méthode à utiliser, celle qui m'est restée en tête est la suivante:
1. l'admin du moteur entre une adresse internet
2. un script va sur ce site
3. il range quelque part le contenu du site
4. il cherche toutes les balises  renvoyant vers un lien absolu
5. il note les liens trouvés dans une bdd
6. il recommence l'opération mais sur les nouveaux sites qu'il connait
...

Mais voila, des questions me tracassent:
1. la mise en cache du contenu de milliers de site, ça doit peser lourd
2. comment localiser des balises  sur une page web (je pense qu'il s'agit d'un outil dérivé de fopen

J'essaye donc actuellement de créer un moteur de recherche, et maintenant, je doite sérieusement d'avoir pioché la bonne méthode...
Vous pouvez m'éclairer?

cs_Anthomicro · Accepted Answer

Salut :-)

Tu peux jeter un oeil du côté des indexs fulltext :

Indexs fulltext mysql

Autre lien sur les index fulltext mysql

a ++

http://www.vulgarisation-informatique.com : entraide, dépannage et vulgarisation informatique

o0Leo0o · Answer

P.S: Je précise, j'ai déja pensé à l'idée d'un moteur s'appuyant sur les grands du web (google, yahoo, lycos...). 
J'essaye plutôt de chercher une méthode plus indépendante.

rekam · Answer

Salut y'a un truc pour trouver les balises . Tu peux te baser là-dessus : if (preg_match_all("|<[a>]+>(.*)]+>|U", $ln, $match)){ $result = $match[1][0]; } le $ln est la ligne courante dans la lecture du fichier le $match est le (ou les) résultat du preg_match_all Ce code récupère ce qu'il y a entre les balises .... Je pense qu'il n'y que 2-3 modifs à faire pour récupérer le href. Bonne chance!

o0Leo0o · Answer

Merci à vous, vos réponses vont sûrement m'aider beaucoup, je me lance dans cette grande aventure...

Moteur de recherche à l'échelle du web

4 réponses

Votre réponse

Discussions similaires